目錄
第一部分 理論基礎
第1章 緒論 1
1.1 基本概念 1
1.2 自然語言處理的產(chǎn)生與發(fā)展 2
1.3 基本問題和主要困難 3
1.3.1 自然語言處理的基本問題 3
1.3.2 自然語言處理面對的主要困難 4
1.4 深度學習在自然語言處理中的應用 5
1.4.1 深度學習概述 5
1.4.2 面向自然語言處理的深度學習方法 5
1.4.3 目前深度學習應用存在的局限及展望 6
1.5 本章小結 7
習題1 7
第2章 數(shù)學基礎 8
2.1 概率論基礎 8
2.1.1 樣本空間和概率 8
2.1.2 隨機變量 9
2.1.3 條件概率公式、全概率公式和貝葉斯公式 10
2.1.4 期望和方差 11
2.2 信息論基礎 11
2.2.1 自信息和熵 12
2.2.2 聯(lián)合熵和條件熵 13
2.2.3 互信息、相對熵和交叉熵 14
2.2.4 困惑度 14
2.2.5 噪聲信道模型 15
2.3 深度學習的數(shù)學基礎 16
2.3.1 最大似然估計 16
2.3.2 梯度分析 17
2.3.3 梯度下降法 19
2.3.4 梯度消失和梯度爆炸 19
2.4 本章小結 21
習題2 21
第3章 語言模型 22
3.1 語言模型概念及基礎理論 22
3.1.1 n元語法模型 22
3.1.2 神經(jīng)概率語言模型 24
3.1.3 預訓練語言模型 24
3.2 語言模型性能評價 26
3.2.1 基于信息熵的語言模型復雜度度量 26
3.2.2 基于困惑度的語言模型復雜度度量 27
3.2.3 基于語言模型的漢語信息熵估算 28
3.3 數(shù)據(jù)平滑 28
3.3.1 問題的提出 28
3.3.2 加法平滑方法 29
3.3.3 Good-Turing估計法 29
3.3.4 Katz平滑方法 29
3.3.5 Jelinek-Mercer平滑方法 30
3.3.6 Witten-Bell平滑方法 31
3.3.7 絕對減值法 32
3.4 神經(jīng)網(wǎng)絡語言模型 32
3.4.1 基礎模型 32
3.4.2 CNN模型 33
3.4.3 RNN模型及其變體 34
3.4.4 Attention模型 37
3.4.5 Transformer模型 40
3.5 語言模型應用舉例 44
3.5.1 BERT模型 44
3.5.2 短文本表示 46
3.5.3 Softmax回歸模型 46
3.6 本章小結 47
習題3 47
第4章 隱馬爾可夫模型與條件隨機場 49
4.1 馬爾可夫模型 49
4.1.1 馬爾可夫過程 49
4.1.2 馬爾可夫性 49
4.2 隱馬爾可夫模型 50
4.2.1 隱馬爾可夫模型的基本理論 50
4.2.2 估計問題 52
4.2.3 序列問題 54
4.2.4 參數(shù)估計問題 55
4.3 HMM應用舉例 57
4.3.1 中文分詞 57
4.3.2 詞性標注 58
4.4 條件隨機場及其應用 59
4.4.1 條件隨機場概念 59
4.4.2 條件隨機場應用 64
4.5 本章小結 67
習題4 67
第5章 詞法分析與詞性標注 68
5.1 漢語自動分詞 68
5.1.1 分詞規(guī)范問題 68
5.1.2 歧義切分問題 69
5.1.3 未登錄詞問題 69
5.1.4 漢語自動分詞的原則 70
5.1.5 分詞與詞性標注結果評估方法 71
5.2 自動分詞基本算法 72
5.2.1 最大匹配法 72
5.2.2 最短路徑方法 74
5.2.3 基于HMM的分詞方法 76
5.2.4 基于Bi-LSTM-CRF的分詞方法 80
5.3 未登錄詞識別 83
5.3.1 概述 83
5.3.2 基于決策樹的未登錄詞識別方法 85
5.3.3 基于統(tǒng)計和規(guī)則的未登錄詞識別方法 88
5.4 詞性標注方法 91
5.4.1 概述 91
5.4.2 基于規(guī)則的詞性標注方法 92
5.4.3 基于統(tǒng)計的詞性標注方法 93
5.4.4 基于深度學習的詞性標注方法 95
5.5 本章小結 97
習題5 97
第6章 語義分析 98
6.1 語義網(wǎng)絡 98
6.1.1 基本概念 98
6.1.2 語義標注 99
6.2 概念依存 100
6.3 詞義消歧 101
6.3.1 基本內(nèi)容 101
6.3.2 理論方法 102
6.3.3 案例分析 104
6.4 詞向量表示與詞嵌入 106
6.4.1 基本內(nèi)容 106
6.4.2 理論方法 107
6.4.3 案例分析 110
6.5 語義分析在華為畢昇編譯器AI調優(yōu)中的應用 112
6.5.1 基本內(nèi)容 112
6.5.2 理論方法 113
6.6 本章小結 114
習題6 114
第二部分 實踐應用
第7章 機器翻譯 115
7.1 機器翻譯概述 115
7.1.1 機器翻譯方法概述 115
7.1.2 機器翻譯的研究現(xiàn)狀 118
7.2 統(tǒng)計機器翻譯 119
7.2.1 基于詞的機器翻譯 119
7.2.2 基于短語的機器翻譯 129
7.2.3 基于句子的機器翻譯 135
7.3 神經(jīng)機器翻譯 143
7.3.1 神經(jīng)機器翻譯概述 143
7.3.2 神經(jīng)機器翻譯模型 145
7.4 實戰(zhàn)GRU翻譯模型 147
7.4.1 基礎知識與環(huán)境配置 148
7.4.2 代碼實現(xiàn) 149
7.5 本章小結 153
習題7 153
第8章 文本分類、聚類和情感分析 154
8.1 文本分類 154
8.1.1 文本分類的定義 154
8.1.2 文本分類的發(fā)展 155
8.1.3 傳統(tǒng)文本分類的實現(xiàn) 155
8.1.4 基于深度學習的分類器設計 161
8.2 文本聚類 164
8.2.1 基于分層的文本聚類 165
8.2.2 基于劃分的文本聚類 166
8.3 情感分析 167
8.3.1 基于情感詞典的情感分析 167
8.3.2 基于深度學習的方面級情感分類算法 169
8.3.3 帶有Attention機制的LSTM網(wǎng)絡的方法 173
8.3.4 帶有Attention機制的雙向LSTM網(wǎng)絡的方法 175
8.4 本章小結 178
習題8 178
第9章 信息抽取 179
9.1 實體識別與抽取 179
9.1.1 命名實體識別概述 179
9.1.2 有監(jiān)督學習方法實現(xiàn)命名實體識別 180
9.1.3 基于深度學習的NER 183
9.2 實體消歧 184
9.2.1 實體消歧概述 184
9.2.2 基于上下文相似度的實體消歧 185
9.2.3 基于實體顯著性的實體消歧 186
9.2.4 基于實體關聯(lián)度的實體消歧 187
9.3 關系抽取 187
9.3.1 基于模式匹配的關系抽取 187
9.3.2 基于深度學習的關系抽取方法 188
9.3.3 關系抽取展望 190
9.4 事件抽取 190
9.4.1 事件抽取任務定義 191
9.4.2 基于模式匹配的事件抽取實現(xiàn) 191
9.4.3 基于深度學習的事件抽取實現(xiàn) 192
9.5 本章小結 194
習題9 194
第10章 知識圖譜 195
10.1 知識圖譜發(fā)展歷史 195
10.2 知識圖譜基本概念 198
10.2.1 知識庫的概念及分類 198
10.2.2 知識庫的表示形式 199
10.3 知識圖譜的生命周期 199
10.3.1 知識建模 200
10.3.2 知識抽取 204
10.3.3 知識融合 208
10.3.4 知識存儲 210
10.3.5 知識計算 213
10.3.6 知識圖譜應用 215
10.4 知識圖譜的現(xiàn)有應用 216
10.4.1 語義搜索 216
10.4.2 智能問答系統(tǒng) 217
10.4.3 輔助決策 217
10.4.4 個性化推薦 218
10.4.5 學科知識圖譜 218
10.5 本章小結 219
習題10 220
第11章 問答系統(tǒng)與人機對話系統(tǒng) 221
11.1 問答系統(tǒng) 221
11.1.1 系統(tǒng)構成 221
11.1.2 基于信息檢索和答案選擇的混合式問答系統(tǒng) 223
11.2 基于大規(guī)模知識庫的問答系統(tǒng) 227
11.2.1 知識庫問答系統(tǒng)任務 228
11.2.2 基于中文知識圖譜的問答系統(tǒng) 229
11.3 閱讀理解式問答系統(tǒng) 234
11.4 對話系統(tǒng) 236
11.4.1 基于深度學習的多方對話系統(tǒng) 236
11.4.2 對話系統(tǒng)相關任務 239
11.5 醫(yī)學視覺問答 240
11.5.1 相關概念介紹 240
11.5.2 面向醫(yī)學數(shù)據(jù)特征優(yōu)化的視覺問答系統(tǒng) 241
11.6 問答系統(tǒng)在MindSpore框架中的應用 248
11.6.1 華為昇思MindSpore框架 248
11.6.2 DAM模型 250
11.6.3 基于MindSpore框架的DAM模型分析 252
11.6.4 所用數(shù)據(jù)集` 252
11.7 本章小結 252
習題11 253
參考文獻 254