大數(shù)據(jù)時代的到來，為人工智能的飛速發(fā)展帶來前所未有的數(shù)據(jù)紅利。在大數(shù)據(jù)的喂養(yǎng)下，大量知識不斷涌現(xiàn)，如何有效地發(fā)掘這些知識呢？知識圖譜橫空出世。本書是一本講解如何使用TensorFlow 2構建知識圖譜的入門教程，引導讀者掌握基于深度學習的知識圖譜構建概念、理論和方法。 本書分為13章：第1章從搭建環(huán)境開始，包含TensorFlow CPU 版本和GPU版本的安裝，并通過一個知識圖譜的例子引導讀者開始學習；第2~4章介紹TensorFlow API的使用；第5章是Dataset API，學習使用原生API處理數(shù)據(jù)的方法；第6~8章是實戰(zhàn)準備部分，介紹ResNet模型、詞嵌入（word embedding）模型、情感分類；第9 ~10章在注意力模型基礎上搭建了編碼器模型；第11~13章搭建了知識圖譜聯(lián)合抽取模型，利用本書所學知識實戰(zhàn)知識圖譜的搭建過程和性能提升方案。 本書內容詳盡、示例豐富，適合作為知識圖譜和深度學習讀者的參考書，同時也適合開設人工智能專業(yè)的大中專院校師生閱讀，還可作為高等院校計算機及相關專業(yè)教材使用。
本書介紹TensorFlow構建知識圖譜的核心技術，幫助讀者掌握使用深度學習構建知識圖譜的方法，以及使用神經(jīng)網(wǎng)絡的技術要點和基于深度學習的應用程序編寫技巧。
知識圖譜（Knowledge Graph）的概念由谷歌首先提出，旨在實現(xiàn)更智能的搜索引擎。目前，隨著智能信息服務應用的不斷發(fā)展，知識圖譜已被廣泛應用于智能搜索、智能問答、個性化推薦、情報分析、反欺詐等領域。另外，通過知識圖譜能夠將Web上的信息、數(shù)據(jù)以及鏈接關系聚集為知識，使信息資源更易于計算、理解以及評價，并且形成一套Web語義知識庫。知識圖譜以其強大的語義處理能力與開放互聯(lián)能力可為互聯(lián)網(wǎng)上的知識互聯(lián)奠定扎實的基礎，使Web 3.0提出的知識之網(wǎng)愿景成為可能。
隨著深度學習在各個領域中獲得的成功應用，科研人員嘗試著使用深度學習去解決知識圖譜構建的問題，因為這兩個領域的相關特征信息都是相對低層次的，可以借助深度學習的強大學習能力學習其中的復雜信息，目前來看這個嘗試是成功的，應用深度學習技術可以簡單有效地構建知識圖譜。
本書選用TensorFlow 2作為深度學習的框架，從基礎語法開始到使用TensorFlow 2進行深度學習知識圖譜的構建和實戰(zhàn)代碼的編寫，全面介紹使用TensorFlow 2進行知識圖譜構建的核心技術和涉及的相關知識，內容翔實。
同時，本書并不是一個簡單的實戰(zhàn)案例書，而是在講解和演示實例代碼的過程中，對TensorFlow 2核心內容進行深入分析，重要內容均結合代碼進行實戰(zhàn)講解，圍繞深度學習基本原理介紹了大量實戰(zhàn)案例。讀者通過這些實例，可以深入地掌握深度學習和TensorFlow 2的相關內容，并能掌握使用深度學習構建知識圖譜的技能。
本書是一本面向初級和中級讀者的優(yōu)秀教程。通過本書的學習，讀者能夠掌握使用深度學習進行知識圖譜構建的方法，以及在TensorFlow 2框架下使用神經(jīng)網(wǎng)絡的要點，掌握基于深度學習應用程序的編寫技巧。
本書特色
（1）重實戰(zhàn)，講原理。本書立足于深度學習，以知識圖譜實戰(zhàn)為目的進行講解，提供完整可運行的知識圖譜代碼，并對基本原理進行講解，可以讓讀者直接將其應用到實際生產(chǎn)環(huán)境中。
（2）版本新，易入門。本書詳細介紹TensorFlow 2.4的安裝，包括CPU版本和GPU版本，同時還包括各種開發(fā)工具和框架的安裝。
（3）作者經(jīng)驗豐富，代碼編寫細膩。作者是長期奮戰(zhàn)在科研和工業(yè)界的一線算法設計和程序編寫人員，實戰(zhàn)經(jīng)驗豐富，對代碼中可能會出現(xiàn)的各種問題和坑有豐富的處理經(jīng)驗，能夠使讀者少走很多彎路。
（4）理論扎實，深入淺出。在代碼設計的基礎上，本書還深入淺出地介紹深度學習需要掌握的一些基本理論，作者通過公式與圖示結合的方式對理論做介紹，方便讀者理解相關內容。
（5）對比多種應用方案，實戰(zhàn)案例豐富。本書采用大量的實例，同時提供一些實現(xiàn)同類功能的其他解決方案，覆蓋使用TensorFlow 2進行深度學習開發(fā)中常用的知識。
本書內容及知識體系
本書完整地介紹使用TensorFlow 2構建知識圖譜的方法，主要內容如下：
第1章是理論基礎篇，首先講解知識圖譜的概念、它與自然語言處理的關系，然后搭建知識圖譜的開發(fā)環(huán)境，包括Anaconda、PyCharm、TensorFlow 2.4，后構建一個簡單的知識圖譜。
第2章從Model的設計開始，循序漸進地介紹TensorFlow 2的編程方法，以及結合Keras進行TensorFlow 2模型設計的完整步驟和自定義層的方法。本章內容看起來很簡單，卻是本書的技術基礎和核心精華，讀者一定要反復閱讀，認真掌握其中的所有知識點和代碼編寫方法。
第3章是TensorFlow 2的理論部分，介紹反饋神經(jīng)網(wǎng)絡的實現(xiàn)和核心的兩個算法，通過圖示結合理論公式的方式詳細介紹這兩個算法，后手動實現(xiàn)一個反饋神經(jīng)網(wǎng)絡。使用卷積神經(jīng)網(wǎng)絡來識別物體是深度學習的一個經(jīng)典應用。
第4章詳細介紹卷積神經(jīng)網(wǎng)絡的原理以及各個模型的使用和自定義方法，并借助卷積神經(jīng)網(wǎng)絡（CNN）算法構建一個簡單的CNN模型以進行MNIST數(shù)字識別。
第5章介紹TensorFlow新版本的數(shù)據(jù)讀寫方法，以及TensorFlow 2自帶的Dataset API進行數(shù)據(jù)的序列化存儲方法，重點演示將數(shù)據(jù)重新讀取和調用的程序編寫技巧。
第6章介紹ResNet的基本思想和設計技術。ResNet是一個具有里程碑性質的框架，標志著粗獷的卷積神經(jīng)網(wǎng)絡設計向著精確化和模塊化的方向轉化，ResNet本身的程序編寫非常簡單，但是其中蘊含的設計思想?yún)s是跨越性的。
第7章主要介紹自然語言處理的基本的詞嵌入的訓練和使用，以一個有趣的問題引導讀者從文本清洗開始，到詞嵌入的計算，以及利用文本的不同維度和角度對文本進行拆分。
第8章主要介紹自然語言處理的一個基本架構循環(huán)神經(jīng)網(wǎng)絡的基本理論和方法。本章與第6章內容互補，可以加深讀者對深度學習中不同模塊和架構的理解。
第9章開始進行更細化的自然語言處理部分，總結和復習本書前面所學的內容，并使用深度學習工具實現(xiàn)一個解碼器，從而解決拼音到文字的轉換。這一章的目的是對前期內容的總結，也為后續(xù)的預訓練模型的基本理論和使用打下基礎。
第10章是預訓練模型的部分，綜合應用前文介紹的注意力模型，介紹使用預訓練模型進行深度學習訓練的方法，并教會讀者可以使用不同的預訓練模型達到不同的效果。
第11~12章分別演示多標簽文本分類實戰(zhàn)和命名實體識別實戰(zhàn)，同時這兩個實戰(zhàn)也是分步構建知識圖譜的基礎。這兩章內容既復習了前面章節(jié)所講解的知識，也為下一章構建知識圖譜聯(lián)合抽取模型打下基礎。
第13章的實戰(zhàn)案例綜合本書講解的知識，融合前兩章的模型構建了知識圖譜，并提出其性能優(yōu)化的方法。此實戰(zhàn)案例既可以用于學習演示，也可以作為實際應用的程序進行移植。
源碼、課件、數(shù)據(jù)集、開發(fā)環(huán)境下載
本書配套源碼、課件、數(shù)據(jù)集、開發(fā)環(huán)境，需要使用微信掃描右邊二維碼下載，可按頁面提示把鏈接轉發(fā)到自己的郵箱中下載。如果有問題，請聯(lián)系booksaga@163.com，郵件主題為TensorFlow知識圖譜實戰(zhàn)。
適合閱讀本書的讀者
? Python編程人員
? AI初學者
? 知識圖譜初學者
? 深度學習初學者
? 自然語言處理初學者
? 人工智能專業(yè)的師生
? 培訓機構的師生
? 其他對智能化、自動化感興趣的開發(fā)者
勘誤和感謝
由于筆者的水平有限，加上TensorFlow版本的演進較快、本書編寫時間跨度較長，書中難免會出現(xiàn)疏漏的地方，懇請讀者來信批評指正。
感謝出版社的所有編輯在本書編寫和審核過程中提供的無私幫助和寶貴建議，正是由于他們的耐心和支持才讓本書得以出版。感謝家人對筆者的支持和理解，這些都給予筆者莫大的動力，讓自己的努力更加有意義。
王曉華
2021年9月
王曉華，計算機專業(yè)講師，長期講授面向對象程序設計、數(shù)據(jù)結構、Hadoop程序設計等研究生和本科生相關課程；主要研究方向為云計算、數(shù)據(jù)挖掘。曾主持和參與多項國家和省級科研課題，獨立科研項目獲省級成果認定，發(fā)表過多篇論文，擁有一項國家專利。著有《Spark MLlib機器學習實踐》《TensorFlow深度學習應用實踐》《OpenCV TensorFlow深度學習與計算機視覺實戰(zhàn)》《TensorFlow 2.0卷積神經(jīng)網(wǎng)絡實戰(zhàn)》《TensorFlow Keras自然語言處理實戰(zhàn)》等圖書。
第1章 知識圖譜的前世今生 1
1.1 何謂自然語言處理 1
1.1.1 自然語言處理是門技術 1
1.1.2 傳統(tǒng)的自然語言處理 2
1.2 自然語言處理為什么難以簡單的情感分析為例 3
1.2.1 自然語言處理的難點 3
1.2.2 自然語言處理小練習：酒店評論的情感分類 5
1.3 知識圖譜到底是什么 8
1.3.1 知識圖譜的應用 9
1.3.2 知識圖譜中的三元組 10
1.4 搭建環(huán)境1：安裝Python 11
1.4.1 Anaconda的下載與安裝 12
1.4.2 PyCharm的下載與安裝 14
1.4.3 Python代碼小練習：計算softmax函數(shù) 17
1.5 搭建環(huán)境2：安裝TensorFlow 2.X的GPU版本 18
1.5.1 10/20/30系列顯卡選擇的GPU版本 18
1.5.2 TensorFlow 2.4 GPU版本基礎顯卡推薦和前置軟件安裝 19
1.5.3 TensorFlow小練習：Hello TensorFlow 22
1.6 實戰(zhàn)知識圖譜的展示 22
1.6.1 步：數(shù)據(jù)的準備 22
1.6.2 第二步：數(shù)據(jù)的處理 23
1.6.3 第三步：知識圖譜的展示 24
1.6.4 第四步：更多的連線 25
1.6.5 一個需要解決的小問題 25
1.7 本章小結 26
第2章 TensorFlow和Keras快速入門 27
2.1 Keras讓一切變簡單 27
2.1.1 深度學習，始于模型 28
2.1.2 使用Keras API實現(xiàn)鳶尾花分類的例子（順序模型） 28
2.1.3 使用Keras函數(shù)式編程實現(xiàn)鳶尾花分類的例子（重點） 31
2.1.4 使用保存的Keras模式對模型進行復用 34
2.1.5 使用TensorFlow 標準化編譯對iris模型進行擬合 34
2.1.6 多輸入單一輸出TensorFlow 編譯方法（選學） 38
2.1.7 多輸入多輸出TensorFlow 編譯方法（選學） 42
2.2 全連接層詳解 43
2.2.1 全連接層的定義與實現(xiàn) 43
2.2.2 使用TensorFlow 自帶的API實現(xiàn)全連接層 45
2.2.3 打印顯示已設計的model結構和參數(shù) 48
2.3 懶人的福音Keras模型庫 49
2.3.1 ResNet50模型和參數(shù)的載入 50
2.3.2 使用ResNet作為特征提取層建立模型 52
2.4 本章小結 54
第3章 深度學習的理論基礎 55
3.1 BP神經(jīng)網(wǎng)絡簡介 56
3.2 BP神經(jīng)網(wǎng)絡兩個基礎算法詳解 59
3.2.1 小二乘法（LS算法）詳解 59
3.2.2 道士下山的故事梯度下降算法 61
3.2.3 小二乘法的梯度下降算法及其Python實現(xiàn) 64
3.3 反饋神經(jīng)網(wǎng)絡反向傳播算法介紹 70
3.3.1 深度學習基礎 70
3.3.2 鏈式求導法則 71
3.3.3 反饋神經(jīng)網(wǎng)絡原理與公式推導 72
3.3.4 反饋神經(jīng)網(wǎng)絡原理的激活函數(shù) 78
3.3.5 反饋神經(jīng)網(wǎng)絡原理的Python實現(xiàn) 79
3.4 本章小結 83
第4章 卷積神經(jīng)網(wǎng)絡實戰(zhàn) 84
4.1 卷積運算基本概念 84
4.1.1 卷積運算 85
4.1.2 TensorFlow 中卷積函數(shù)實現(xiàn)詳解 86
4.1.3 池化運算 88
4.1.4 softmax激活函數(shù) 89
4.1.5 卷積神經(jīng)網(wǎng)絡原理 90
4.2 卷積實戰(zhàn)：MNIST手寫體識別 93
4.2.1 MNIST數(shù)據(jù)集 93
4.2.2 MNIST數(shù)據(jù)集特征和標簽介紹 95
4.2.3 TensorFlow 2.X編程實戰(zhàn)：MNIST數(shù)據(jù)集 97
4.2.4 使用自定義的卷積層實現(xiàn)MNIST識別 101
4.3 本章小結 104
第5章 Datasets數(shù)據(jù)集和TensorBoard可視化 105
5.1 TensorFlow Datasets簡介 105
5.1.1 Datasets 數(shù)據(jù)集的安裝 107
5.1.2 Datasets 數(shù)據(jù)集的使用 107
5.2 Datasets 數(shù)據(jù)集的使用FashionMNIST 109
5.2.1 FashionMNIST數(shù)據(jù)集下載與展示 110
5.2.2 模型的建立與訓練 111
5.3 使用Keras對FashionMNIST數(shù)據(jù)集進行處理 113
5.3.1 獲取數(shù)據(jù)集 113
5.3.2 數(shù)據(jù)集的調整 114
5.3.3 使用Python類函數(shù)建立模型 114
5.3.4 Model的查看和參數(shù)打印 115
5.3.5 模型的訓練和評估 117
5.4 使用TensorBoard可視化訓練過程 119
5.4.1 TensorBoard文件夾設置 119
5.4.2 TensorBoard的顯式調用（推薦使用Chrome或Edge瀏覽器） 120
5.4.3 TensorBoard的使用 122
5.5 本章小結 126
第6章 ResNet實現(xiàn)神經(jīng)網(wǎng)絡的飛躍 127
6.1 ResNet基礎原理與程序設計基礎 127
6.1.1 ResNet誕生的背景 127
6.1.2 模塊工具的TensorFlow 實現(xiàn)不要重復造輪子 130
6.1.3 TensorFlow 高級模塊layers用法簡介 131
6.2 ResNet實戰(zhàn)：CIFAR100數(shù)據(jù)集分類 138
6.2.1 CIFAR100數(shù)據(jù)集簡介 138
6.2.2 ResNet殘差模塊的實現(xiàn) 141
6.2.3 ResNet網(wǎng)絡的實現(xiàn) 143
6.2.4 使用ResNet對CIFAR100數(shù)據(jù)集進行分類 146
6.3 本章小結 147
第7章 有趣的詞嵌入word embedding 148
7.1 文本數(shù)據(jù)處理 148
7.1.1 數(shù)據(jù)集介紹和數(shù)據(jù)清洗 149
7.1.2 停用詞的使用 151
7.1.3 詞向量訓練模型word2vec使用介紹 153
7.1.4 文本主題的提�。夯赥F-IDF（選學） 156
7.1.5 文本主題的提�。夯赥extRank（選學） 160
7.2 更多的word embedding方法fastText和 預訓練詞向量 163
7.2.1 fastText的原理與基礎算法 163
7.2.2 fastText訓練以及與TensorFlow 2.X的協(xié)同使用 164
7.2.3 使用其他預訓練參數(shù)做TensorFlow詞嵌入矩陣（中文） 170
7.3 針對文本的卷積神經(jīng)網(wǎng)絡模型簡介字符卷積 171
7.3.1 字符（非單詞）文本的處理 172
7.3.2 卷積神經(jīng)網(wǎng)絡文本分類模型的實現(xiàn)conv1d（一維卷積） 179
7.4 針對文本的卷積神經(jīng)網(wǎng)絡模型詞卷積 180
7.4.1 單詞的文本處理 181
7.4.2 卷積神經(jīng)網(wǎng)絡文本分類模型的實現(xiàn)conv2d（二維卷積） 183
7.5 使用卷積對文本分類的補充內容 186
7.5.1 漢字的文本處理 186
7.5.2 其他的一些細節(jié) 188
7.6 本章小結 189
第8章 情感分類 190
8.1 GRU與情感分類 190
8.1.1 使用GRU的情感分類 190
8.1.2 什么是GRU 191
8.1.3 TensorFlow 中的GRU層詳解 193
8.1.4 單向不行就雙向 194
8.2 實戰(zhàn)：情感分類 195
8.2.1 使用TensorFlow 自帶的模型做文本分類 195
8.2.2 使用自定義的DPCNN做模型分類 199
8.3 本章小結 203
第9章 編碼器自然語言處理的歸宿 204
9.1 編碼器的核心注意力模型 205
9.1.1 輸入層初始詞向量層和位置編碼器層 205
9.1.2 自注意力層 207
9.1.3 ticks和LayerNormalization 212
9.1.4 多頭自注意力 213
9.2 編碼器的實現(xiàn) 216
9.2.1 前饋層的實現(xiàn) 216
9.2.2 編碼器的實現(xiàn) 218
9.3 實戰(zhàn)編碼器：漢字拼音轉化模型 221
9.3.1 漢字拼音數(shù)據(jù)集處理 222
9.3.2 漢字拼音轉化模型的確定 223
9.3.3 模型訓練部分的編寫 226
9.3.4 推斷函數(shù)的編寫 228
9.4 本章小結 229
第10章 BERT站在巨人肩膀上的預訓練模型 230
10.1 預訓練模型BERT 230
10.1.1 BERT基本架構與應用 231
10.1.2 BERT預訓練任務與Fine-Tuning 232
10.2 實戰(zhàn)BERT：中文文本分類 235
10.2.1 使用Hugging face獲取BERT預訓練模型 235
10.2.2 BERT實戰(zhàn)文本分類 236
10.3 更多的預訓練模型 241
10.4 本章小結 244
第11章 知識圖譜實戰(zhàn)1：多標簽文本分類 245
11.1 多標簽文本基本內容 245
11.1.1 多標簽分類不等于多分類 245
11.1.2 多標簽分類的激活函數(shù)sigmoid 246
11.2 多標簽文本實戰(zhàn) 247
11.2.1 步：數(shù)據(jù)的獲取與處理 247
11.2.2 第二步：選擇特征抽取模型 251
11.2.3 第三步：訓練模型的建立 252
11.2.4 第四步：多標簽文本分類的訓練與預測 253
11.3 本章小結 256
第12章 知識圖譜實戰(zhàn)2：命名實體識別 257
12.1 命名實體識別的基本內容 257
12.1.1 什么是命名實體識別 257
12.1.2 深度學習在命名實體識別中的應用 258
12.1.3 命名實體識別CRF層簡介 258
12.1.4 命名實體識別一般的模型架構詳解 259
12.2 方法一：BERT命名實體識別實戰(zhàn) 260
12.2.1 步：數(shù)據(jù)的獲取與處理 260
12.2.2 第二步：BERT模型設計 262
12.2.3 第三步：完整的BERT模型訓練 263
12.2.4 第四步：使用BERT命名實體識別模型進行預測 263
12.3 方法二：BiLSTM-CRF命名實體識別實戰(zhàn) 265
12.3.1 步：數(shù)據(jù)的獲取與處理 265
12.3.2 第二步：BiLSTM-CRF模型設計 265
12.3.3 第三步：BiLSTM-CRF模型的訓練 266
12.3.4 第四步：使用BiLSTM的預測 268
12.4 本章小結 269
第13章 知識圖譜實戰(zhàn)3： 基于聯(lián)合抽取的知識圖譜模型 270
13.1 基于聯(lián)合抽取的知識圖譜模型實戰(zhàn) 270
13.1.1 什么是聯(lián)合抽取 270
13.1.2 步：數(shù)據(jù)的處理 272
13.1.3 第二步：模型的設計 274
13.1.4 第三步：聯(lián)合抽取模型的訓練 274
13.2 知識圖譜模型提升 276
13.2.1 更換預訓練模型進行提升 276
13.2.2 更換損失函數(shù)進行提升 276
13.2.3 使用Mixture-of-Experts修正聯(lián)合抽取模型 279
13.3 本章小結 281
書單推薦
