大模型知識增強(qiáng)：概念、方法與技術(shù)
定 價：118 元
叢書名：大模型前沿技術(shù)與應(yīng)用叢書
- 作者：陳華鈞
- 出版時間：2025/5/1
- ISBN：9787121500794
- 出 版 社：電子工業(yè)出版社
- 中圖法分類：TP18
- 頁碼：324
- 紙張：
- 版次：01
- 開本：16開
以 ChatGPT 和 DeepSeek 為代表的大模型，標(biāo)志著人工智能在理解和處理世界知識方面取得了顯著的進(jìn)展。知識增強(qiáng)（Knowledge Augmentation）是指在大模型訓(xùn)練或推理過程中，通過引入外部結(jié)構(gòu)化知識或符號化知識，提升大模型在理解、推理與生成等任務(wù)中的準(zhǔn)確性、可靠性、專業(yè)性和可解釋性。本書聚焦于“大模型+知識庫（LLM + KB）”框架下的大模型知識增強(qiáng)機(jī)制與方法，特別是系統(tǒng)探討大模型與知識圖譜互補增強(qiáng)的核心技術(shù)與實現(xiàn)路徑。具體內(nèi)容涵蓋：大模型知識增強(qiáng)概述、知識增強(qiáng)預(yù)訓(xùn)練基礎(chǔ)、知識增強(qiáng)提示指令、知識輔助檢索增強(qiáng)、知識增強(qiáng)大模型查詢問答、知識增強(qiáng)推理、大模型幻覺抑制、知識編輯、知識增強(qiáng)多模態(tài)學(xué)習(xí)，以及知識智能體與世界模型等主題。各章由淺入深，先提供背景知識，再逐步深入介紹技術(shù)原理和最新學(xué)術(shù)進(jìn)展，注重系統(tǒng)性、整體性與章節(jié)間的有機(jī)銜接。針對實踐應(yīng)用，本書部分章節(jié)挑選了來自企業(yè)真實案例與開源工具的示范，便于讀者動手實踐，實現(xiàn)理論與實踐的結(jié)合。本書可作為計算機(jī)及相關(guān)專業(yè)的高年級本科生、研究生教材，也可作為從事大模型相關(guān)工作的技術(shù)管理者與研發(fā)人員的參考書。
陳華鈞浙江大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院教授/博導(dǎo)，中文開放知識圖譜OpenKG發(fā)起人，浙江省數(shù)智科技研究會副會長，中國中文信息學(xué)會語言與知識計算專委會副主任，中國人工智能學(xué)會知識工程與分布智能專委會副主任。入選浙江省有突出貢獻(xiàn)中青年專家、浙江省高層次人才特殊支持計劃科技創(chuàng)新領(lǐng)軍人才，全球前2%頂尖科學(xué)家終身榜單（人工智能領(lǐng)域）。主要研究方向為人工智能、知識圖譜、自然語言處理、AI for Science，在Nature Machine Intelligence、Nature Communications、NeurIPS、ICLR、ICML、IJCAI、AAAI、ACL、EMNLP、WWW、KDD、VLDB、IEEE TKDE、Proceedings of the IEEE等國際頂級會議和期刊以第一作者或通訊作者發(fā)表多篇論文。主持多項國家自然科學(xué)基金重點類項目，以及國家重點研發(fā)計劃、國家重大科技專項、重大企業(yè)合作項目。曾獲國際語義網(wǎng)會議ISWC最佳論文獎、國際知識圖譜聯(lián)合會議IJCKG最佳論文獎、國家科技進(jìn)步二等獎、教育部技術(shù)發(fā)明一等獎、錢偉長科技獎一等獎、浙江省科技進(jìn)步二等獎、浙江大學(xué)優(yōu)秀教材獎一等獎等多項科技獎勵。張寧豫浙江大學(xué)軟件學(xué)院副教授、特聘研究員、智能科學(xué)與工業(yè)軟件所副所長，入選斯坦福全球前2%頂尖科學(xué)家榜單，主要研究方向為自然語言處理、知識圖譜等。擔(dān)任ACM Transactions on Asian and Low-Resource Language Information Processing Associate Editor，ACL、EMMLP、ICLR、KDD領(lǐng)域主席，ARR Action Editor，IJCAI高級程序委員，研發(fā)了知識獲取系統(tǒng)DeepKE及大模型知識編輯系統(tǒng)EasyEdit。張文浙江大學(xué)軟件學(xué)院副教授、特聘研究員。研究方向為知識表示與推理、知識圖譜、大語言模型。在NeurIPS、KDD、WWW、IJCAI、AAAI、ICDE、ACM MM、WSDM等國際頂級會議上發(fā)表多篇論文。主持國家自然科學(xué)基金青年科學(xué)基金項目、浙江省自然科學(xué)基金探索青年項目、寧波市自然科學(xué)基金探索一般項目。曾獲國際知識圖譜聯(lián)合會議（IJCKG）最佳論文獎、最佳應(yīng)用論文獎，浙江省科技進(jìn)步二等獎等獎勵。入選副省級市高層次人才引進(jìn)計劃、百度2023年度AI華人女性青年學(xué)者榜。
第1章 大模型知識增強(qiáng)概述 1
1.1 大模型時代的通用人工智能 2
1.1.1 人類語言與世界知識 2
1.1.2 大模型是處理世界知識的通用
人工智能系統(tǒng) 2
1.1.3 通用人工智能的特征 3
1.2 大模型的知識力 8
1.2.1 什么是知識 8
1.2.2 知識的表示形式 9
1.2.3 大模型中的世界知識 11
1.3 知識圖譜與語言模型 14
1.3.1 知識表示與知識規(guī)模 15
1.3.2 為什么仍然需要符號知識圖譜 16
1.3.3 語言模型與知識圖譜都是表示和處理
知識的手段 16
1.4 大模型知識增強(qiáng) 17
1.4.1 大模型知識增強(qiáng)的分類 17
1.4.2 大模型知識增強(qiáng)的典型方法及核心概念 20
1.5 本章小結(jié) 21
第2章 知識增強(qiáng)預(yù)訓(xùn)練基礎(chǔ) 23
2.1 知識增強(qiáng)預(yù)訓(xùn)練概述 24
2.2 預(yù)訓(xùn)練語言模型 25
2.2.1 語言模型 25
2.2.2 詞向量與分布式語義表示 26
2.2.3 注意力機(jī)制：增強(qiáng)詞的交互關(guān)系 28
2.2.4 預(yù)訓(xùn)練語言模型 29
2.2.5 ChatGPT 31
2.3 知識增強(qiáng)的預(yù)訓(xùn)練 34
2.3.1 常見知識增強(qiáng)語料 34
2.3.2 知識增強(qiáng)詞向量 36
2.3.3 知識注入 37
2.3.4 結(jié)構(gòu)增強(qiáng) 43
2.4 應(yīng)用與實踐 47
2.4.1 知識增強(qiáng)電信預(yù)訓(xùn)練模型 47
2.4.2 知識增強(qiáng)電商預(yù)訓(xùn)練模型 53
2.4.3 知識增強(qiáng)蛋白質(zhì)預(yù)訓(xùn)練模型 56
2.5 本章小結(jié) 59
第3章 知識增強(qiáng)提示指令 60
3.1 知識增強(qiáng)提示指令概述 61
3.2 提示學(xué)習(xí)與指令精調(diào) 63
3.2.1 提示學(xué)習(xí) 63
3.2.2 指令精調(diào) 69
3.2.3 思維鏈 73
3.2.4 提示的本質(zhì) 74
3.3 知識增強(qiáng)提示學(xué)習(xí) 76
3.3.1 傳統(tǒng)提示學(xué)習(xí)的局限性 76
3.3.2 知識增強(qiáng)提示模板 76
3.3.3 知識增強(qiáng)標(biāo)簽詞集構(gòu)建 79
3.3.4 面向圖數(shù)據(jù)的提示學(xué)習(xí) 81
3.4 結(jié)構(gòu)增強(qiáng)思維鏈 83
3.4.1 傳統(tǒng)思維鏈的局限性 83
3.4.2 結(jié)構(gòu)化思維鏈 84
3.4.3 知識圖譜思維鏈 91
3.5 結(jié)構(gòu)增強(qiáng)指令精調(diào) 93
3.5.1 傳統(tǒng)指令精調(diào)的局限性 93
3.5.2 知識抽取指令 94
3.5.3 圖學(xué)習(xí)指令 97
3.5.4 知識圖譜指令 99
3.6 本章小結(jié) 100
第4章 知識輔助檢索增強(qiáng) 103
4.1 知識輔助檢索增強(qiáng)概述 104
4.2 檢索增強(qiáng)生成 105
4.2.1 什么是檢索增強(qiáng)生成 105
4.2.2 RAG的典型架構(gòu) 108
4.2.3 RAG的訓(xùn)練機(jī)制 111
4.2.4 RAG的優(yōu)化 114
4.2.5 RAG的局限性 114
4.3 知識圖譜與RAG 115
4.3.1 向量RAG與KG-RAG 115
4.3.2 知識圖譜對于RAG的價值 116
4.3.3 知識圖譜增強(qiáng)RAG的不同階段 118
4.4 KG-RAG的幾種典型架構(gòu) 121
4.4.1 Tree-RAG：構(gòu)建實體或主題
概念樹增強(qiáng)RAG 121
4.4.2 KE-RAG：利用知識抽取增強(qiáng)RAG 122
4.4.3 利用外部知識圖譜增強(qiáng)的KG-RAG 125
4.4.4 融合思維鏈的多模態(tài)KG-RAG 126
4.5 本章小結(jié) 127
第5章 知識增強(qiáng)大模型查詢問答 129
5.1 知識增強(qiáng)大模型查詢問答概述 130
5.2 查詢問答背景知識 131
5.2.1 結(jié)構(gòu)化知識表示 131
5.2.2 結(jié)構(gòu)化知識查詢 132
5.2.3 查詢問答方法 135
5.3 大模型查詢問答能力分析 137
5.4 知識增強(qiáng)查詢問答方法 138
5.4.1 基于大模型微調(diào)的查詢問答 138
5.4.2 基于檢索生成的查詢問答 139
5.4.3 基于統(tǒng)一表示的查詢問答 142
5.5 本章小結(jié) 144
第6章 知識增強(qiáng)大模型推理 146
6.1 知識增強(qiáng)大模型推理概述 147
6.2 知識推理背景介紹 148
6.2.1 什么是知識推理 148
6.2.2 語言模型推理 153
6.2.3 知識圖譜推理 156
6.2.4 知識增強(qiáng)大模型推理的目標(biāo) 162
6.3 知識圖譜增強(qiáng)語言模型推理 163
6.3.1 知識圖譜引導(dǎo)多跳推理鏈 163
6.3.2 符號規(guī)則引導(dǎo)大模型推理 166
6.3.3 知識圖譜過程監(jiān)督 170
6.4 語言模型增強(qiáng)知識圖譜推理 172
6.4.1 語言模型增強(qiáng)知識圖譜查詢推理 173
6.4.2 語言模型增強(qiáng)知識圖譜關(guān)系推理 175
6.4.3 語言模型增強(qiáng)知識圖譜規(guī)則推理 177
6.5 知識圖譜基礎(chǔ)模型 179
6.5.1 知識圖譜預(yù)訓(xùn)練方法 180
6.5.2 知識圖譜基礎(chǔ)模型初探 183
6.6 本章小結(jié) 186
第7章 知識增強(qiáng)幻覺抑制 188
7.1 知識增強(qiáng)幻覺抑制概述 189
7.2 大模型幻覺背景 190
7.2.1 大模型幻覺問題定義 190
7.2.2 大模型幻覺成因 192
7.2.3 大模型幻覺檢測與抑制意義 193
7.2.4 知識增強(qiáng)與幻覺抑制 194
7.3 大模型幻覺檢測與抑制 194
7.3.1 幻覺問題檢測方法 195
7.3.2 知識增強(qiáng)幻覺抑制 199
7.4 本章小結(jié) 206
第8章 大模型知識編輯 208
8.1 大模型知識編輯概述 209
8.2 大模型知識編輯問題 210
8.2.1 什么是大模型知識編輯 210
8.2.2 大模型知識分析方法 212
8.2.3 大模型知識存儲機(jī)制 214
8.3 模型知識編輯方法 217
8.3.1 基于外部干預(yù)的知識編輯方法 218
8.3.2 基于內(nèi)部更新的知識編輯方法 222
8.4 模型編輯影響分析 225
8.4.1 知識能力影響 225
8.4.2 通用能力影響 227
8.5 應(yīng)用與實踐 227
8.5.1 EasyEdit開源知識編輯工具實踐 227
8.5.2 OneEdit知識編輯框架 230
8.5.3 大模型知識編輯應(yīng)用 230
8.6 本章小結(jié) 232
第9章 知識增強(qiáng)多模態(tài)學(xué)習(xí) 233
9.1 知識增強(qiáng)多模態(tài)概述 234
9.1.1 人類認(rèn)知系統(tǒng) 234
9.1.2 融合兩種記憶 234
9.1.3 知識圖譜與多模態(tài)學(xué)習(xí) 235
9.2 多模態(tài)與大模型 236
9.2.1 多模態(tài)任務(wù)簡介 236
9.2.2 多模態(tài)生成模型 238
9.2.3 多模態(tài)大模型 241
9.3 知識增強(qiáng)視覺問答 242
9.3.1 視覺問答與知識圖譜 243
9.3.2 知識增強(qiáng)視覺問答的基本過程 244
9.3.3 典型案例：知識增強(qiáng)多模態(tài)視覺問答 249
9.4 知識增強(qiáng)跨模態(tài)檢索 251
9.4.1 跨模態(tài)檢索與知識圖譜 251
9.4.2 典型案例：知識增強(qiáng)多模態(tài)語義檢索 252
9.5 知識增強(qiáng)低資源多模態(tài)學(xué)習(xí) 254
9.5.1 低資源學(xué)習(xí)與知識圖譜 254
9.5.2 典型案例：知識增強(qiáng)的零樣本學(xué)習(xí) 255
9.6 知識增強(qiáng)多模態(tài)生成 257
9.6.1 多模態(tài)生成任務(wù)概述 257
9.6.2 典型案例：知識增強(qiáng)視覺敘事 258
9.7 知識增強(qiáng)多模態(tài)幻覺檢測 260
9.7.1 領(lǐng)域知識與大模型幻覺檢測 260
9.7.2 典型案例：知識引導(dǎo)的多模態(tài)幻覺檢測 262
9.8 本章小結(jié) 264
第10章 知識智能體與世界模型 266
10.1 概述 267
10.2 AI智能體與工具調(diào)用 268
10.2.1 什么是AI智能體 268
10.2.2 AI智能體架構(gòu) 270
10.2.3 AI智能體學(xué)習(xí) 275
10.2.4 為什么需要知識增強(qiáng)AI智能體 276
10.3 知識增強(qiáng)的AI智能體 277
10.3.1 知識增強(qiáng)的單智能體規(guī)劃 277
10.3.2 知識增強(qiáng)的多智能體協(xié)同 281
10.4 總結(jié)與展望 282
10.4.1 大模型的知識機(jī)制 282
10.4.2 具身智能與世界模型 283
10.4.3 世界知識模型 284
參考文獻(xiàn) 286
書單推薦
