第一篇 生成式 AI 和 LlamaIndex 入門
第 1 章 大語言模型入門 2
1.1 生成式 AI 與大語言模型 3
1.1.1 什么是生成式 AI 3
1.1.2 什么是大語言模型 3
1.2 大語言模型在現(xiàn)代技術(shù)中的角色 5
1.3 大語言模型面臨的挑戰(zhàn) 7
1.4 使用 RAG 技術(shù)增強(qiáng)大語言模型 11
1.5 本章小結(jié) 13
第 2 章 LlamaIndex 生態(tài)概覽 14
2.1 技術(shù)需求 14
2.2 優(yōu)化語言模型微調(diào)、RAG 和 LlamaIndex 的關(guān)系 15
2.2.1 RAG 是唯一的解決方案嗎 16
2.2.2 LlamaIndex：構(gòu)建可注入數(shù)據(jù)的大語言模型應(yīng)用 17
2.3 漸進(jìn)式揭示復(fù)雜性的優(yōu)勢(shì) 19
2.4 實(shí)踐項(xiàng)目個(gè)性化智能輔導(dǎo)系統(tǒng) PITS 簡介 21
2.5 配置開發(fā)環(huán)境 23
2.5.1 安裝 Python 23
2.5.2 安裝 Git 24
2.5.3 安裝 LlamaIndex 25
2.5.4 注冊(cè) OpenAI 獲取 API 密鑰 25
2.5.5 Streamlit 快速構(gòu)建和部署應(yīng)用的理想工具 28
2.5.6 安裝 Streamlit 29
2.5.7 完成環(huán)境配置 29
2.5.8 最終檢查 30
2.6 熟悉 LlamaIndex 代碼倉庫的組織結(jié)構(gòu) 31
2.7 本章小結(jié) 33
第二篇 LlamaIndex 從入門到實(shí)踐
第 3 章 LlamaIndex 入門 36
3.1 技術(shù)需求 36
3.2 LlamaIndex 的核心構(gòu)建塊文檔、節(jié)點(diǎn)和索引 37
3.2.1 文檔 37
3.2.2 節(jié)點(diǎn) 41
3.2.3 手動(dòng)創(chuàng)建節(jié)點(diǎn) 42
3.2.4 從文檔中提取節(jié)點(diǎn) 43
3.2.5 節(jié)點(diǎn)間的關(guān)系 45
3.2.6 為什么節(jié)點(diǎn)間的關(guān)系很重要 46
3.2.7 索引 47
3.2.8 檢索和響應(yīng)合成 49
3.2.9 查詢引擎的工作原理 50
3.2.10 快速回顧關(guān)鍵概念 51
3.3 構(gòu)建第 1 個(gè)交互式增強(qiáng)型大語言模型應(yīng)用 52
3.3.1 借助 LlamaIndex 日志特性理解邏輯并調(diào)試應(yīng)用 53
3.3.2 使用 LlamaIndex 定制大語言模型 54
3.3.3 三步完成大語言模型定制 55
3.3.4 Temperature 溫度系數(shù) 56
3.3.5 如何使用 Settings 用于定制 58
3.4 動(dòng)手實(shí)踐構(gòu)建個(gè)性化智能輔導(dǎo)系統(tǒng) PITS 59
3.5 本章小結(jié) 64
第 4 章 RAG 工作流中的數(shù)據(jù)整合 65
4.1 技術(shù)需求 65
4.2 通過 LlamaHub 導(dǎo)入數(shù)據(jù) 66
4.3 LlamaHub 概述 67
4.4 使用 LlamaHub 數(shù)據(jù)讀取器導(dǎo)入內(nèi)容 68
4.4.1 從網(wǎng)頁導(dǎo)入數(shù)據(jù) 69
4.4.2 從數(shù)據(jù)庫導(dǎo)入數(shù)據(jù) 70
4.4.3 從多種文件格式的數(shù)據(jù)源批量導(dǎo)入數(shù)據(jù) 72
4.5 將文檔解析為節(jié)點(diǎn) 76
4.5.1 簡單的文本切分器 76
4.5.2 高級(jí)的節(jié)點(diǎn)解析器 79
4.5.3 節(jié)點(diǎn)關(guān)系解析器 82
4.5.4 節(jié)點(diǎn)解析器和文本切分器的區(qū)別 83
4.5.5 理解 chunk_size 與 chunk_overlap 84
4.5.6 使用 include_prev_next_rel 包含關(guān)系 85
4.5.7 節(jié)點(diǎn)生成的三種實(shí)踐方式 86
4.6 善用元數(shù)據(jù)優(yōu)化上下文理解 88
4.6.1 摘要提取器 90
4.6.2 問答提取器 91
4.6.3 標(biāo)題提取器 92
4.6.4 實(shí)體提取器 92
4.6.5 關(guān)鍵詞提取器 94
4.6.6 Pydantic 程序提取器 95
4.6.7 Marvin 元數(shù)據(jù)提取器 95
4.6.8 自定義提取器 96
4.6.9 元數(shù)據(jù)越多越好嗎 97
4.7 元數(shù)據(jù)提取的成本評(píng)估 98
4.7.1 遵循最佳實(shí)踐以最小化成本 98
4.7.2 在真正運(yùn)行前評(píng)估最大成本 99
4.8 通過元數(shù)據(jù)提取器保護(hù)隱私 101
4.9 通過數(shù)據(jù)導(dǎo)入流水線提高效率 104
4.10 處理包含文本和表格數(shù)據(jù)的文檔 109
4.11 動(dòng)手實(shí)踐將學(xué)習(xí)資料導(dǎo)入 PITS 項(xiàng)目 110
4.12 本章小結(jié) 112
第 5 章 LlamaIndex 索引詳解 113
5.1 技術(shù)需求 113
5.2 索引數(shù)據(jù)概覽 114
5.3 理解 VectorStoreIndex 116
5.3.1 VectorStoreIndex 使用示例 116
5.3.2 理解向量嵌入 118
5.3.3 理解相似度搜索 120
5.3.4 LlamaIndex 如何創(chuàng)建向量嵌入 124
5.3.5 如何選擇合適的嵌入模型 125
5.4 索引持久化和重用 127
5.4.1 理解存儲(chǔ)上下文 128
5.4.2 向量存儲(chǔ)和向量數(shù)據(jù)庫的區(qū)別 131
5.5 LlamaIndex 的其他索引類型 132
5.5.1 摘要索引 132
5.5.2 文檔摘要索引 134
5.5.3 關(guān)鍵詞表索引 136
5.5.4 樹索引 139
5.5.5 知識(shí)圖譜索引 143
5.6 使用 ComposableGraph 構(gòu)建組合索引 146
5.6.1 ComposableGraph 的基本使用 147
5.6.2 ComposableGraph 的概念解釋 148
5.7 索引構(gòu)建和查詢的成本評(píng)估 149
5.8 動(dòng)手實(shí)踐為 PITS 項(xiàng)目的學(xué)習(xí)資料構(gòu)建索引 154
5.9 本章小結(jié) 156
第三篇 索引數(shù)據(jù)的檢索和使用
第 6 章 數(shù)據(jù)查詢上下文索引 158
6.1 技術(shù)需求 158
6.2 查詢機(jī)制概述 159
6.3 基本檢索器的原理 160
6.3.1 向量存儲(chǔ)索引檢索器 161
6.3.2 摘要索引檢索器 163
6.3.3 文檔摘要索引檢索器 166
6.3.4 樹索引檢索器 168
6.3.5 關(guān)鍵詞表索引檢索器 172
6.3.6 知識(shí)圖譜索引檢索器 174
6.3.7 檢索器的共同特點(diǎn) 178
6.3.8 檢索機(jī)制的高效使用異步操作 178
6.4 構(gòu)建更高級(jí)的檢索機(jī)制 179
6.4.1 樸素的檢索方法 180
6.4.2 實(shí)現(xiàn)元數(shù)據(jù)過濾器 180
6.4.3 使用選擇器實(shí)現(xiàn)更高級(jí)的決策邏輯 184
6.4.4 工具的重要性 186
6.4.5 轉(zhuǎn)換和重寫查詢 188
6.4.6 生成更具體的子查詢 190
6.5 密集檢索和稀疏檢索 193
6.5.1 密集檢索 193
6.5.2 稀疏檢索 194
6.5.3 在 LlamaIndex 中實(shí)現(xiàn)稀疏檢索 196
6.5.4 探索其他高級(jí)檢索方法 199
6.6 本章小結(jié) 200
第 7 章 數(shù)據(jù)查詢后處理和響應(yīng)合成 201
7.1 技術(shù)需求 201
7.2 后處理器對(duì)節(jié)點(diǎn)進(jìn)行重排、轉(zhuǎn)換和過濾 202
7.2.1 探索后處理器如何對(duì)節(jié)點(diǎn)進(jìn)行過濾、轉(zhuǎn)換和重排 203
7.2.2 相似度后處理器 205
7.2.3 關(guān)鍵詞節(jié)點(diǎn)后處理器 207
7.2.4 前后節(jié)點(diǎn)后處理器 209
7.2.5 長文本記錄后處理器 210
7.2.6 隱私信息屏蔽后處理器 211
7.2.7 元數(shù)據(jù)替換后處理器 212
7.2.8 句子嵌入優(yōu)化后處理器 214
7.2.9 基于時(shí)間的后處理器 215
7.2.10 重排后處理器 217
7.2.11 關(guān)于節(jié)點(diǎn)后處理器的小結(jié) 222
7.3 響應(yīng)合成器 222
7.4 輸出解析技術(shù) 226
7.4.1 使用輸出解析器提取結(jié)構(gòu)化輸出 227
7.4.2 使用 Pydantic 程序提取結(jié)構(gòu)化輸出 231
7.5 查詢引擎的構(gòu)建和使用 232
7.5.1 探索構(gòu)建查詢引擎的各種方法 232
7.5.2 查詢引擎接口的高級(jí)用法 234
7.6 動(dòng)手實(shí)踐在 PITS 項(xiàng)目中構(gòu)建測(cè)驗(yàn) 241
7.7 本章小結(jié) 244
第 8 章 構(gòu)建聊天機(jī)器人和智能體 246
8.1 技術(shù)需求 246
8.2 理解聊天機(jī)器人和智能體 247
8.2.1 聊天引擎 ChatEngine 249
8.2.2 不同的聊天模式 251
8.3 在應(yīng)用中實(shí)現(xiàn)自主智能體 261
8.3.1 智能體的工具和 ToolSpec 類 261
8.3.2 智能體的推理循環(huán) 264
8.3.3 OpenAI 智能體 266
8.3.4 ReAct 智能體 271
8.3.5 如何與智能體互動(dòng) 273
8.3.6 借助實(shí)用工具提升智能體 273
8.3.7 使用 LLMCompiler 智能體處理更高級(jí)的場景 278
8.3.8 使用底層智能體協(xié)議 API 281
8.4 動(dòng)手實(shí)踐在 PITS 項(xiàng)目中實(shí)施對(duì)話追蹤 284
8.5 本章小結(jié) 289
第四篇 定制化、提示工程與總結(jié)
第 9 章 LlamaIndex 項(xiàng)目定制與部署 292
9.1 技術(shù)需求 292
9.2 定制 RAG 組件 293
9.2.1 LLaMA 和 LLaMA 2 推動(dòng)開源領(lǐng)域變革 294
9.2.2 使用 LM Studio 運(yùn)行本地大語言模型 295
9.2.3 使用 Neutrino 或 OpenRouter 等服務(wù)智能路由大語言模型 302
9.2.4 自定義嵌入模型 304
9.2.5 利用 Llama Packs 實(shí)現(xiàn)即插即用 305
9.2.6 使用 Llama CLI 307
9.3 高級(jí)追蹤和評(píng)估技術(shù) 309
9.3.1 使用 Phoenix 追蹤 RAG 工作流 310
9.3.2 評(píng)估 RAG 系統(tǒng) 313
9.4 利用 Streamlit 進(jìn)行部署 320
9.5 動(dòng)手實(shí)踐部署指南 322
9.6 本章小結(jié) 328
第 10 章 提示工程指南和最佳實(shí)踐 330
10.1 技術(shù)需求 330
10.2 為什么提示詞是秘密武器 331
10.3 理解 LlamaIndex 如何使用提示詞 334
10.4 自定義默認(rèn)提示詞 337
10.5 提示工程的黃金法則 342
10.5.1 表達(dá)的準(zhǔn)確性和清晰度 342
10.5.2 提示的指導(dǎo)性 342
10.5.3 上下文質(zhì)量 343
10.5.4 上下文數(shù)量 343
10.5.5 上下文排列 344
10.5.6 輸出格式要求 344
10.5.7 推理成本 345
10.5.8 系統(tǒng)延遲 345
10.5.9 選擇適合任務(wù)的大語言模型 345
10.5.10 創(chuàng)造有效提示詞的常用方法 349
10.6 本章小結(jié) 352
第 11 章 結(jié)論與附加資源 353
11.1 其他項(xiàng)目和深入學(xué)習(xí) 353
11.1.1 LlamaIndex 示例集合 354
11.1.2 Replit 任務(wù)和挑戰(zhàn) 357
11.1.3 LlamaIndex 社區(qū)的力量 358
11.2 要點(diǎn)總結(jié)、展望和勉勵(lì) 359
11.2.1 生成式 AI 背景下 RAG 的未來展望 360
11.2.2 一段值得深思的哲理分享 363
11.3 本章小結(jié) 364