前言

第 1章 生成式AI基礎(chǔ) 1

1.1 技術(shù)框架介紹 1

1.1.1 Python 1

1.1.2 TensorFlow 3

1.1.3 PyTorch 5

1.1.4 Hugging Face 8

1.1.5 擴展閱讀 9

1.2 常見模型介紹 9

1.2.1 判別式模型 10

1.2.2 生成式模型 10

1.3 數(shù)據(jù)和任務 11

1.3.1 數(shù)據(jù)類型 12

1.3.2 常見任務 12

1.4 小結(jié) 17



第 2章 Transformer和GPT模型 19

2.1 Transformer簡介 19

2.1.1 基本概念 19

2.1.2 關(guān)鍵技術(shù) 21

2.1.3 變種與擴展 22

2.1.4 資源與工具 23

2.1.5 擴展閱讀 24

2.2 GPT模型基礎(chǔ) 24

2.2.1 GPT模型的歷史背景 24

2.2.2 GPT模型的核心技術(shù) 26

2.2.3 擴展閱讀 26

2.3 如何使用ChatGPT 27

2.3.1 注冊ChatGPT賬號 27

2.3.2 ChatGPT操作方法 27

2.3.3 ChatGPT使用技巧 28

2.4 案例一：文本生成 29

2.4.1 初始化 29

2.4.2 加載ELI5數(shù)據(jù)集 29

2.4.3 預處理 31

2.4.4 訓練 33

2.4.5 推理 34

2.5 案例二：文本總結(jié) 36

2.5.1 安裝 36

2.5.2 加載數(shù)據(jù)集 37

2.5.3 預處理數(shù)據(jù) 40

2.5.4 微調(diào)模型 44

2.5.5 推理 46

2.6 案例三：文本分類 47

2.6.1 transformers庫 48

2.6.2 具體應用 48

2.6.3 實際應用中的挑戰(zhàn) 51



第3章 Stable Diffusion 53

3.1 Stable Diffusion簡介 53

3.1.1 軟件對比 54

3.1.2 計算機配置要求 55

3.1.3 安裝步驟 55

3.1.4 基礎(chǔ)操作 56

3.1.5 高級功能 58

3.2 Stable Diffusion入門 59

3.2.1 前期準備 60

3.2.2 加載Stable Diffusion 60

3.2.3 可視化Stable Diffusion的內(nèi)部工作機制 64

3.2.4 Stable Diffusion理論的實際應用 66

3.2.5 Stable Diffusion的內(nèi)部結(jié)構(gòu) 73

3.3 Stable Diffusion的基礎(chǔ)應用 84

3.3.1 從文本生成圖像：用文字描繪視覺世界 84

3.3.2 圖生圖：Stable Diffusion的圖像轉(zhuǎn)換魔法 86

3.3.3 圖像編輯：用AI技術(shù)重塑視覺記憶 87

3.3.4 制作視頻：用AI賦予畫面動態(tài)生命 88

3.4 文生圖 88

3.4.1 流行的模型 89

3.4.2 配置pipeline參數(shù) 93

3.4.3 控制圖像生成 96

3.4.4 優(yōu)化操作 97

3.5 圖生圖 97

3.5.1 快速入門 97

3.5.2 流行的模型 98

3.5.3 配置pipeline參數(shù) 102

3.5.4 鏈式圖像到圖像pipeline 105

3.5.5 控制圖像生成 109

3.6 圖像修復 113

3.6.1 使用Diffusers進行圖像修復 113

3.6.2 常用的模型 114

3.6.3 非特定修復的checkpoint 117

3.6.4 配置pipeline參數(shù) 122

3.6.5 串聯(lián)修復pipeline 125

3.6.6 控制圖像生成 128

3.7 小結(jié) 130



第4章 LangChain與AI Agent 131

4.1 LangChain與AI Agent簡介 131

4.1.1 LangChain架構(gòu) 133

4.1.2 使用LangChain構(gòu)建AI Agent示例 134

4.2 LangChain關(guān)鍵組件 136

4.2.1 Module I/O 137

4.2.2 Retrieval 140

4.2.3 Agent 141

4.3 LCEL入門 141

4.4 LCEL的使用示例 144

4.4.1 基礎(chǔ)原理 144

4.4.2 常用方式 148

4.5 RAG基礎(chǔ)應用 150

4.5.1 RAG架構(gòu) 150

4.5.2 設(shè)置 151

4.5.3 詳細分析 153

4.6 Agent基礎(chǔ)應用 158

4.6.1 搭建Agent 158

4.6.2 創(chuàng)建工具 159

4.6.3 創(chuàng)建提示 159

4.6.4 構(gòu)建Agent 160

4.6.5 調(diào)用Agent 160

4.7 高級RAG應用程序 161

4.7.1 高級應用示例添加聊天記錄 162

4.7.2 構(gòu)建環(huán)境 162

4.7.3 沒有聊天歷史的鏈條 163

4.7.4 情境化問題 164

4.7.5 有聊天歷史的鏈條 165

4.8 小結(jié) 167



第5章 生成式AI開源應用案例 169

5.1 文本轉(zhuǎn)博客 169

5.1.1 核心技術(shù) 169

5.1.2 應用與部署 173

5.2 智能填表QuickFill 174

5.2.1 頁面介紹 174

5.2.2 用戶使用指南 175

5.2.3 部署項目 176

5.3 使用Transformer處理多模態(tài)大語言模型 180

5.3.1 配置教程 181

5.3.2 使用Transformer 181

5.3.3 使用ModelScope 190

5.4 3D生成：Stable Diffusion和Generative Gaussian Splatting方法 192

5.4.1 配置流程 192

5.4.2 運行示例 193

5.4.3 關(guān)鍵原理解釋 194

5.5 視頻生成 195

5.5.1 簡介 195

5.5.2 視頻生成的原理 196

5.5.3 視頻生成實踐 197

5.5.4 視頻優(yōu)化 202

5.5.5 視頻生成工具 203

5.5.6 視頻生成的挑戰(zhàn) 206



第6章 生成式AI行業(yè)應用 209

6.1 跨媒體內(nèi)容創(chuàng)作 209

6.1.1 文本與圖像結(jié)合 209

6.1.2 文本和視頻結(jié)合 210

6.1.3 多媒體內(nèi)容創(chuàng)作 211

6.2 商業(yè)廣告設(shè)計 212

6.2.1 創(chuàng)新廣告策略 213

6.2.2 定制化設(shè)計方法 213

6.3 金融應用 214

6.3.1 個性化的消費者體驗 214

6.3.2 合規(guī) 215

6.3.3 風險管理 216

6.3.4 動態(tài)預測和報告 216

6.3.5 挑戰(zhàn) 217

6.4 教育應用 217

6.4.1 學習體驗定制 218

6.4.2 教育內(nèi)容創(chuàng)新 219

6.4.3 賦能教師端 219

6.4.4 AI在教育中的挑戰(zhàn)與局限性 219

6.5 在健康領(lǐng)域的應用 220

6.5.1 解決醫(yī)療資源獲取和成本的問題 220

6.5.2 應用場景 222

6.5.3 新型醫(yī)療保健公司的市場 222



第7章 生成式AI倫理道德 225

7.1 常見的生成式AI倫理道德

問題 225

7.1.1 質(zhì)量與性能 225

7.1.2 偏見與公平性 226

7.1.3 隱私 226

7.2 數(shù)據(jù)模型角度的分析 227

7.2.1 數(shù)據(jù)泄露 227

7.2.2 內(nèi)容審查/有害內(nèi)容 228

7.2.3 提示注入/防御 229

7.2.4 模型操縱 230

7.2.5 可解釋性和透明度 230

7.3 一般性解決方案 231

7.3.1 Responsible AI在大語言模型應用開發(fā)中的應用 231

7.3.2 在大語言模型中建立防護欄 231

7.3.3 構(gòu)建值得信賴的AI未來 231