第 1章 復(fù)雜卷積神經(jīng)網(wǎng)絡(luò)：捕獲精細特征 1

1.1　AlexNet 2

1.1.1　AlexNet簡介 2

1.1.2　代碼實現(xiàn) 3

1.1.3　模型訓(xùn)練 6

1.1.4　小結(jié) 10

1.2　VGGNet 10

1.2.1　VGGNet簡介 10

1.2.2　代碼實現(xiàn) 13

1.2.3　模型訓(xùn)練 15

1.2.4　小結(jié) 16

1.3　批歸一化方法 16

1.3.1　批歸一化簡介 16

1.3.2　代碼實現(xiàn) 17

1.3.3　模型訓(xùn)練 19

1.3.4　小結(jié) 20

1.4　GoogLeNet 20

1.4.1　GoogLeNet簡介 20

1.4.2　Inception結(jié)構(gòu) 20

1.4.3　GoogLeNet的模型結(jié)構(gòu) 21

1.4.4　代碼實現(xiàn) 22

1.4.5　模型訓(xùn)練 25

1.4.6　小結(jié) 26

1.5　ResNet 26

1.5.1　ResNet簡介 26

1.5.2　殘差結(jié)構(gòu) 27

1.5.3　ResNet模型結(jié)構(gòu) 28

1.5.4　代碼實現(xiàn) 30

1.5.5　模型訓(xùn)練 35

1.5.6　小結(jié) 36

1.6　DenseNet 36

1.6.1　DenseNet簡介 36

1.6.2　代碼實現(xiàn) 39

1.6.3　模型訓(xùn)練 44

1.6.4　小結(jié) 44



第 2章 復(fù)雜循環(huán)神經(jīng)網(wǎng)絡(luò)：為記憶插上翅膀 46

2.1　雙向RNN和深度RNN 47

2.1.1　雙向RNN 47

2.1.2　深度RNN 48

2.1.3　小結(jié) 51

2.2　RNN長期依賴問題 51

2.2.1　什么是長期依賴 52

2.2.2　長期記憶失效原因 52

2.2.3　截斷時間步 53

2.2.4　小結(jié) 54

2.3　長短期記憶網(wǎng)絡(luò)及其變體 54

2.3.1　核心思想 54

2.3.2　網(wǎng)絡(luò)結(jié)構(gòu) 55

2.3.3　遺忘門 56

2.3.4　輸入門 56

2.3.5　輸出門 57

2.3.6　門控循環(huán)單元 57

2.3.7　小結(jié) 60

2.4　四種RNN代碼實現(xiàn) 60

2.4.1　模型定義 60

2.4.2　模型實驗 63

2.4.3　效果對比 66

2.4.4　小結(jié) 67



第3章 復(fù)雜注意力神經(jīng)網(wǎng)絡(luò)：大模型的力量 68

3.1　BERT模型 68

3.1.1　3種模型結(jié)構(gòu) 69

3.1.2　詞嵌入 70

3.1.3　預(yù)訓(xùn)練：掩碼語言模型 70

3.1.4　預(yù)訓(xùn)練：下一句預(yù)測 71

3.1.5　微調(diào) 72

3.1.6　優(yōu)缺點 73

3.1.7　小結(jié) 74

3.2　GPT系列模型 74

3.2.1　GPT-1模型思想和結(jié)構(gòu) 75

3.2.2　GPT-1無監(jiān)督預(yù)訓(xùn)練和監(jiān)督微調(diào) 76

3.2.3　GPT-1數(shù)據(jù)集和性能特點 77

3.2.4　GPT-2模型思想和結(jié)構(gòu) 78

3.2.5　GPT-2 數(shù)據(jù)集和性能特點 79

3.2.6　GPT-3 模型思想和結(jié)構(gòu) 80

3.2.7　基于情景學(xué)習(xí)的對話模式 80

3.2.8　GPT-3 數(shù)據(jù)集和性能特點 83

3.2.9　小結(jié) 84

3.3　T5模型 84

3.3.1　基本思想 84

3.3.2　詞表示發(fā)展史 85

3.3.3　模型結(jié)構(gòu) 86

3.3.4　預(yù)訓(xùn)練流程 87

3.3.5　預(yù)訓(xùn)練數(shù)據(jù)集 88

3.3.6　模型版本 89

3.3.7　小結(jié) 89

3.4　ViT模型 90

3.4.1　Transformer的好處 90

3.4.2　模型結(jié)構(gòu) 90

3.4.3　數(shù)據(jù)預(yù)處理 91

3.4.4　圖片塊和位置嵌入 91

3.4.5　Transformer編碼器 92

3.4.6　MLP頭 93

3.4.7　性能對比 93

3.4.8　小結(jié) 94

3.5　Swin Transformer模型 94

3.5.1　要解決的問題 95

3.5.2　模型結(jié)構(gòu) 95

3.5.3　輸入預(yù)處理 97

3.5.4　四個階段 97

3.5.5　Swin Transformer塊 98

3.5.6　窗口注意力 98

3.5.7　計算復(fù)雜度分析 98

3.5.8　移動窗口多頭自注意力機制 99

3.5.9　特征圖循環(huán)移位計算 99

3.5.10　masked MSA操作 100

3.5.11　小結(jié) 101



第4章 深度生成模型：不確定性的妙用 102

4.1　蒙特卡洛方法 103

4.1.1　采樣 104

4.1.2　重要性采樣 105

4.1.3　馬爾可夫鏈蒙特卡洛方法 105

4.1.4　小結(jié) 106

4.2　變分推斷方法 106

4.2.1　參數(shù)估計 107

4.2.2　問題定義 108

4.2.3　算法思路 108

4.2.4　KL散度 109

4.2.5　公式推導(dǎo) 109

4.2.6　高斯混合模型實例 110

4.2.7　與MCMC方法對比 111

4.2.8　小結(jié) 111

4.3　變分自編碼器 112

4.3.1　降維思想 112

4.3.2　自編碼器 112

4.3.3　VAE基本思想 114

4.3.4　隱空間可視化 117

4.3.5　神經(jīng)網(wǎng)絡(luò)實現(xiàn) 117

4.3.6　重新參數(shù)化技巧 118

4.3.7　小結(jié) 119

4.4　生成對抗網(wǎng)絡(luò) 119

4.4.1　什么是對抗生成思想 119

4.4.2　模型結(jié)構(gòu) 120

4.4.3　判別器 121

4.4.4　生成器 121

4.4.5　訓(xùn)練流程 121

4.4.6　損失函數(shù) 123

4.4.7　小結(jié) 123

4.5　擴散模型 123

4.5.1　模型對比 124

4.5.2　基本思想 124

4.5.3　前向過程 125

4.5.4　逆向過程 126

4.5.5　損失函數(shù) 128

4.5.6　損失函數(shù)的參數(shù)化 129

4.5.7　訓(xùn)練流程 130

4.5.8　小結(jié) 130

4.6　深度生成模型項目實戰(zhàn) 131

4.6.1　代碼實現(xiàn) 131

4.6.2　VAE模型 132

4.6.3　GAN模型 136

4.6.4　小結(jié) 140



第5章 計算機視覺：讓智慧可見 141

5.1　自定義數(shù)據(jù)加載 141

5.1.1　數(shù)據(jù)加載 141

5.1.2　數(shù)據(jù)準備 142

5.1.3　ImageFolder方法 142

5.1.4　自定義數(shù)據(jù)集示例1 145

5.1.5　自定義數(shù)據(jù)集示例2 147

5.1.6　小結(jié) 150

5.2　圖像數(shù)據(jù)增強 150

5.2.1　數(shù)據(jù)增強簡介 150

5.2.2　代碼準備 150

5.2.3　常見圖像數(shù)據(jù)增強方法 153

5.2.4　小結(jié) 159

5.3　遷移學(xué)習(xí) 160

5.3.1　遷移學(xué)習(xí)簡介 160

5.3.2　ResNet預(yù)訓(xùn)練模型 160

5.3.3　ViT預(yù)訓(xùn)練模型 163

5.3.4　小結(jié) 165

5.4　經(jīng)典計算機視覺數(shù)據(jù)集 165

5.4.1　數(shù)據(jù)集簡介 165

5.4.2　小結(jié) 169

5.5　項目實戰(zhàn)：貓狗大戰(zhàn) 170

5.5.1　項目簡介 170

5.5.2　數(shù)據(jù)準備 170

5.5.3　模型訓(xùn)練 175

5.5.4　模型預(yù)測 178

5.5.5　小結(jié) 180



第6章 自然語言處理：人機交互懂你所說 181

6.1　詞嵌入和Word2Vec 181

6.1.1　獨熱編碼 181

6.1.2　Word2Vec 182

6.1.3　Gensim代碼實現(xiàn) 185

6.1.4　小結(jié) 186

6.2　詞義搜索和句義表示 186

6.2.1　文本搜索方法 186

6.2.2　正則搜索 187

6.2.3　詞義搜索 188

6.2.4　距離計算方法 189

6.2.5　句子向量 189

6.2.6　代碼實現(xiàn) 190

6.2.7　常見應(yīng)用 192

6.2.8　小結(jié) 192

6.3　預(yù)訓(xùn)練模型 193

6.3.1　預(yù)訓(xùn)練和遷移學(xué)習(xí) 193

6.3.2　遷移學(xué)習(xí)族譜 194

6.3.3　大語言模型 194

6.3.4　LLM進化方向 196

6.3.5　BERT系列進化 197

6.3.6　GPT系列進化 197

6.3.7　多模態(tài)模型 199

6.3.8　存在的問題 200

6.3.9　小結(jié) 200

6.4　Hugging Face庫介紹 200

6.4.1　核心庫 200

6.4.2　官網(wǎng)介紹 201

6.4.3　代碼調(diào)用 204

6.4.4　小結(jié) 207

6.5　NLP數(shù)據(jù)集 207

6.5.1　預(yù)訓(xùn)練數(shù)據(jù)集 208

6.5.2　下游任務(wù)數(shù)據(jù)集 209

6.5.3　數(shù)據(jù)集使用 211

6.5.4　小結(jié) 213

6.6　項目實戰(zhàn)：電影評論情感分析 213

6.6.1　Pipeline 213

6.6.2　模型實戰(zhàn) 214

6.6.3　直接微調(diào) 219

6.6.4　小結(jié) 221



第7章　多模態(tài)生成式人工智能：引領(lǐng)智能新時代 222

7.1　CLIP模型 222

7.1.1　計算機視覺研究新范式 223

7.1.2　對比學(xué)習(xí)預(yù)訓(xùn)練 223

7.1.3　圖像編碼器 224

7.1.4　文本編碼器 224

7.1.5　數(shù)據(jù)收集 224

7.1.6　圖像分類 225

7.1.7　模型訓(xùn)練和優(yōu)缺點分析 226

7.1.8　小結(jié) 227

7.2　DALL·E系列模型 227

7.2.1　初代模型結(jié)構(gòu) 227

7.2.2　dVAE模塊 228

7.2.3　Transformer模塊 229

7.2.4　圖像生成過程 230

7.2.5　DALL·E 2 模型結(jié)構(gòu) 230

7.2.6　CLIP模塊 231

7.2.7　prior模塊 232

7.2.8　decoder模塊 232

7.2.9　DALL·E 2 推理過程 233

7.2.10　模型效果 233

7.2.11　局限分析 233

7.2.12　小結(jié) 234

7.3　InstructGPT模型 235

7.3.1　GPT系列回顧 235

7.3.2　指示學(xué)習(xí)和提示學(xué)習(xí) 235

7.3.3　人工反饋強化學(xué)習(xí) 236

7.3.4　訓(xùn)練流程 237

7.3.5　數(shù)據(jù)集采集 238

7.3.6　監(jiān)督微調(diào) 239

7.3.7　獎勵模型 239

7.3.8　強化學(xué)習(xí) 239

7.3.9　優(yōu)缺點分析 240

7.3.10　小結(jié) 240

7.4　深度學(xué)習(xí)最新發(fā)展趨勢分析 240

7.4.1　趨勢1：多模態(tài)融合 241

7.4.2　趨勢2：AIGC大爆發(fā) 242

7.4.3　趨勢3：大小模型分化 243

7.4.4　趨勢4：概率分布模型的大發(fā)展 244

7.4.5　趨勢5：深度強化學(xué)習(xí)的春天 244

7.4.6　更多展望 245

7.5　下一步學(xué)習(xí)的建議 245

7.5.1　動手實踐 245

7.5.2　PyTorch官方文檔和課程 246

7.5.3　推薦網(wǎng)站 246

7.5.4　多讀論文 247

7.5.5　關(guān)于強化學(xué)習(xí) 247

7.5.6　繼續(xù)加油 248