本書是暢銷書深度學(xué)習(xí)入門&進(jìn)階系列第五本書,主要圍繞生成模型進(jìn)行講解。生成模型是一種非常重要的技術(shù),對于人工智能的發(fā)展有著重要的作用。本書延續(xù)了作者通俗易懂的行文風(fēng)格,以深入淺出的方式介紹正態(tài)分布到擴(kuò)散模型所涉及的技術(shù),并最終完成一個類似于Stable Diffusion的圖像生成人工智能。讀者可在創(chuàng)建這個圖像生成人工智能的過程中學(xué)習(xí)各類技術(shù),邊做邊思考,體會到技術(shù)的有趣之處蘊藏在各個細(xì)節(jié)中這一點,從而加深對生成模型的理解。
1.本書是經(jīng)典書深度學(xué)習(xí)入門&進(jìn)階系列第五本書。魚書系列中文版累計印刷13.5萬冊。
2.本書延續(xù)了作者通俗易懂的行文風(fēng)格,圍繞生成模型這個主題,從基礎(chǔ)知識出發(fā),完成一個類似于Stable Diffusion的圖像生成人工智能。
3.本書以連貫故事形式,通過10個步驟,依次講解與生成模型相關(guān)的重要技術(shù),讓讀者由淺入深掌握生成模型全過程。
齋藤康毅,1984年出生于日本長崎縣,東京工業(yè)大學(xué)畢業(yè),并完成東京大學(xué)研究生院課程。目前在某企業(yè)從事人工智能相關(guān)的研究和開發(fā)工作。著有深度學(xué)習(xí)入門&進(jìn)階系列《深度學(xué)習(xí)入門:基于Python的理論與實現(xiàn)》《深度學(xué)習(xí)進(jìn)階:自然語言處理》《深度學(xué)習(xí)入門2:自制框架》《深度學(xué)習(xí)入門4:強(qiáng)化學(xué)習(xí)》,同時也是Python in Practice、The Elements of Computing Systems、Building Machine Learning Systems with Python的日文版譯者。
前言
步驟1 正態(tài)分布 1
1.1 概率的基礎(chǔ)知識 1
1.1.1 隨機(jī)變量和概率分布 1
1.1.2 概率分布的類型 3
1.1.3 期望值和方差 4
1.2 正態(tài)分布 6
1.2.1 正態(tài)分布的概率密度函數(shù) 6
1.2.2 正態(tài)分布的代碼實現(xiàn) 7
1.2.3 參數(shù)的作用 9
1.3 中心極限定理 11
1.3.1 什么是中心極限定理 11
1.3.2 中心極限定理的實驗 12
1.4 樣本和的概率分布 15
1.4.1 樣本和的期望值和方差 15
1.4.2 通過代碼確認(rèn) 16
1.4.3 均勻分布的均值和方差★ 18
1.5 身邊的正態(tài)分布 19
步驟2 最大似然估計 22
2.1 生成式模型的基礎(chǔ)知識 22
2.1.1 什么是生成式模型 22
2.1.2 總體和樣本 23
2.2 使用真實數(shù)據(jù)實現(xiàn)生成式模型 24
2.2.1 讀取身高數(shù)據(jù)集 25
2.2.2 基于正態(tài)分布的生成式模型 26
2.3 最大似然估計的理論知識 28
2.3.1 似然的最大化 29
2.3.2 利用導(dǎo)數(shù)求最大值 30
2.3.3 正態(tài)分布的最大似然估計★ 31
2.4 生成式模型的用途 35
2.4.1 新的數(shù)據(jù)的生成 35
2.4.2 概率的計算 38
步驟3 多維正態(tài)分布 41
3.1 NumPy 和多維數(shù)組 41
3.1.1 多維數(shù)組 41
3.1.2 NumPy 中的多維數(shù)組 43
3.1.3 逐元素的運算 44
3.1.4 向量的內(nèi)積和矩陣積 44
3.2 多維正態(tài)分布 46
3.2.1 多維正態(tài)分布的數(shù)學(xué)式 47
3.2.2 多維正態(tài)分布的實現(xiàn) 52
3.3 二維正態(tài)分布的可視化 54
3.3.1 三維圖形的繪制方法 54
3.3.2 等高線的繪制 57
3.3.3 二維正態(tài)分布的圖形 58
3.4 多維正態(tài)分布的最大似然估計 61
3.4.1 進(jìn)行最大似然估計 61
3.4.2 最大似然估計的實現(xiàn) 63
3.4.3 使用真實數(shù)據(jù) 65
步驟4 高斯混合模型 67
4.1 我們身邊的多峰分布 67
4.1.1 多峰分布的數(shù)據(jù)集 69
4.2 高斯混合模型的數(shù)據(jù)生成 70
4.2.1 利用GMM 生成數(shù)據(jù) 71
4.2.2 生成數(shù)據(jù)的代碼 72
4.3 GMM 的數(shù)學(xué)式 74
4.3.1 概率的復(fù)習(xí) 74
4.3.2 GMM 的數(shù)學(xué)式 74
4.3.3 GMM 的實現(xiàn) 77
4.4 參數(shù)估計中的難點 79
4.4.1 GMM 的參數(shù)估計 79
步驟5 EM 算法 81
5.1 KL 散度 81
5.1.1 關(guān)于數(shù)學(xué)式的表示方法 81
5.1.2 KL 散度的定義式 82
5.1.3 KL 散度與最大似然估計之間的關(guān)系 85
5.2 EM 算法的推導(dǎo)① 87
5.2.1 擁有潛變量的模型 88
5.2.2 任意概率分布 89
5.3 EM 算法的推導(dǎo)② 91
5.3.1 ELBO(證據(jù)的下限) 91
5.3.2 進(jìn)入EM 算法 92
5.3.3 擴(kuò)展到多個數(shù)據(jù) 96
5.3.4 的證明★ 97
5.4 GMM 和EM 算法★ 98
5.4.1 EM 算法的E 步驟★ 98
5.4.2 EM 算法的M 步驟★ 100
5.5 EM 算法的實現(xiàn) 104