目錄
叢書序
前言
第1章 監(jiān)督學(xué)習(xí)
1.1從訓(xùn)練數(shù)據(jù)到預(yù)測 2
1.2決策理論 3
第2章 經(jīng)驗風(fēng)險最小化
2.1風(fēng)險的凸性 8
2.2經(jīng)驗風(fēng)險分解 13
2.2.1逼近誤差 14
2.2.2估計誤差 14
2.3 Rademacher復(fù)雜度 17
2.4非漸近分析和漸近統(tǒng)計的關(guān)系 24
2.5練習(xí) 25
第3章 線性最小二乘回歸
3.1線性最小二乘回歸的介紹 28
3.2最小二乘的概念 28
3.3普通最小二乘估計 29
3.3.1解析解 29
3.3.2幾何解釋 30
3.4固定設(shè)定 32
3.5嶺回歸 34
3.6估計下界 37
3.7隨機(jī)設(shè)定下的分析 39
3.7.1高斯設(shè)定 40
3.7.2一般設(shè)定 41
3.8練習(xí) 42
第4章 稀疏方法
4.1稀疏方法的介紹 44
4.2 *懲罰變量選擇 47
4.2.1假設(shè)k已知 47
4.2.2估計k 49
4.3 *正則化的高維估計 52
4.3.1 慢速率 54
4.3.2 快速率 55
4.3.3 互相關(guān)條件 57
4.3.4 隨機(jī)設(shè)定 58
4.4 擴(kuò)展 59
4.5 練習(xí) 60
第5章 核方法
5.1 核方法的介紹 64
5.2 表示定理 64
5.3 核 66
5.4 算法 72
5.5 Lipschitz連續(xù)的損失函數(shù) 75
5.6 嶺回歸的理論分析 79
5.7 練習(xí) 85
第6章 機(jī)器學(xué)習(xí)中優(yōu)化的介紹
6.1 機(jī)器學(xué)習(xí)中的優(yōu)化 88
6.2 梯度下降 89
6.2.1 最簡單的分析:普通最小二乘 89
6.2.2 凸函數(shù)和其他性質(zhì) 92
6.2.3 強(qiáng)凸和光滑函數(shù)下對梯度下降的分析 93
6.2.4 凸和光滑函數(shù)下對梯度下降的分析 95
6.2.5 除了梯度下降的額外補(bǔ)充 97
6.2.6 非凸目標(biāo)函數(shù) 98
6.3 在非光滑問題上的梯度下降方法 99
6.4 隨機(jī)梯度下降的收斂率 101
6.4.1 強(qiáng)凸問題 103
6.4.2 方差縮減 105
6.5 練習(xí) 110
第7章 神經(jīng)網(wǎng)絡(luò)
7.1 神經(jīng)網(wǎng)絡(luò)的介紹116
7.2 單隱藏層神經(jīng)網(wǎng)絡(luò) 116
7.3 單隱藏層神經(jīng)網(wǎng)絡(luò)的近似性質(zhì)119
7.4 拓展 128
7.5 練習(xí) 128
第8章 生成對抗網(wǎng)絡(luò)
8.1 生成對抗網(wǎng)絡(luò)的介紹130
8.2 通過比較進(jìn)行學(xué)習(xí) 131
8.3生成對抗網(wǎng)絡(luò)推導(dǎo)、訓(xùn)練與收斂性138
8.4條件生成對抗網(wǎng)絡(luò) 145
8.5利用生成對抗網(wǎng)絡(luò)進(jìn)行推理 146
8.6生成對抗網(wǎng)絡(luò)的神經(jīng)結(jié)構(gòu)146
8.7應(yīng)用 149
第9章 主成分分析
第10章 強(qiáng)化學(xué)習(xí)
10.1 強(qiáng)化學(xué)習(xí)的介紹 166
10.2 基于價值的強(qiáng)化學(xué)習(xí) 168
10.3 基于策略的強(qiáng)化學(xué)習(xí) 172
10.4 基于模型的強(qiáng)化學(xué)習(xí) 178
10.5 離軌策略學(xué)習(xí) 181
10.6 基于概率推理的強(qiáng)化學(xué)習(xí)方法 186
第11章 聚類分析
11.1 聚類分析的介紹 194
11.2 分層聚類 196
11.3 K均值聚類 199
參考文獻(xiàn)
附錄A 基礎(chǔ)知識
A.1 線性代數(shù)與微分 209
A.2 集中不等式 212