第 1 章 引言 1
1.1 機(jī)器學(xué)習(xí)的目的：從數(shù)據(jù)到知識(shí) 1
1.2 機(jī)器學(xué)習(xí)的基本框架 2
1.2.1 數(shù)據(jù)集合與對(duì)象特性表示 3
1.2.2 學(xué)習(xí)判據(jù) 4
1.2.3 學(xué)習(xí)算法 5
1.2.4 評(píng)估方法 5
1.3 機(jī)器學(xué)習(xí)思想簡(jiǎn)論 5
延伸閱讀 7
習(xí)題 8
參考文獻(xiàn) 9
第 2 章 歸類理論 11
2.1 類表示與類表示公理 13
2.2 歸類公理 17
2.3 歸類結(jié)果分類 20
2.4 歸類方法設(shè)計(jì)準(zhǔn)則 22
2.4.1 類一致性準(zhǔn)則 23
2.4.2 類緊致性準(zhǔn)則 24
2.4.3 類分離性準(zhǔn)則 25
2.4.4 奧卡姆剃刀準(zhǔn)則 26
討論 28
延伸閱讀 29
習(xí)題 30
參考文獻(xiàn) 32

第 3 章 密度估計(jì) 33
3.1 密度估計(jì)的參數(shù)方法 33
3.1.1 最大似然估計(jì) 33
3.1.2 貝葉斯估計(jì) 35
3.2 密度估計(jì)的非參數(shù)方法 39
3.2.1 直方圖 39
3.2.2 核密度估計(jì) 39
3.2.3 K 近鄰密度估計(jì)法 40
延伸閱讀 40
習(xí)題 41
參考文獻(xiàn) 41
第 4 章 回歸 43
4.1 線性回歸 43
4.2 嶺回歸 47
4.3 Lasso 回歸 48
討論 51
習(xí)題 52
參考文獻(xiàn) 52
第 5 章 單類數(shù)據(jù)降維 55
5.1 主成分分析 56
5.2 非負(fù)矩陣分解 58
5.3 字典學(xué)習(xí)與稀疏表示 59
5.4 局部線性嵌入 61
5.5 多維度尺度分析與等距映射 64
5.6 典型關(guān)聯(lián)分析 66
5.7 隨機(jī)鄰域嵌入及其擴(kuò)展 68
5.7.1 隨機(jī)鄰域嵌入 68
5.7.2 t-SNE 70
討論 71
習(xí)題 71
參考文獻(xiàn) 72

第 6 章 聚類理論 73
6.1 聚類問(wèn)題表示及相關(guān)定義 73
6.2 聚類算法設(shè)計(jì)準(zhǔn)則 74
6.2.1 類緊致性準(zhǔn)則和聚類不等式 74
6.2.2 類分離性準(zhǔn)則和重合類非穩(wěn)定假設(shè) 76
6.2.3 類一致性準(zhǔn)則和迭代型聚類算法 77
6.3 聚類有效性 77
6.3.1 外部方法 77
6.3.2 內(nèi)蘊(yùn)方法 79
延伸閱讀 80
習(xí)題 81
參考文獻(xiàn) 81
第 7 章 聚類算法 85
7.1 樣例理論：圖聚類算法 85
7.1.1 層次聚類算法 86
7.1.2 HB 聚類算法 88
7.1.3 SATB 聚類算法 90
7.2 原型理論：點(diǎn)原型聚類算法 92
7.2.1 C 均值算法 93
7.2.2 模糊 C 均值 95
7.2.3 最大熵 C 均值算法 97
7.3 基于密度估計(jì)的聚類算法 99
7.3.1 基于參數(shù)密度估計(jì)的聚類算法 99
7.3.2 基于無(wú)參數(shù)密度估計(jì)的聚類算法 107
延伸閱讀 117
習(xí)題 118
參考文獻(xiàn) 118
第 8 章 分類理論 121
8.1 分類及相關(guān)定義 121
8.2 從歸類理論到經(jīng)典分類理論 122
8.2.1 PAC 理論 123
8.2.2 統(tǒng)計(jì)學(xué)習(xí)理論 125

8.3 分類測(cè)試公理 128
8.4 分類性能評(píng)估 129
討論 130
習(xí)題 131
參考文獻(xiàn) 131
第 9 章 基于單類的分類算法：神經(jīng)網(wǎng)絡(luò) 133
9.1 分類問(wèn)題的回歸表示 133
9.2 人工神經(jīng)網(wǎng)絡(luò) 134
9.2.1 人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 134
9.2.2 前饋神經(jīng)網(wǎng)絡(luò) 136
9.3 從參數(shù)密度估計(jì)到受限玻耳茲曼機(jī) 141
9.4 深度學(xué)習(xí) 143
9.4.1 自編碼器 144
9.4.2 卷積神經(jīng)網(wǎng)絡(luò) 145
9.4.3 Transformer 147
討論 149
習(xí)題 150
參考文獻(xiàn) 151
第 10 章 K 近鄰分類模型 155
10.1 K 近鄰算法 156
10.1.1 K 近鄰算法問(wèn)題表示 156
10.1.2 K 近鄰分類算法 157
10.1.3 K 近鄰分類算法的理論錯(cuò)誤率 158
10.2 距離加權(quán)最近鄰算法 159
10.3 K 近鄰算法加速策略 160
10.4 kd 樹 161
10.5 K 近鄰算法中的參數(shù)問(wèn)題 162
延伸閱讀 163
習(xí)題 164
參考文獻(xiàn) 164
第 11 章 線性分類模型 165
11.1 判別函數(shù)和判別模型 165

11.2 線性判別函數(shù) 166
11.3 線性感知機(jī)算法 169
11.3.1 感知機(jī)數(shù)據(jù)表示 169
11.3.2 感知機(jī)算法的歸類判據(jù) 170
11.3.3 感知機(jī)分類算法 171
11.4 支持向量機(jī) 174
11.4.1 線性可分支持向量機(jī) 174
11.4.2 近似線性可分支持向量機(jī) 177
11.4.3 多類分類問(wèn)題 180
討論 182
習(xí)題 183
參考文獻(xiàn) 184
第 12 章 對(duì)數(shù)線性分類模型 185
12.1 Softmax 回歸 185
12.2 Logistic 回歸 188
討論 190
習(xí)題 191
參考文獻(xiàn) 191
第 13 章 貝葉斯決策 193
13.1 貝葉斯分類器 193
13.2 樸素貝葉斯分類 194
13.2.1 最大似然估計(jì) 196
13.2.2 貝葉斯估計(jì) 199
13.3 最小化風(fēng)險(xiǎn)分類 201
13.4 效用最大化分類 203
討論 203
習(xí)題 204
參考文獻(xiàn) 204
第 14 章 決策樹 205
14.1 決策樹的類表示 205
14.2 信息增益與 ID3 算法 210
14.3 增益比率與 C4.5 算法 212

14.4 Gini 指數(shù)與 CART 算法 213
14.5 決策樹的剪枝 214
討論 215
習(xí)題 215
參考文獻(xiàn) 216
第 15 章 多類數(shù)據(jù)降維 217
15.1 有監(jiān)督特征選擇模型 217
15.1.1 過(guò)濾式特征選擇 218
15.1.2 包裹式特征選擇 219
15.1.3 嵌入式特征選擇 219
15.2 有監(jiān)督特征提取模型 220
15.2.1 線性判別分析 220
15.2.2 二分類線性判別分析問(wèn)題 220
15.2.3 二分類線性判別分析 221
15.2.4 二分類線性判別分析優(yōu)化算法 223
15.2.5 多分類線性判別分析 223
延伸閱讀 225
習(xí)題 225
參考文獻(xiàn) 225
第 16 章 多類數(shù)據(jù)升維：核方法 227
16.1 核方法 227
16.2 非線性支持向量機(jī) 228
16.2.1 特征空間 228
16.2.2 核函數(shù) 228
16.2.3 常用核函數(shù) 230
16.2.4 非線性支持向量機(jī) 230
16.3 多核方法 231
討論 233
習(xí)題 233
參考文獻(xiàn) 234
第 17 章 多源數(shù)據(jù)學(xué)習(xí) 235
17.1 多源數(shù)據(jù)學(xué)習(xí)的分類 235

17.2 單類多源數(shù)據(jù)學(xué)習(xí) 235
17.2.1 完整視角下的單類多源數(shù)據(jù)學(xué)習(xí) 236
17.2.2 不完整視角下的單類多源數(shù)據(jù)學(xué)習(xí) 238
17.3 多類多源數(shù)據(jù)學(xué)習(xí) 239
17.4 多源數(shù)據(jù)學(xué)習(xí)中的基本假設(shè) 240
討論 240
習(xí)題 241
參考文獻(xiàn) 241
后記 243
寫在《機(jī)器學(xué)習(xí)：從公理到算法》第 4 次印刷之后 247
寫在《機(jī)器學(xué)習(xí)：從公理到算法》第 5 次印刷之后 249
索引 251