第1章 緒論 1
1.1 機(jī)器學(xué)習(xí)的定義 1
1.2 基本術(shù)語 2
1.3 模型評估與選擇 3
1.3.1 經(jīng)驗誤差與過擬合 3
1.3.2 評估方法 3
1.4 機(jī)器學(xué)習(xí)解決問題的基本思路 4
1.5 Python語言 5
1.5.1 Python簡介 5
1.5.2 Python基礎(chǔ)語法 5
1.5.3 NumPy 快速入門 12
1.5.4 Matplotlib 快速入門 16
1.6 習(xí)題 19
第2章 線性模型 21
2.1 基本形式 21
2.2 線性回歸 21
2.3 邏輯回歸 23
2.3.1 Logistic分布 24
2.3.2 邏輯回歸與Sigmoid函數(shù) 24
2.3.3 基于最優(yōu)化方法確定最佳回歸系數(shù) 26
2.4 應(yīng)用實例 27
2.4.1 線性回歸波士頓房價預(yù)測 27
2.4.2 邏輯回歸從疝氣病癥預(yù)測病馬的死亡率 30
2.5 習(xí)題 33
第3章 樸素貝葉斯 35
3.1 樸素貝葉斯相關(guān)統(tǒng)計學(xué)知識 35
3.2 樸素貝葉斯法的學(xué)習(xí)與分類 37
3.2.1 基本方法 37
3.2.2 后驗概率最大化的含義 38
3.2.3 樸素貝葉斯分類基本流程 39
3.3 極大似然估計 41
3.4 應(yīng)用實例PC評論分類 44
3.5 習(xí)題 48
第4章 k-近鄰算法 51
4.1 k-近鄰算法概述 51
4.2 kNN算法主要步驟 52
4.2.1 距離度量 52
4.2.2 k值的選擇 52
4.2.3 分類決策 53
4.3 應(yīng)用實例鳶尾花分類 54
4.3.1 項目背景 54
4.3.2 讀取數(shù)據(jù)與數(shù)據(jù)可視化 54
4.3.3 劃分?jǐn)?shù)據(jù)集 56
4.3.4 kNN算法 56
4.3.5 如何測試分類器 57
4.4 習(xí)題 58
第5章 決策樹 59
5.1 決策樹的基本概念 60
5.1.1 定義 60
5.1.2 決策樹的構(gòu)造 60
5.2 決策樹學(xué)習(xí)基礎(chǔ)算法 60
5.3 最優(yōu)屬性的選擇 61
5.3.1 ID3信息增益(Gain) 61
5.3.2 C4.5信息增益率(Gain_ratio) 62
5.3.3 CART基尼指數(shù)(Gini_index) 63
5.4 決策樹的剪枝 63
5.5 應(yīng)用實例性別決策 64
5.6 Python實現(xiàn)過程 65
5.6.1 計算給定數(shù)據(jù)集的信息熵 65
5.6.2 數(shù)據(jù)集的劃分 66
5.6.3 遞歸構(gòu)建決策樹 67
5.7 使用Matplotlib繪制決策樹 69
5.7.1 Matplotlib注解 69
5.7.2 繪制決策樹 69
5.8 習(xí)題 72
第6章 支持向量機(jī) 74
6.1 基于最大間隔分隔數(shù)據(jù) 74
6.2 尋找最大間隔 76
6.2.1 拉格朗日對偶性 78
6.2.2 SMO算法 82
6.3 軟間隔最大化 83
6.4 核函數(shù) 85
6.5 徑向基函數(shù) 88
6.6 應(yīng)用實例 88
6.7 習(xí)題 95
第7章 神經(jīng)網(wǎng)絡(luò) 97
7.1 神經(jīng)元模型 97
7.2 感知機(jī)與多層前饋神經(jīng)網(wǎng)絡(luò) 100
7.2.1 感知機(jī) 100
7.2.2 多層前饋神經(jīng)網(wǎng)絡(luò) 102
7.3 BP神經(jīng)網(wǎng)絡(luò) 103
7.4 其他常見神經(jīng)網(wǎng)絡(luò) 106
7.4.1 RBF網(wǎng)絡(luò) 106
7.4.2 ART網(wǎng)絡(luò) 106
7.4.3 SOM網(wǎng)絡(luò) 107
7.4.4 級聯(lián)相關(guān)網(wǎng)絡(luò) 107
7.4.5 Elman網(wǎng)絡(luò) 108
7.5 應(yīng)用實例從疝氣病癥預(yù)測病馬的死亡率 109
7.5.1 處理數(shù)據(jù)中的缺失值 109
7.5.2 用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測 110
7.6 習(xí)題 113
第8章 深度學(xué)習(xí) 115
8.1 卷積神經(jīng)網(wǎng)絡(luò) 116
8.2 典型的卷積神經(jīng)網(wǎng)絡(luò) 119
8.2.1 LeNet 119
8.2.2 AlexNet 120
8.2.3 VGGNet 120
8.2.4 ResNet 121
8.3 循環(huán)神經(jīng)網(wǎng)絡(luò) 123
8.4 深度學(xué)習(xí)框架 125
8.4.1 深度學(xué)習(xí)框架的作用 125
8.4.2 常見的深度學(xué)習(xí)框架 125
8.4.3 飛槳概述深度學(xué)習(xí)開源平臺PaddlePaddle 126
8.5 線性回歸小實例在飛槳深度學(xué)習(xí)平臺的應(yīng)用 129
8.6 深度學(xué)習(xí)應(yīng)用實例口罩識別 139
8.7 習(xí)題 156
第9章 集成學(xué)習(xí)方法 157
9.1 集成學(xué)習(xí)的分類 157
9.2 Bagging和隨機(jī)森林 158
9.2.1 Bagging并行集成學(xué)習(xí) 158
9.2.2 隨機(jī)森林 160
9.3 Boosting集成學(xué)習(xí)方法 161
9.4 基于AdaBoost的分類 162
9.5 基于XGBoost的分類 164
9.5.1 GBDT 164
9.5.2 XGBoost 166
9.6 應(yīng)用實例 168
9.6.1 基于AdaBoost算法 168
9.6.2 基于XGBoost算法 172
9.7 習(xí)題 175
第10章 K-均值聚類 177
10.1 K-均值聚類算法 177
10.1.1 模型 178
10.1.2 算法 178
10.1.3 算法特性 180
10.2 二分K-均值算法 180
10.2.1 使用后處理來提高聚類性能 180
10.2.2 二分K-均值聚類算法 181
10.3 應(yīng)用實例 182
10.4 習(xí)題 187
第11章 Apriori算法及關(guān)聯(lián)分析 189
11.1 關(guān)聯(lián)分析 190
11.1.1 頻繁項集的評估標(biāo)準(zhǔn) 190
11.1.2 關(guān)聯(lián)分析算法過程 191
11.2 Apriori算法基本原理 192
11.3 使用Apriori算法來發(fā)現(xiàn)頻繁項集 193
11.4 從頻繁項集中挖掘關(guān)聯(lián)規(guī)則 195
11.5 應(yīng)用實例 196
11.6 習(xí)題 200
第12章 FP-growth算法及頻繁項集的挖掘 201
12.1 FP樹介紹 202
12.2 構(gòu)造FP樹 203
12.2.1 頭指針表的建立 204
12.2.2 FP樹的建立 204
12.3 從FP樹中挖掘頻繁項集 207
12.3.1 抽取條件模式基 208
12.3.2 FP算法歸納 210
12.4 應(yīng)用實例 211
12.5 習(xí)題 215
第13章 PCA及數(shù)據(jù)降維 216
13.1 降維技術(shù) 216
13.2 PCA技術(shù) 217
13.2.1 PCA的推導(dǎo)：基于最小投影距離 219
13.2.2 PCA的推導(dǎo)：基于最大投影方差 220
13.2.3 PCA算法流程 221
13.3 應(yīng)用實例 222
13.4 習(xí)題 225
第14章 奇異值分解及應(yīng)用 226
14.1 奇異值分解的應(yīng)用 226
14.1.1 隱形語義索引 226
14.1.2 推薦系統(tǒng) 227
14.2 奇異值分解原理 227
14.2.1 特征值與特征向量的回顧 228
14.2.2 奇異值分解的定義 228
14.2.3 緊奇異值分解與截斷奇異值分解 230
14.3 應(yīng)用實例 232
14.3.1 觀影數(shù)據(jù)的生成 232
14.3.2 基于協(xié)同過濾的推薦引擎 233
14.3.3 基于物品的相似度和基于用戶的相似度 234
14.3.4 示例：電影推薦引擎 234
14.4 習(xí)題 237
第15章 綜合實例 238
15.1 綜合實例一 238
15.2 綜合實例二 251
15.3 綜合實例三 266
15.4 綜合實例四 282
參考文獻(xiàn) 288