目錄
前言
第一篇 概論篇
第1章 緒論 3
1.1 機器學習簡介 3
1.2 機器學習與人工智能 3
1.3 機器學習的主要研究領域 4
1.4 機器學習的發(fā)展歷史與發(fā)展趨勢 5
1.4.1 機器學習的發(fā)展歷史 5
1.4.2 機器學習的發(fā)展趨勢 7
1.5 機器學習系統(tǒng)的基本結(jié)構(gòu) 8
1.5.1 數(shù)據(jù) 8
1.5.2 模型 9
1.5.3 損失函數(shù) 11
1.5.4 訓練 13
1.6 模型評估與模型選擇 14
1.6.1 訓練誤差與測試誤差 14
1.6.2 過擬合與模型選擇 14
1.7 正則化與交叉驗證 15
1.7.1 正則化 15
1.7.2 交叉驗證 16
1.8 泛化能力 17
1.8.1 泛化誤差 17
1.8.2 泛化誤差上界 18
1.9 機器學習的基本術(shù)語 18
1.9.1 假設空間 18
1.9.2 變形空間 19
1.9.3 歸納偏置 20
1.10 機器學習的分類 20
iv 機器學習及工業(yè)大數(shù)據(jù)解析應用
1.10.1 有監(jiān)督學習 21
1.10.2 無監(jiān)督學習 22
1.10.3 半監(jiān)督學習 23
1.10.4 深度學習 25
1.11 工業(yè)大數(shù)據(jù)解析統(tǒng)計學基礎 25
1.11.1 期望、方差、協(xié)方差 25
1.11.2 一元高斯分布 26
1.11.3 多元高斯分布 27
繼續(xù)閱讀 27
參考文獻 27
第2章 概念學習和一般到特殊序 29
2.1 概念學習的定義 29
2.2 概念學習的術(shù)語 29
2.3 歸納學習假設 33
2.4 假設的一般到特殊序 34
2.5 尋找極大特殊假設 34
2.5.1 候選消除算法的表示 35
2.5.2 列表后消除算法 36
2.5.3 變形空間的簡潔表示 37
2.5.4 候選消除學習算法 38
2.6 歸納偏置 38
2.6.1 有偏的假設空間 39
2.6.2 無偏學習器 39
2.6.3 無偏學習的無用性 39
繼續(xù)閱讀 40
參考文獻 40
第二篇 有監(jiān)督學習篇
第3章 感知機 43
3.1 感知機學習模型 43
3.2 感知機學習策略 44
3.2.1 數(shù)據(jù)集的線性可分性 44
3.2.2 學習策略 44
3.3 感知機學習算法 45
3.3.1 感知機學習算法的一般形式 45
3.3.2 感知機學習算法的收斂性 46
繼續(xù)閱讀 47
參考文獻 47
第4章 k 近鄰算法及模型 49
4.1 k 近鄰算法 49
4.2 k 近鄰模型 50
4.2.1 模型 50
4.2.2 距離度量 50
4.2.3 k 值的選擇 51
4.2.4 分類決策規(guī)則 52
4.3 k 近鄰算法的實現(xiàn) 52
4.3.1 構(gòu)造kd樹 53
4.3.2 搜索kd樹 54
繼續(xù)閱讀 55
參考文獻 55
第5章 決策樹 56
5.1 決策樹模型與學習 56
5.1.1 決策樹模型 56
5.1.2 決策樹與if-then規(guī)則 56
5.1.3 決策樹與條件概率分布 57
5.1.4 決策樹學習 57
5.2 決策樹方法的產(chǎn)生及算法過程 58
5.2.1 ID3算法 58
5.2.2 CART算法 59
5.2.3 C4.5算法 61
5.3 決策樹常見問題 61
5.3.1 熵、信息增益和特征選擇問題 61
5.3.2 決策樹學習過擬合問題 64
5.3.3 交叉驗證與樹的修剪問題 65
5.3.4 最佳劃分的度量問題 66
5.3.5 處理缺失屬性值問題 67
5.3.6 處理連續(xù)屬性值問題 68
5.3.7 葉節(jié)點判定問題 68
5.3.8 待測樣本分類問題 68
繼續(xù)閱讀 69
參考文獻 69
第6章 集成學習 70
6.1 個體與集成 70
6.2 Bagging算法 70
6.2.1 Bagging算法工作機制 71
6.2.2 Bagging算法簡介 71
6.2.3 Bagging算法的自主采樣 72
6.2.4 Bagging算法的結(jié)合策略 72
6.2.5 偏差與方差分析 73
6.2.6 隨機森林算法 74
6.3 Boosting算法 74
6.3.1 Boosting算法工作機制 74
6.3.2 Boosting算法的兩個核心問題 75
6.3.3 AdaBoost算法 75
6.3.4 提升樹算法 77
6.3.5 梯度提升決策樹算法 79
6.4 Stacking算法 79
6.5 集成學習的結(jié)合策略 80
6.5.1 平均法 80
6.5.2 學習法 81
繼續(xù)閱讀 82
參考文獻 82
第7章 回歸分析 83
7.1 回歸分析的概念與特點 83
7.2 回歸模型的選擇 84
7.3 常用的回歸模型 85
7.3.1 線性回歸 85
7.3.2 邏輯回歸 86
7.3.3 多項式回歸 88
7.3.4 逐步回歸 89
7.3.5 嶺回歸與Lasso 回歸 91
7.3.6 主元回歸 93
7.3.7 偏最小二乘回歸 94
7.3.8 彈性回歸 96
繼續(xù)閱讀 96
參考文獻 97
第8章 支持向量機 98
8.1 間隔與支持向量 98
8.2 線性可分支持向量機與硬間隔最大化 99
8.2.1 函數(shù)間隔和幾何間隔 99
8.2.2 間隔最大化 100
8.2.3 對偶問題求解 100
8.3 線性支持向量機與軟間隔最大化 101
8.3.1 軟間隔的對偶算法 101
8.3.2 Hinge損失函數(shù) 103
8.4 非線性支持向量機與核函數(shù) 104
8.4.1 核技巧 104
8.4.2 正定核 104
8.4.3 核非線性支持向量機 105
8.5 序列最小優(yōu)化算法 105
8.5.1 兩個變量二次規(guī)劃的求解方法 105
8.5.2 SMO算法步驟 106
繼續(xù)閱讀 107
參考文獻 108
第9章 隱馬爾可夫模型 109
9.1 馬爾可夫模型 109
9.2 隱馬爾可夫模型的要素和假設 110
9.2.1 要素 110
9.2.2 假設 111
9.3 隱馬爾可夫模型的基本問題 111
9.4 三個基本問題的求解算法 114
9.4.1 前向算法 114
9.4.2 后向算法 115
9.4.3 Viterbi算法 116
繼續(xù)閱讀 117
參考文獻 117
第10章 條件隨機場 118
10.1 概率無向圖模型 118
10.1.1 概率無向圖模型的定義 118
10.1.2 概率無向圖模型的因子分解 119
10.2 條件隨機場的定義與形式 120
10.2.1 條件隨機場的定義 120
10.2.2 條件隨機場的參數(shù)化形式 122
10.2.3 條件隨機場的簡化形式 122
10.2.4 條件隨機場的矩陣形式 123
10.3 條件隨機場的概率計算問題 124
10.3.1 前向-后向算法 124
10.3.2 概率計算 125
10.3.3 期望計算 125
10.4 條件隨機場的學習算法 126
10.4.1 改進的迭代尺度法 126
10.4.2 擬牛頓法 129
繼續(xù)閱讀 130
參考文獻 130
第三篇 無監(jiān)督學習篇
第11章 貝葉斯學習 133
11.1 貝葉斯理論 133
11.1.1 先驗概率和后驗概率 133
11.1.2 貝葉斯公式 133
11.1.3 極大后驗假設 134
11.1.4 極大似然假設 134
11.2 貝葉斯公式和概念學習 135
11.2.1 Brute-Force 貝葉斯概念學習算法 135
11.2.2 特定情況下的極大后驗假設 135
11.2.3 極大后驗假設和一致學習器 136
11.2.4 極大似然和最小誤差平方假設 137
11.2.5 用于預測概率的極大似然假設 137
11.2.6 最小描述長度準則 138
11.2.7 貝葉斯最優(yōu)分類器 138
11.2.8 吉布斯算法 139
11.3 樸素貝葉斯 139
11.3.1 樸素貝葉斯的基本框架 139
11.3.2 樸素貝葉斯分類器 140
11.3.3 樸素貝葉斯模型 141
11.3.4 平滑技術(shù) 142
11.4 貝葉斯網(wǎng)絡 143
11.4.1 貝葉斯網(wǎng)絡的定義及性質(zhì) 143
11.4.2 貝葉斯網(wǎng)絡的結(jié)構(gòu)形式 143
11.4.3 貝葉斯網(wǎng)絡的判定條件 143
11.4.4 貝葉斯網(wǎng)絡的構(gòu)建及學習 144
繼續(xù)閱讀 145
參考文獻 145
第12章 聚類分析 146
12.1 聚類與分類 146
12.2 聚類分析的過程及要求 146
12.3 聚類分析的度量 147
12.3.1 外部指標 148
12.3.2 內(nèi)部指標 149
12.3.3 選擇相似性度量的原則 151
12.4 基于劃分的聚類 153
12.4.1 K-means算法 153
12.4.2 K-medoids算法 154
12.4.3 K-prototype算法 155
12.5 基于層次的聚類 157
12.5.1 聚合聚類與分裂聚類算法 157
12.5.2 平衡迭代削減聚類算法 158
12.5.3 使用代表點的聚類算法 161
12.6 基于密度的聚類 162
12.6.1 DBSCAN算法 162
12.6.2 WS-DBSCAN算法 164
12.6.3 MDCA算法 164
12.7 基于模型的聚類 165
12.7.1 基于SOM神經(jīng)網(wǎng)絡的聚類算法 165
12.7.2 基于概率模型的聚類算法 166
繼續(xù)閱讀 167
參考文獻 167
第13章 降維與度量學習 168
13.1 降維方法概述 168
13.2 線性降維方法 168
x 機器學習及工業(yè)大數(shù)據(jù)解析應用
13.2.1 子集選擇法 168
13.2.2 主成分分析法 169
13.2.3 慢特征分析法 171
13.2.4 判別分析法 174
13.2.5 典型相關分析法 177
13.2.6 奇異值分解法 179
13.2.7 因子分析法 180
13.3 非線性降維方法 181
13.3.1 流形學習簡介 181
13.3.2 保留局部特征 181
13.3.3 保留全局特征 187
13.4 度量學習 192
13.4.1 度量的定義 192
13.4.2 KL 散度 192
繼續(xù)閱讀 193
參考文獻 193
第14章 概率潛在語義分析 195
14.1 單詞向量空間與話題向量空間 195
14.1.1 單詞向量空間 195
14.1.2 話題向量空間 197
14.2 潛在語義分析算法 199
14.2.1 矩陣奇異值分解算法 199
14.2.2 應用案例 201
14.3 非負矩陣分解算法 203
14.3.1 非負矩陣分解 203
14.3.2 潛在語義分析模型 204
14.3.3 非負矩陣分解的形式化 204
14.4 概率潛在語義分析模型 205
14.4.1 基本想法 205
14.4.2 生成模型 206
14.4.3 共現(xiàn)模型 206
14.4.4 模型性質(zhì) 207
14.5 概率潛在語義分析算法 208
繼續(xù)閱讀 210
參考文獻 211
第15章 潛在狄利克雷分布 212
15.1 概率分布 212
15.1.1 分布定義 212
15.1.2 共軛先驗 215
15.2 潛在狄利克雷分布模型 216
15.2.1 模型定義 216
15.2.2 概率圖模型 217
15.2.3 隨機變量序列的可交換性 218
15.2.4 概率公式 219
15.3 LDA 的吉布斯抽樣算法 220
15.3.1 基本思想 220
15.3.2 算法的主要部分 221
15.3.3 算法的后處理 223
15.4 LDA的變分EM 算法 224
15.4.1 變分推理 224
15.4.2 變分EM算法 225
15.4.3 算法推導 225
繼續(xù)閱讀 231
參考文獻 231
第四篇 半監(jiān)督學習篇
第16章 基于圖的半監(jiān)督學習 235
16.1 標簽傳播算法 235
16.1.1 標簽傳播算法實例 235
16.1.2 基于scikit-learn的標簽傳播算法 237
16.1.3 拉普拉斯矩陣正則化提升平滑度 238
16.2 基于馬爾可夫隨機游走的標簽傳播算法 240
16.3 流形學習 243
16.3.1 等距特征映射流形學習算法 243
16.3.2 局部線性嵌入算法 244
16.3.3 拉普拉斯譜嵌入算法 246
16.3.4 t-SNE 246
繼續(xù)閱讀 251
參考文獻 251
第17章 有約束的概率半監(jiān)督聚類 252
17.1 基于HMRF 的半監(jiān)督聚類模型 252
17.1.1 HMRF 模型 253
17.1.2 類別的馬爾可夫隨機域 253
17.1.3 HMRF 中的聯(lián)合概率 254
17.1.4 HMRF 的半監(jiān)督聚類的目標函數(shù) 255
17.2 HMRF-Kmeans 算法 256
17.3 獲取約束的主動學習方法 261
繼續(xù)閱讀 263
參考文獻 263
第18章 基于條件調(diào)和混合的半監(jiān)督學習 265
18.1 條件調(diào)和混合模型 265
18.2 CHM 模型的學習 266
18.3 融入先驗知識 270
18.4 學習條件分布 270
18.5 模型平均 271
繼續(xù)閱讀 271
參考文獻 271
第19章 高級半監(jiān)督分類 272
19.1 對比性悲觀似然估計 272
19.2 半監(jiān)督支持向量機 273
19.2.1 算法 274
19.2.2 實例 277
繼續(xù)閱讀 278
參考文獻 278
第五篇 深度學習篇
第20章 前饋神經(jīng)網(wǎng)絡 281
20.1 前饋神經(jīng)網(wǎng)絡的模型 282
20.1.1 前饋神經(jīng)網(wǎng)絡的定義 282
20.1.2 前饋神經(jīng)網(wǎng)絡的表示能力 282
20.2 前饋神經(jīng)網(wǎng)絡的學習 283
20.2.1 前饋神經(jīng)網(wǎng)絡學習的優(yōu)化算法 283
20.2.2 反向傳播算法 284
20.3 前饋神經(jīng)網(wǎng)絡的正則化 286
20.3.1 深度學習中的正則化 286
20.3.2 早停法 286
20.3.3 暫退法 286
繼續(xù)閱讀 287
參考文獻 287
第21章 循環(huán)神經(jīng)網(wǎng)絡 288
21.1 循環(huán)神經(jīng)網(wǎng)絡的模型 288
21.1.1 循環(huán)神經(jīng)網(wǎng)絡的定義 288
21.1.2 循環(huán)神經(jīng)網(wǎng)絡的學習算法 289
21.1.3 梯度消失與爆炸 289
21.2 常用的循環(huán)神經(jīng)網(wǎng)絡 290
21.2.1 長短期記憶網(wǎng)絡 290
21.2.2 門控循環(huán)單元網(wǎng)絡 292
21.2.3 深度循環(huán)神經(jīng)網(wǎng)絡 293
21.2.4 雙向循環(huán)神經(jīng)網(wǎng)絡 294
21.3 循環(huán)神經(jīng)網(wǎng)絡在自然語言生成中的應用 295
21.3.1 詞向量 295
21.3.2 語言模型與語言生成 296
繼續(xù)閱讀 297
參考文獻 297
第22章 卷積神經(jīng)網(wǎng)絡 299
22.1 卷積神經(jīng)網(wǎng)絡的模型 299
22.1.1 卷積 299
22.1.2 池化 300
22.1.3 卷積神經(jīng)網(wǎng)絡的性質(zhì) 301
22.2 卷積神經(jīng)網(wǎng)絡的學習算法 301
22.2.1 卷積導數(shù) 301
22.2.2 反向傳播算法 302
22.3 卷積神經(jīng)網(wǎng)絡在圖像分類中的應用 305
22.3.1 AlexNet 305
22.3.2 殘差網(wǎng)絡 307
繼續(xù)閱讀 307
參考文獻 307
xiv 機器學習及工業(yè)大數(shù)據(jù)解析應用
第23章 生成對抗網(wǎng)絡與寬度學習 309
23.1 生成對抗網(wǎng)絡的基本模型 309
23.1.1 模型 309
23.1.2 學習算法 310
23.2 生成對抗網(wǎng)絡在圖像生成中的應用 311
23.2.1 轉(zhuǎn)置卷積 311
23.2.2 DCGAN 313
23.3 寬度學習 314
23.3.1 產(chǎn)生背景 314
23.3.2 RVFLNN 簡介 314
23.3.3 算法介紹 316
繼續(xù)閱讀 318
參考文獻 318
第24章 強化學習 320
24.1 強化學習的定義 320
24.2 強化學習與其他機器學習方法的區(qū)別 320
24.3 強化學習的特點 321
24.4 強化學習的要素與架構(gòu) 321
24.4.1 四個基本要素 321
24.4.2 強化學習的架構(gòu) 322
24.5 強化學習的訓練過程 323
24.6 強化學習算法分類 323
24.6.1 基于價值的方法 323
24.6.2 基于策略的方法 324
24.6.3 參與評價方法 324
24.6.4 其他分類 325
24.7 強化學習的代表算法 325
24.7.1 SARSA 325
24.7.2 Q 學習 326
24.7.3 策略梯度 327
24.7.4 Actor-Critic 329
24.7.5 深度Q 網(wǎng)絡 331
繼續(xù)閱讀 332
參考文獻 332
第六篇 大數(shù)據(jù)解析篇
第25章 工業(yè)大數(shù)據(jù)解析過程 337
25.1 基于機器學習與規(guī)則方法的區(qū)別 337
25.2 業(yè)務理解 338
25.3 數(shù)據(jù)理解 339
25.3.1 初始數(shù)據(jù)解析 339
25.3.2 探索性數(shù)據(jù)分析 340
25.3.3 描述數(shù)據(jù) 341
25.3.4 數(shù)據(jù)的類型 341
25.4 數(shù)據(jù)準備 342
25.4.1 臟數(shù)據(jù) 342
25.4.2 數(shù)據(jù)清洗 343
25.4.3 數(shù)據(jù)離散化 343
25.4.4 數(shù)據(jù)壓縮/數(shù)據(jù)整理 344
25.4.5 文本清洗 345
25.4.6 特征工程 346
25.4.7 特征選擇的方法 346
25.4.8 特征提取 347
25.5 數(shù)據(jù)建模 349
25.6 模型評估 350
25.6.1 評估模型性能 350
25.6.2 優(yōu)化模型參數(shù) 351
25.6.3 解釋模型結(jié)果 352
25.7 模型部署 352
繼續(xù)閱讀 353
參考文獻 353
第26章 時間序列分析 354
26.1 探索與理解時間序列 354
26.1.1 時間序列數(shù)據(jù)分析 354
26.1.2 時間序列中缺失值的數(shù)據(jù)清理 354
26.1.3 歸一化和標準化時間序列數(shù)據(jù) 355
26.2 時間序列特征工程 356
26.2.1 日期時間特征 356
26.2.2 滯后特征和窗口特征 356
xvi 機器學習及工業(yè)大數(shù)據(jù)解析應用
26.2.3 滑動窗口統(tǒng)計信息 357
26.2.4 擴展窗口統(tǒng)計信息 357
26.3 時間序列預測的自回歸和自動方法 357
26.3.1 自回歸 357
26.3.2 移動平均 358
26.3.3 自回歸移動平均 360
26.3.4 自回歸差分移動平均 360
26.3.5 自動化機器學習 362
繼續(xù)閱讀 363
參考文獻 363
第27章 因果圖學習 365
27.1 無監(jiān)督圖學習 365
27.2 有監(jiān)督圖學習 371
27.2.1 有監(jiān)督圖嵌入算法的層次結(jié)構(gòu) 371
27.2.2 基于特征的方法 371
27.2.3 淺嵌入方法 372
27.2.4 圖卷積神經(jīng)網(wǎng)絡 372
27.3 基于圖學習的工業(yè)大數(shù)據(jù)解析 374
27.3.1 數(shù)據(jù)集概述 374
27.3.2 網(wǎng)絡拓撲和異常檢測 375
27.3.3 有監(jiān)督學習和無監(jiān)督學習任務 376
27.3.4 基于圖學習的工業(yè)場景分析 377
27.4 圖學習的新趨勢 380
27.4.1 圖的數(shù)據(jù)增強技術(shù) 380
27.4.2 拓撲數(shù)據(jù)分析 381
27.4.3 拓撲機器學習 382
繼續(xù)閱讀 383
參考文獻 383
第28章 可解釋性學習 385
28.1 大數(shù)據(jù)解析的可解釋性 385
28.1.1 可解釋性的重要性 385
28.1.2 可解釋性方法的分類 386
28.1.3 可解釋性范圍 387
28.1.4 可解釋性評估 388
28.1.5 解釋方法和解釋的性質(zhì) 388
28.1.6 人性化的解釋 389
28.2 模型無關可解釋性方法 390
28.2.1 部分依賴圖 391
28.2.2 個體條件期望 393
28.2.3 累計局部效應圖 394
28.2.4 特征交互 396
28.2.5 置換特征重要性 398
28.2.6 全局代理模式 399
28.2.7 局部代理 401
28.3 基于大數(shù)據(jù)樣本的解釋 402
28.3.1 反事實解釋 403
28.3.2 對抗樣本 405
28.3.3 原型與批評 407
28.3.4 有影響力的實例 410
28.4 可解釋性的未來 412
繼續(xù)閱讀 413
參考文獻 413