基礎(chǔ)篇
第 1章 數(shù)據(jù)挖掘基礎(chǔ) 1
1.1 數(shù)據(jù)挖掘發(fā)展史 1
1.2 數(shù)據(jù)挖掘的常用方法 2
1.3 數(shù)據(jù)挖掘的通用流程 2
1.3.1 目標(biāo)分析 2
1.3.2 數(shù)據(jù)抽取 2
1.3.3 數(shù)據(jù)探索 3
1.3.4 數(shù)據(jù)預(yù)處理 3
1.3.5 分析與建模 4
1.3.6 模型評(píng)價(jià) 4
1.4 常用數(shù)據(jù)挖掘工具 4
1.5 Python數(shù)據(jù)挖掘環(huán)境配置 5
小結(jié) 7
課后習(xí)題 7
第 2章 Python數(shù)據(jù)挖掘編程基礎(chǔ) 9
2.1 Python使用入門 9
2.1.1 基本命令 9
2.1.2 判斷與循環(huán) 12
2.1.3 函數(shù) 13
2.1.4 庫(kù)的導(dǎo)入與添加 15
2.2 Python數(shù)據(jù)分析預(yù)處理的常用庫(kù) 17
2.2.1 NumPy 17
2.2.2 pandas 17
2.2.3 Matplotlib 18
2.3 Python數(shù)據(jù)挖掘建模的常用庫(kù)和框架 18
2.3.1 scikit-learn 18
2.3.2 深度學(xué)習(xí)框架 19
2.3.3 其他 21
小結(jié) 22
實(shí)訓(xùn) 判斷、函數(shù)、類型轉(zhuǎn)換的使用 22
課后習(xí)題 23
第3章 數(shù)據(jù)探索 24
3.1 數(shù)據(jù)校驗(yàn) 24
3.1.1 一致性校驗(yàn) 24
3.1.2 缺失值校驗(yàn) 27
3.1.3 異常值校驗(yàn) 29
3.2 數(shù)據(jù)特征分析 33
3.2.1 描述性統(tǒng)計(jì)分析 33
3.2.2 分布分析 36
3.2.3 對(duì)比分析 40
3.2.4 周期性分析 43
3.2.5 貢獻(xiàn)度分析 44
3.2.6 相關(guān)性分析 45
小結(jié) 48
實(shí)訓(xùn) 48
實(shí)訓(xùn)1 分布分析、描述性統(tǒng)計(jì)分析和貢獻(xiàn)度分析 48
實(shí)訓(xùn)2 對(duì)比分析、相關(guān)性分析和周期性分析 49
課后習(xí)題 50
第4章 數(shù)據(jù)預(yù)處理 52
4.1 數(shù)據(jù)清洗 52
4.1.1 重復(fù)值處理 52
4.1.2 缺失值處理 55
4.1.3 異常值處理 57
4.2 數(shù)據(jù)變換 58
4.2.1 簡(jiǎn)單函數(shù)變換 58
4.2.2 數(shù)據(jù)標(biāo)準(zhǔn)化 58
4.2.3 數(shù)據(jù)離散化 61
4.2.4 獨(dú)熱編碼 63
4.3 數(shù)據(jù)合并 65
4.3.1 多表合并 65
4.3.2 分組聚合 72
小結(jié) 80
實(shí)訓(xùn) 80
實(shí)訓(xùn)1 數(shù)據(jù)清洗 80
實(shí)訓(xùn)2 數(shù)據(jù)變換 82
實(shí)訓(xùn)3 數(shù)據(jù)合并 82
課后習(xí)題 82
第5章 數(shù)據(jù)挖掘算法基礎(chǔ) 84
5.1 分類與回歸 84
5.1.1 常用的分類與回歸算法 84
5.1.2 分類與回歸模型評(píng)價(jià) 85
5.1.3 線性模型 89
5.1.4 決策樹(shù) 93
5.1.5 最近鄰分類 97
5.1.6 支持向量機(jī) 99
5.1.7 神經(jīng)網(wǎng)絡(luò) 101
5.1.8 集成算法 107
5.2 聚類 112
5.2.1 常用的聚類算法 112
5.2.2 聚類模型評(píng)價(jià) 114
5.2.3 K-Means算法 115
5.2.4 密度聚類 120
5.2.5 層次聚類 123
5.3 關(guān)聯(lián)規(guī)則 126
5.3.1 常用關(guān)聯(lián)規(guī)則算法 126
5.3.2 Apriori算法 127
5.4 智能推薦 131
5.4.1 常用智能推薦算法 131
5.4.2 智能推薦模型評(píng)價(jià) 132
5.4.3 協(xié)同過(guò)濾推薦算法 133
5.4.4 基于流行度的推薦算法 138
5.5 時(shí)間序列 139
5.5.1 時(shí)間序列算法 140
5.5.2 時(shí)間序列的預(yù)處理 140
5.5.3 平穩(wěn)序列分析 142
5.5.4 非平穩(wěn)序列分析 144
實(shí)訓(xùn) 152
實(shí)訓(xùn)1 使用分類算法實(shí)現(xiàn)客戶流失預(yù)測(cè) 152
實(shí)訓(xùn)2 使用K-Means聚類算法實(shí)現(xiàn)超市顧客聚類分析 152
實(shí)訓(xùn)3 使用Apriori算法挖掘網(wǎng)址間的相關(guān)關(guān)系 153
實(shí)訓(xùn)4 使用協(xié)同過(guò)濾推薦算法實(shí)現(xiàn)對(duì)用戶進(jìn)行品牌的個(gè)性化推薦 153
實(shí)訓(xùn)5 使用ARIMA算法實(shí)現(xiàn)氣溫預(yù)測(cè) 154
課后習(xí)題 155
實(shí)戰(zhàn)篇
第6章 信用卡高風(fēng)險(xiǎn)客戶識(shí)別 158
6.1 背景與目標(biāo) 158
6.1.1 背景 158
6.1.2 數(shù)據(jù)說(shuō)明 159
6.1.3 目標(biāo) 160
6.2 數(shù)據(jù)探索 161
6.2.1 描述性統(tǒng)計(jì)分析 161
6.2.2 客戶歷史信用記錄 162
6.2.3 客戶經(jīng)濟(jì)情況 164
6.2.4 客戶經(jīng)濟(jì)風(fēng)險(xiǎn)情況 166
6.3 數(shù)據(jù)預(yù)處理 169
6.3.1 數(shù)據(jù)清洗 169
6.3.2 屬性構(gòu)造 171
6.4 分析與建模 174
6.4.1 參數(shù)尋優(yōu) 174
6.4.2 構(gòu)建聚類模型 176
6.4.3 信用卡客戶風(fēng)險(xiǎn)分析 176
6.5 模型評(píng)價(jià) 179
小結(jié) 180
實(shí)訓(xùn) 使用K-Means聚類算法實(shí)現(xiàn)運(yùn)營(yíng)商客戶價(jià)值分析 180
課后習(xí)題 181
第7章 餐飲企業(yè)菜品關(guān)聯(lián)分析 182
7.1 背景與目標(biāo) 182
7.1.1 背景 182
7.1.2 數(shù)據(jù)說(shuō)明 183
7.1.3 目標(biāo) 185
7.2 數(shù)據(jù)探索 185
7.2.1 分析每日用餐人數(shù)和營(yíng)業(yè)額 185
7.2.2 分析菜品熱銷度 187
7.3 數(shù)據(jù)預(yù)處理 189
7.3.1 數(shù)據(jù)清洗 189
7.3.2 屬性構(gòu)造 190
7.4 分析與建模 191
7.4.1 構(gòu)建Apriori模型 191
7.4.2 訓(xùn)練模型 193
7.5 模型評(píng)價(jià) 194
小結(jié) 196
實(shí)訓(xùn) 西餅屋訂單關(guān)聯(lián)分析 197
課后習(xí)題 197
第8章 金融服務(wù)機(jī)構(gòu)資金流量預(yù)測(cè) 198
8.1 背景與目標(biāo) 198
8.1.1 背景 198
8.1.2 數(shù)據(jù)說(shuō)明 199
8.1.3 目標(biāo) 200
8.2 數(shù)據(jù)預(yù)處理 201
8.2.1 屬性構(gòu)造 201
8.2.2 截取平穩(wěn)部分?jǐn)?shù)據(jù) 202
8.2.3 周期性差分 204
8.2.4 平穩(wěn)性檢驗(yàn)和白噪聲檢驗(yàn) 205
8.3 分析與建模 205
8.3.1 時(shí)間序列模型的定階 205
8.3.2 模型檢驗(yàn) 206
8.4 模型評(píng)價(jià) 207
小結(jié) 209
實(shí)訓(xùn) 構(gòu)建ARIMA模型預(yù)測(cè)資金贖回?cái)?shù)據(jù) 210
課后習(xí)題 210
第9章 O2O優(yōu)惠券使用預(yù)測(cè) 211
9.1 背景與目標(biāo) 211
9.1.1 背景 211
9.1.2 數(shù)據(jù)說(shuō)明 212
9.1.3 目標(biāo) 212
9.2 數(shù)據(jù)探索 213
9.2.1 描述性統(tǒng)計(jì)分析 213
9.2.2 分析優(yōu)惠形式信息 215
9.2.3 分析用戶消費(fèi)行為信息 216
9.2.4 分析商戶投放優(yōu)惠券信息 218
9.3 數(shù)據(jù)預(yù)處理 221
9.3.1 數(shù)據(jù)清洗 221
9.3.2 數(shù)據(jù)變換 222
9.4 分析與建模 225
9.4.1 決策樹(shù)分類模型 225
9.4.2 梯度提升分類模型 227
9.4.3 XGBoost分類模型 228
9.5 模型評(píng)價(jià) 229
小結(jié) 232
實(shí)訓(xùn) 運(yùn)營(yíng)商客戶流失預(yù)測(cè) 232
課后習(xí)題 233
第 10章 電視產(chǎn)品個(gè)性化推薦 235
10.1 背景與目標(biāo) 235
10.1.1 背景 235
10.1.2 數(shù)據(jù)說(shuō)明 236
10.1.3 目標(biāo) 237
10.2 數(shù)據(jù)預(yù)處理 238
10.2.1 數(shù)據(jù)清洗 238
10.2.2 數(shù)據(jù)探索 241
10.2.3 屬性構(gòu)造 248
10.3 分析與建模 251
10.3.1 基于物品的協(xié)同過(guò)濾推薦模型 252
10.3.2 基于流行度的推薦模型 254
10.4 模型評(píng)價(jià) 255
小結(jié) 257
實(shí)訓(xùn) 網(wǎng)頁(yè)瀏覽個(gè)性化推薦 257
課后習(xí)題 258
第 11章 基于TipDM大數(shù)據(jù)挖掘建模平臺(tái)實(shí)現(xiàn)金融服務(wù)機(jī)構(gòu)資金流量預(yù)測(cè) 259
11.1 平臺(tái)簡(jiǎn)介 259
11.1.1 實(shí)訓(xùn)庫(kù) 261
11.1.2 數(shù)據(jù)連接 261
11.1.3 實(shí)訓(xùn)數(shù)據(jù) 261
11.1.4 我的實(shí)訓(xùn) 262
11.1.5 系統(tǒng)算法 262
11.1.6 個(gè)人算法 264
11.2 快速構(gòu)建金融服務(wù)機(jī)構(gòu)資金流量預(yù)測(cè)實(shí)訓(xùn) 265
11.2.1 數(shù)據(jù)源配置 266
11.2.2 屬性構(gòu)造 267
11.2.3 數(shù)據(jù)篩選 271
11.2.4 周期性差分 272
11.2.5 序列檢驗(yàn) 274
11.2.6 分析與建模 276
小結(jié) 279
實(shí)訓(xùn) 構(gòu)建ARIMA模型預(yù)測(cè)航空公司乘客量數(shù)據(jù) 279
課后習(xí)題 279