第 1章 大數(shù)據(jù)項目概述 1
學習目標　1
1.1　企業(yè)大數(shù)據(jù)項目簡介　1
1.1.1　數(shù)據(jù)處理流程　1
1.1.2　架構分析　2
1.1.3　人員安排　5
1.2　大數(shù)據(jù)項目實戰(zhàn)基礎　5
1.2.1　實戰(zhàn)環(huán)境　5
1.2.2　涉及的技術及需掌握的能力　11
小結　20
第　2章 Hadoop生態(tài)組件基礎　21
學習目標　21
2.1　Hadoop基礎　21
2.1.1　Hadoop概述　21
2.1.2　Hadoop集群安裝與配置　25
2.1.3　Hadoop框架組成　36
2.1.4　Hadoop應用實踐　42
2.2　Hive基礎　45
2.2.1　Hive概述　45
2.2.2　Hive安裝與配置　46
2.2.3　Hive體系架構　50
2.2.4　Hive應用實踐　54
2.3　Spark基礎　58
2.3.1　Spark概述　59
2.3.2　Spark集群安裝與配置　63
2.3.3　Spark集群架構　66
2.3.4　Spark應用實踐　67
小結　69
第3章　廣電大數(shù)據(jù)用戶畫像需求分析　70
學習目標　70
3.1　項目需求　70
3.1.1　項目背景　70
3.1.2　項目目標　71
3.2　需求探索　71
3.2.1　數(shù)據(jù)說明　71
3.2.2　基礎探索　76
3.2.3　業(yè)務需求探索　84
3.3　技術方案　96
3.3.1　技術選型　96
3.3.2　系統(tǒng)架構　98
小結　99
第4章　廣電大數(shù)據(jù)用戶畫像數(shù)據(jù)采集與預處理　101
學習目標　101
4.1　業(yè)務數(shù)據(jù)　101
4.1.1　生產(chǎn)數(shù)據(jù)來源　101
4.1.2　模擬產(chǎn)生業(yè)務數(shù)據(jù)　102
4.2　數(shù)據(jù)存儲與傳輸　119
4.2.1　Elasticsearch數(shù)據(jù)傳輸?shù)紿ive　119
4.2.2　用戶畫像標簽結果保存到MySQL　133
4.3　基礎數(shù)據(jù)預處理　135
小結　141
第5章　廣電大數(shù)據(jù)用戶畫像實時統(tǒng)計訂單信息　142
學習目標　142
5.1　實時統(tǒng)計目標　142
5.2　Kafka安裝和配置　142
5.3　實時統(tǒng)計訂單信息　144
5.3.1　模擬產(chǎn)生訂單實時數(shù)據(jù)流　144
5.3.2　Spark Streaming實時統(tǒng)計訂單信息　146
小結　151
第6章　廣電大數(shù)據(jù)用戶畫像用戶標簽計算與可視化　152
學習目標　152
6.1　SVM預測用戶是否值得挽留　152
6.1.1　SVM算法　152
6.1.2　構建特征列和標簽列數(shù)據(jù)　153
6.1.3　建立SVM模型　159
6.1.4　模型評估　160
6.1.5　模型預測　161
6.1.6　整體實現(xiàn)及參數(shù)封裝　163
6.2　用戶畫像　168
6.2.1　用戶畫像概述　169
6.2.2　標簽計算　170
6.2.3　用戶畫像工程實現(xiàn)　179
6.3　用戶畫像可視化　188
6.3.1　用戶畫像可視化簡介　188
6.3.2　可視化工程實現(xiàn)　188
6.3.3　結果展示　192
小結　195
第7章　廣電大數(shù)據(jù)用戶畫像任務調度實現(xiàn)　196
學習目標　196
7.1　調度策略　196
7.2　調度實現(xiàn)　199
小結　227
第8章　基于TipDM大數(shù)據(jù)挖掘建模平臺實現(xiàn)廣電大數(shù)據(jù)用戶畫像　229
學習目標　229
8.1　平臺簡介　229
8.1.1　模板　230
8.1.2　數(shù)據(jù)空間　231
8.1.3　我的項目　232
8.1.4　系統(tǒng)組件　232
8.1.5　個人組件　234
8.1.6　訪問TipDM大數(shù)據(jù)挖掘建模平臺的方式　234
8.2　廣電大數(shù)據(jù)用戶畫像開發(fā)　234
8.2.1　數(shù)據(jù)源配置　236
8.2.2　數(shù)據(jù)探索　238
8.2.3　數(shù)據(jù)處理　239
8.2.4　用戶畫像　241
小結　249