本書系統(tǒng)介紹了大數(shù)據(jù)的基本原理與概念，共9章，分別講解大數(shù)據(jù)的基本知識、大數(shù)據(jù)與新一代信息技術、數(shù)據(jù)采集、大數(shù)據(jù)存儲、數(shù)據(jù)清洗、大數(shù)據(jù)分析與挖掘、數(shù)據(jù)可視化、大數(shù)據(jù)安全與治理以及大數(shù)據(jù)的應用。本書系統(tǒng)介紹了大數(shù)據(jù)的基礎知識，并對一些大數(shù)據(jù)的應用實例進行講解。
本書可作為高等院校大數(shù)據(jù)專業(yè)、人工智能專業(yè)、軟件技術專業(yè)、云計算專業(yè)、計算機網(wǎng)絡專業(yè)的專業(yè)基礎課教材，也可作為大數(shù)據(jù)愛好者的參考書。
（1）全書內(nèi)容面廣，章節(jié)由簡入深，易于學習。
（2）緊跟時代潮流，注重技術變化，書中包含了新的大數(shù)據(jù)知識及一些開源工具的介紹。
（3）編寫本書的教師都具有多年的教學經(jīng)驗，重難點突出，能夠激發(fā)學生的學習熱情。
黃源，工學碩士，重慶航天職業(yè)技術學院大數(shù)據(jù)專業(yè)帶頭人，教授，研究方向為大數(shù)據(jù)分析與可視化。近年來負責多項市級教改科研課題，主編出版計算機類教材十余本。
第１章 大數(shù)據(jù)的基本知識 1
1.1 大數(shù)據(jù)概述 1
1.1.1 大數(shù)據(jù)的特征 1
1.1.2 大數(shù)據(jù)的意義 3
1.2 大數(shù)據(jù)的數(shù)據(jù)類型 6
1.2.1 結構化數(shù)據(jù) 6
1.2.2 非結構化數(shù)據(jù) 6
1.2.3 結構化數(shù)據(jù)和非結構化數(shù)據(jù)的區(qū)別 7
1.3 大數(shù)據(jù)政策 7
1.3.1 國外的大數(shù)據(jù)政策 7
1.3.2 國內(nèi)的大數(shù)據(jù)政策 9
1.4 小結 10
1.5 習題 10
第２章 大數(shù)據(jù)與新一代信息技術 11
2.1 大數(shù)據(jù)與云計算 11
2.1.1 云計算概述 11
2.1.2 大數(shù)據(jù)與云計算的區(qū)別與聯(lián)系 17
2.2 大數(shù)據(jù)與物聯(lián)網(wǎng) 18
2.2.1 物聯(lián)網(wǎng)概述 18
2.2.2 大數(shù)據(jù)與物聯(lián)網(wǎng)的區(qū)別與聯(lián)系 21
2.3 大數(shù)據(jù)與人工智能 21
2.3.1 人工智能概述 21
2.3.2 大數(shù)據(jù)與人工智能的區(qū)別與聯(lián)系 25
2.4 大數(shù)據(jù)與區(qū)塊鏈 26
2.4.1 區(qū)塊鏈概述 26
2.4.2 大數(shù)據(jù)與區(qū)塊鏈的區(qū)別與聯(lián)系 27
2.5 小結 28
2.6 習題 29
第3章 數(shù)據(jù)采集 30
3.1 數(shù)據(jù)采集概述 30
3.1.1 認識數(shù)據(jù)采集 30
3.1.2 數(shù)據(jù)采集的常見方式 31
3.2 數(shù)據(jù)采集平臺 34
3.2.1 Flume 34
3.2.2 Kafka 35
3.2.3 Logstash 37
3.3 網(wǎng)絡爬蟲 37
3.3.1 認識網(wǎng)絡爬蟲 37
3.3.2 網(wǎng)絡爬蟲的分類及特點 40
3.3.3 網(wǎng)絡爬蟲的道德規(guī)范與法律風險 41
3.4 小結 42
3.5 習題 43
第4章 大數(shù)據(jù)存儲 44
4.1 大數(shù)據(jù)存儲概述 44
4.1.1 大數(shù)據(jù)存儲的概念 44
4.1.2 大數(shù)據(jù)存儲的分類 45
4.2 Hadoop架構 48
4.2.1 認識Hadoop架構 48
4.2.2 Hadoop的起源與發(fā)展 49
4.2.3 Hadoop生態(tài)組件 51
4.3 NoSQL數(shù)據(jù)庫 63
4.3.1 認識NoSQL數(shù)據(jù)庫 63
4.3.2 NoSQL數(shù)據(jù)庫的分類 63
4.4 數(shù)據(jù)倉庫 69
4.4.1 認識數(shù)據(jù)倉庫 70
4.4.2 數(shù)據(jù)倉庫的特點 73
4.4.3 數(shù)據(jù)倉庫的應用 73
4.5 小結 74
4.6 習題 74
第5章 數(shù)據(jù)清洗 75
5.1 數(shù)據(jù)清洗概述 75
5.1.1 認識數(shù)據(jù)清洗 75
5.1.2 數(shù)據(jù)清洗的流程 77
5.1.3 數(shù)據(jù)質(zhì)量 78
5.2 數(shù)據(jù)清洗的方法 82
5.2.1 處理缺失值 82
5.2.2 處理異常值 83
5.2.3 處理重復值 85
5.3 數(shù)據(jù)清洗的常用工具 85
5.3.1 Python 85
5.3.2 R 87
5.3.3 Kettle 88
5.3.4 DataCleaner 89
5.4 小結 91
5.5 習題 91
第6章 大數(shù)據(jù)分析與挖掘 92
6.1 大數(shù)據(jù)分析概述 92
6.1.1 大數(shù)據(jù)分析的概念 92
6.1.2 大數(shù)據(jù)分析的常用方法 97
6.2 數(shù)據(jù)挖掘 102
6.2.1 認識數(shù)據(jù)挖掘 102
6.2.2 數(shù)據(jù)挖掘的應用 104
6.3 數(shù)據(jù)挖掘的常見算法 105
6.3.1 K-Means算法 106
6.3.2 KNN算法 107
6.3.3 樸素貝葉斯算法 108
6.3.4 決策樹算法 110
6.3.5 支持向量機算法 112
6.4 小結 114
6.5 習題 114
第7章 數(shù)據(jù)可視化 115
7.1 數(shù)據(jù)可視化概述 115
7.1.1 認識數(shù)據(jù)可視化 115
7.1.2 數(shù)據(jù)可視化的類型 122
7.2 數(shù)據(jù)可視化的方法 123
7.2.1 文本可視化 123
7.2.2 社交網(wǎng)絡可視化 125
7.2.3 地理空間可視化 127
7.3 數(shù)據(jù)可視化的常見工具 130
7.3.1 ECharts 130
7.3.2 Excel 133
7.3.3 D3 135
7.3.4 Tableau 137
7.4 小結 139
7.5 習題 139
第8章 大數(shù)據(jù)安全與治理 140
8.1 大數(shù)據(jù)安全概述 140
8.1.1 認識數(shù)據(jù)安全 140
8.1.2 大數(shù)據(jù)面臨的安全挑戰(zhàn) 143
8.1.3 大數(shù)據(jù)安全的關鍵技術 145
8.2 數(shù)據(jù)治理 151
8.2.1 認識數(shù)據(jù)治理 151
8.2.2 數(shù)據(jù)治理的目標 156
8.2.3 數(shù)據(jù)治理的實現(xiàn) 157
8.3 小結 169
8.4 習題 169
第9章 大數(shù)據(jù)的應用 170
9.1 農(nóng)業(yè)大數(shù)據(jù) 170
9.1.1 認識農(nóng)業(yè)大數(shù)據(jù) 170
9.1.2 農(nóng)業(yè)大數(shù)據(jù)的關鍵技術 173
9.1.3 農(nóng)業(yè)大數(shù)據(jù)的應用 177
9.2 工業(yè)大數(shù)據(jù) 179
9.2.1 認識工業(yè)大數(shù)據(jù) 179
9.2.2 工業(yè)大數(shù)據(jù)的關鍵技術 181
9.2.3 工業(yè)大數(shù)據(jù)的應用 185
9.3 金融大數(shù)據(jù) 187
9.3.1 認識金融大數(shù)據(jù) 187
9.3.2 金融大數(shù)據(jù)的關鍵技術 189
9.3.3 金融大數(shù)據(jù)的應用 193
9.4 交通大數(shù)據(jù) 194
9.4.1 認識交通大數(shù)據(jù) 194
9.4.2 交通大數(shù)據(jù)的關鍵因素 197
9.4.3 交通大數(shù)據(jù)的應用 199
9.5 小結 200
9.6 習題 201
參考文獻 202
書單推薦
