《大數(shù)據(jù)管理》既包括了大數(shù)據(jù)管理的相關技術知識,也涵蓋了大數(shù)據(jù)管理在多個行業(yè)的應用與案例分析,包括: 大數(shù)據(jù)基礎、大數(shù)據(jù)采集、大數(shù)據(jù)存儲、大數(shù)據(jù)分析、大數(shù)據(jù)融合、大數(shù)據(jù)隱私、大數(shù)據(jù)可視化、大數(shù)據(jù)前沿、醫(yī)療大數(shù)據(jù)、教育大數(shù)據(jù)、金融大數(shù)據(jù)、交通大數(shù)據(jù)。通過本書,讀者能夠全方位地認識和掌握大數(shù)據(jù)管理的相關知識,深入了解大數(shù)據(jù)的應用價值。
本書可作為高等學校大數(shù)據(jù)管理與應用、信息管理與信息系統(tǒng)等管理類、信息類以及智能建造、智能制造、智慧交通等新工科專業(yè)的本科生、研究生教材,還可作為大數(shù)據(jù)相關企業(yè)的管理者與實踐者的培訓用書和參考讀物。
何慶,貴州大學,教授,主要研究領域與方向大數(shù)據(jù)技術應用、機器學習、自然語言處理。貴州省大數(shù)據(jù)專家?guī)鞂<,中國中文信息學會理事,中國民族醫(yī)藥學會信息與大數(shù)據(jù)分會理事
第1章 緒論001
1.1 大數(shù)據(jù)的基本概念001
1.2 數(shù)據(jù)生命周期002
1.3 大數(shù)據(jù)的意義003
1.4 大數(shù)據(jù)的相關技術及作用003
1.5 大數(shù)據(jù)的應用領域004
1.6 大數(shù)據(jù)面臨的挑戰(zhàn)006
本章小結006
習題006
參考文獻007
第2章 大數(shù)據(jù)采集008
【本章導讀】008
【學習目標】008
2.1 大數(shù)據(jù)采集概述008
2.1.1 基本概念008
2.1.2 數(shù)據(jù)采集與大數(shù)據(jù)采集009
2.2 數(shù)據(jù)質(zhì)量和數(shù)據(jù)預處理009
2.2.1 數(shù)據(jù)預處理010
2.2.2 數(shù)據(jù)清洗010
2.2.3 數(shù)據(jù)轉(zhuǎn)換011
2.2.4 數(shù)據(jù)消減012
2.3 互聯(lián)網(wǎng)采集013
2.3.1 互聯(lián)網(wǎng)數(shù)據(jù)特點013
2.3.2 互聯(lián)網(wǎng)采集技術014
2.3.3 互聯(lián)網(wǎng)采集策略015
2.3.4 互聯(lián)網(wǎng)采集現(xiàn)狀016
2.4 物聯(lián)網(wǎng)采集017
2.4.1 物聯(lián)網(wǎng)體系結構018
2.4.2 物聯(lián)網(wǎng)協(xié)議018
2.4.3 物聯(lián)網(wǎng)數(shù)據(jù)采集技術020
本章小結021
習題022
參考文獻022
第3章 大數(shù)據(jù)存儲023
【本章導讀】023
【學習目標】023
3.1 數(shù)據(jù)庫管理技術023
3.1.1 關系數(shù)據(jù)庫與非關系數(shù)據(jù)庫023
3.1.2 SQL 數(shù)據(jù)庫025
3.1.3 NoSQL 數(shù)據(jù)庫025
3.1.4 NewSQL 數(shù)據(jù)庫027
3.2 分布式文件系統(tǒng)027
3.2.1 計算機集群的結構027
3.2.2 分布式文件系統(tǒng)的結構028
3.2.3 分布式文件系統(tǒng)的設計需求029
3.2.4 分布式文件系統(tǒng)的存儲原理029
3.3 大數(shù)據(jù)存儲管理032
3.3.1 大數(shù)據(jù)存儲管理概念032
3.3.2 大數(shù)據(jù)存儲數(shù)據(jù)容災技術033
3.3.3 大數(shù)據(jù)存儲數(shù)據(jù)冗余去除技術034
3.3.4 大數(shù)據(jù)存儲糾刪碼技術與優(yōu)化035
本章小結040
習題040
參考文獻040
第4章 大數(shù)據(jù)分析042
【本章導讀】042
【學習目標】042
4.1 機器學習042
4.1.1 基礎概念042
4.1.2 監(jiān)督算法043
4.1.3 無監(jiān)督算法048
4.1.4 集成學習050
4.2 深度學習——神經(jīng)網(wǎng)絡054
4.2.1 基本概念054
4.2.2 前饋神經(jīng)網(wǎng)絡054
4.2.3 卷積神經(jīng)網(wǎng)絡055
4.2.4 循環(huán)神經(jīng)網(wǎng)絡060
4.3 模型評估063
本章小結064
習題065
參考文獻065
第5章 大數(shù)據(jù)融合067
【本章導讀】067
【學習目標】067
5.1 多源數(shù)據(jù)067
5.1.1 數(shù)據(jù)孤島067
5.1.2 多來源與多模態(tài)068
5.1.3 數(shù)據(jù)溯源069
5.2 數(shù)據(jù)集成069
5.2.1 聯(lián)邦數(shù)據(jù)庫與數(shù)據(jù)聯(lián)邦070
5.2.2 中間件071
5.2.3 數(shù)據(jù)倉庫072
5.2.4 數(shù)據(jù)湖072
5.3 數(shù)據(jù)融合技術073
5.3.1 數(shù)據(jù)融合073
5.3.2 知識融合076
本章小結078
習題079
參考文獻079
第6章 大數(shù)據(jù)隱私080
【本章導讀】080
【學習目標】080
6.1 基本概念080
6.1.1 隱私080
6.1.2 大數(shù)據(jù)隱私的挑戰(zhàn)081
6.2 大數(shù)據(jù)安全技術082
6.2.1 訪問控制082
6.2.2 同態(tài)加密084
6.2.3 可信執(zhí)行環(huán)境086
6.2.4 密文搜索088
6.3 大數(shù)據(jù)隱私保護技術089
6.3.1 數(shù)據(jù)脫敏089
6.3.2 信息混淆090
6.3.3 差分隱私091
6.3.4 多媒體數(shù)據(jù)隱私保護092
6.4 聯(lián)邦學習093
6.4.1 聯(lián)邦學習架構093
6.4.2 聯(lián)邦學習分類095
6.4.3 聯(lián)邦學習開源平臺096
本章小結099
習題099
參考文獻099
第7章 大數(shù)據(jù)可視化101
【本章導讀】101
【學習目標】101
7.1 大數(shù)據(jù)可視化的概念和發(fā)展歷程101
7.1.1 大數(shù)據(jù)可視化的基本概念101
7.1.2 大數(shù)據(jù)可視化的發(fā)展歷程102
7.1.3 大數(shù)據(jù)可視化的基本特征103
7.1.4 大數(shù)據(jù)可視化的類型104
7.2 大數(shù)據(jù)可視化基礎106
7.2.1 設計步驟106
7.2.2 視覺編碼106
7.2.3 大數(shù)據(jù)可視化設計原則107
7.2.4 統(tǒng)計圖表可視化108
7.2.5 大數(shù)據(jù)可視化工具111
7.3 大數(shù)據(jù)可視化分析的方法112
7.3.1 網(wǎng)絡數(shù)據(jù)可視化技術112
7.3.2 時間數(shù)據(jù)可視化技術113
7.3.3 多維數(shù)據(jù)可視化技術114
7.3.4 文本可視化技術115
7.3.5 交互可視化技術115
本章小結116
習題116
參考文獻116
第8章 大數(shù)據(jù)前沿118
【本章導讀】118
【學習目標】118
8.1 關鍵技術118
8.1.1 虛擬現(xiàn)實118
8.1.2 增強現(xiàn)實120
8.1.3 混合現(xiàn)實120
8.1.4 人工智能121
8.1.5 云計算122
8.1.6 區(qū)塊鏈123
8.2 Web 3.0 124
8.2.1 發(fā)展過程125
8.2.2 發(fā)展趨勢127
8.3 工業(yè)4.0 128
8.3.1 發(fā)展歷程129
8.3.2 發(fā)展趨勢130
8.4 智慧城市131
8.4.1 發(fā)展過程131
8.4.2 發(fā)展趨勢132
本章小結133
習題134
參考文獻134
第9章 醫(yī)療大數(shù)據(jù)135
【本章導讀】135
【學習目標】135
9.1 問題與挑戰(zhàn)135
9.2 基本概念與發(fā)展歷程136
9.2.1 基本概念136
9.2.2 發(fā)展歷程137
9.3 具體案例分析137
9.3.1 電子健康檔案137
9.3.2 智慧居家護理及遠程醫(yī)療142
9.4 未來趨勢147
本章小結148
習題148
參考文獻148
第10章 教育大數(shù)據(jù)150
【本章導讀】150
【學習目標】150
10.1 問題與挑戰(zhàn)150
10.2 基本概念與發(fā)展歷程151
10.2.1 基本概念151
10.2.2 發(fā)展歷程151
10.3 具體案例分析153
10.3.1 智能技術助力語言學習153
10.3.2 智慧教育的實踐探索154
10.3.3 智能技術助力學校數(shù)字轉(zhuǎn)型155
10.3.4 課程信號大數(shù)據(jù)教育應用155
10.3.5 學位羅盤大數(shù)據(jù)教育應用158
10.4 未來趨勢159
本章小結160
習題161
參考文獻161
第11章 金融大數(shù)據(jù)162
【本章導讀】162
【學習目標】162
11.1 機遇與挑戰(zhàn)163
11.1.1 金融業(yè)發(fā)展面臨的機遇163
11.1.2 金融業(yè)發(fā)展面臨的挑戰(zhàn)164
11.2 基本概念與發(fā)展歷程164
11.2.1 基本概念164
11.2.2 發(fā)展歷程167
11.3 具體案例分析169
11.3.1 精準營銷169
11.3.2 風險控制172
11.4 未來趨勢175
本章小結176
習題176
參考文獻176
第12章 交通大數(shù)據(jù)178
【本章導讀】178
【學習目標】179
12.1 問題與挑戰(zhàn)179
12.2 基本概念與發(fā)展歷程180
12.2.1 基本概念180
12.2.2 發(fā)展歷程182
12.2.3 交通大數(shù)據(jù)分類182
12.3 具體案例分析185
12.3.1 路面異!爸悄苎策墶 185
12.3.2 “公交優(yōu)先”特色的上海智慧交通云服務188
12.3.3 貴州交廣“互聯(lián)網(wǎng)+ 智慧交通云平臺” 191
12.4 未來趨勢192
本章小結194
習題194
參考文獻195