本書是校企合作的成果，以大數(shù)據(jù)平臺運維崗位的實際工作為核心，采用任務驅動方式，全面介紹了 Hadoop 集群的安裝、監(jiān)控和優(yōu)化等關鍵技能。內容涵蓋了從集群搭建到節(jié)點維護、分布式文件存儲操作、計算資源管理，再到集群調優(yōu)和應用組件調優(yōu)，以及應用組件的安裝與檢驗等多個方面。本書遵循“實踐為主、理論為輔、注重實用性”的教育理念，在實際操作中融入理論知識點，幫助讀者更好地學習和掌握大數(shù)據(jù)分析與處理的關鍵技能。本書適合具備一定計算機基礎的讀者閱讀，可作為中等職業(yè)學校、高職高專計算機相關專業(yè)的教學用書，也可作為大數(shù)據(jù)技術培訓的實訓教材，同時可供相關技術領域的技術人員參考使用。
劉珊珊，副教授，廣東財貿職業(yè)學院教師，廣東省計算機用戶協(xié)會移動互聯(lián)專委會委員。廣東省計算機學會移動互聯(lián)網(wǎng)專業(yè)委員會常務委員，省級"軟件技術高水平專業(yè)群”負責人，省級軟件技術二類品牌專業(yè)負責人，主持廣東省教育廳2019年度廣東省普通高校重點科研平臺和項目，在研，主持；主持廣東省高職教育信息技術教指委教研教改項目2項，均已結題；主持校級"軟件技術專業(yè)教學創(chuàng)新團隊”"軟件技術專業(yè)教學資源庫”等多項大型項目。
第一單元 Hadoop 集群的搭建 ……………………………………………………………… 1
任務 1 認識 Hadoop …………………………………………………………………… 2
1. 知識準備 ………………………………………………………………………… 2
2. 課后實訓 ………………………………………………………………………… 5
任務 2 大數(shù)據(jù)服務云體驗 ……………………………………………………………… 8
1. 知識準備 ………………………………………………………………………… 8
2. 任務實操 …………………………………………………………………………12
3. 課后實訓 …………………………………………………………………………15
任務 3 搭建 Hadoop 完全分布式集群 …………………………………………………17
1. 知識準備 …………………………………………………………………………17
2. 任務實操 …………………………………………………………………………19
3. 課后實訓 …………………………………………………………………………36
第二單元? Hadoop 集群節(jié)點的運行維護 ………………………………………………… 41
任務 1 管理 Hadoop 集群節(jié)點運行 ……………………………………………………42
1. 知識準備 …………………………………………………………………………42
2. 任務實操 …………………………………………………………………………49
3. 課后實訓 …………………………………………………………………………55
任務 2 解決集群運行中的 DataNode 故障 ……………………………………………58
1. 知識準備 …………………………………………………………………………58
2. 任務實操 …………………………………………………………………………61
3. 課后實訓 …………………………………………………………………………62
任務 3 集群啟動失敗 ……………………………………………………………………66
1. 知識準備 …………………………………………………………………………66
2. 任務實操 …………………………………………………………………………69
Hadoop 大數(shù)據(jù)技術體系
3. 課后實訓 …………………………………………………………………………77
第三單元? Hadoop 集群文件的存儲管理 ………………………………………………… 86
任務 1 使用 Shell 命令操作 HDFS ……………………………………………………87
1. 知識準備 …………………………………………………………………………87
2. 任務實操 …………………………………………………………………………93
3. 課后實訓 …………………………………………………………………………97
任務 2 合并 HDFS 小文件 …………………………………………………………… 101
1. 知識準備 ……………………………………………………………………… 101
2. 任務實操 ……………………………………………………………………… 103
3. 課后實訓 ……………………………………………………………………… 106
任務 3 解決集群故障 ………………………………………………………………… 109
1. 知識準備 ……………………………………………………………………… 109
2. 任務實操 ……………………………………………………………………… 114
3. 課后實訓 ……………………………………………………………………… 125
第四單元? Hadoop 集群計算資源的管理 ………………………………………………… 128
任務 1 使用 MapReduce 組件 ……………………………………………………… 129
1. 知識準備 ……………………………………………………………………… 129
2. 任務實操 ……………………………………………………………………… 133
3. 課后實訓 ……………………………………………………………………… 138
任務 2 使用 Yarn 組件 ……………………………………………………………… 143
1. 知識準備 ……………………………………………………………………… 143
2. 任務實操 ……………………………………………………………………… 156
3. 課后實訓 ……………………………………………………………………… 163
第五單元? 組件的安裝與應用……………………………………………………………… 167
任務 1 安裝與應用 Flume 組件 ……………………………………………………… 168
1. 知識準備 ……………………………………………………………………… 168
2. 任務實操 ……………………………………………………………………… 171
3. 課后實訓 ……………………………………………………………………… 176
任務 2 安裝與應用 Hive 組件 ……………………………………………………… 180
1. 知識準備 ……………………………………………………………………… 180
2. 任務實操 ……………………………………………………………………… 185
3. 課后實訓 ……………………………………………………………………… 195
第六單元? 集群調優(yōu)和應用組件調優(yōu)……………………………………………………… 201
1. 知識準備 ……………………………………………………………………… 202
2. 課后實訓 ……………………………………………………………………… 209
書單推薦
