目錄
序
前言
第1章 云數(shù)據(jù)中心智能管理概述1
1.1 云數(shù)據(jù)中心智能管理背景與意義1
1.2 研究現(xiàn)狀與主要技術挑戰(zhàn)2
1.2.1 云數(shù)據(jù)中心運行數(shù)據(jù)管理現(xiàn)狀與挑戰(zhàn)2
1.2.2 云數(shù)據(jù)中心運行能效評估與預測現(xiàn)狀與挑戰(zhàn)6
1.2.3 云數(shù)據(jù)中心資源管理與調(diào)度現(xiàn)狀與挑戰(zhàn)8
1.2.4 云工作流管理與調(diào)度現(xiàn)狀與挑戰(zhàn)10
1.2.5 云數(shù)據(jù)中心智能管理系統(tǒng)現(xiàn)狀與挑戰(zhàn)12
1.3 研究目標與總體技術架構13
1.3.1 大規(guī)模云數(shù)據(jù)中心運行數(shù)據(jù)管理關鍵技術14
1.3.2 大規(guī)模云數(shù)據(jù)中心運行能效評估與預測關鍵技術15
1.3.3 大規(guī)模云數(shù)據(jù)中心資源智能管理與調(diào)度關鍵技術15
1.3.4 大規(guī)模云工作流智能管理與調(diào)度關鍵技術16
1.3.5 云數(shù)據(jù)中心智能管理系統(tǒng)研制及應用示范18
1.4 本章小結(jié)18
第2章 大規(guī)模云數(shù)據(jù)中心運行數(shù)據(jù)管理關鍵技術20
2.1 多云數(shù)據(jù)中心運行數(shù)據(jù)采集方法20
2.1.1 基于概率性采樣的自適應性采集技術20
2.1.2 面向不同設備粒度的多源數(shù)據(jù)采集技術27
2.2 質(zhì)量感知的數(shù)據(jù)預處理技術29
2.2.1 缺失值處理29
2.2.2 離群點30
2.2.3 標準化30
2.3 運行數(shù)據(jù)冗余發(fā)現(xiàn)與刪除技術30
2.3.1 基于壓縮點的冗余數(shù)據(jù)處理技術31
2.3.2 面向云數(shù)據(jù)中心集群調(diào)度的冗余數(shù)據(jù)處理優(yōu)化技術33
2.4 分布式、支持冗余備份的安全存儲系統(tǒng)35
2.4.1 運行數(shù)據(jù)高效壓縮技術36
2.4.2 分布式運行數(shù)據(jù)安全存儲模型41
2.4.3 異構運行數(shù)據(jù)高效檢索方法41
2.5 本章小結(jié)45
第3章 大規(guī)模云數(shù)據(jù)中心運行能效評估與預測關鍵技術46
3.1 基于深度學習的云數(shù)據(jù)中心能耗預測方法46
3.1.1 深度學習基本原理46
3.1.2 基于深度學習的能效預測算法設計49
3.1.3 仿真環(huán)境中的測試結(jié)果分析52
3.2 基于特征貢獻值的工作流可解釋性能耗預測方法53
3.2.1 可解釋性機器學習54
3.2.2 能耗可解釋性框架56
3.2.3 基于交互貢獻值的可解釋性方法57
3.2.4 實驗結(jié)果和分解能耗分析59
3.3 云數(shù)據(jù)中心虛擬化環(huán)境能耗評估方法64
3.3.1 虛擬機能耗評估方法64
3.3.2 基于虛擬機能耗模型的容器能耗評估方法71
3.4 云數(shù)據(jù)中心多指標融合的能效定性評估方法75
3.4.1 云數(shù)據(jù)中心能效評估指標體系76
3.4.2 云數(shù)據(jù)中心多指標融合的能效定性評估模型76
3.4.3 仿真環(huán)境下的實驗結(jié)果和分析78
3.5 面向云計算的基于QoS參數(shù)的能效評估方法81
3.5.1 問題描述81
3.5.2 基于QoS的能效評估模型82
3.5.3 實驗分析與結(jié)果展示86
3.6 本章小結(jié)91
第4章 大規(guī)模云數(shù)據(jù)中心資源智能管理與調(diào)度關鍵技術92
4.1 基于深度強化學習的云數(shù)據(jù)中心集群資源智能調(diào)度方法92
4.1.1 深度強化學習基本原理92
4.1.2 基于深度強化學習的資源調(diào)度算法設計93
4.1.3 仿真環(huán)境中的測試結(jié)果分析98
4.2 成本能耗與服務質(zhì)量平衡的數(shù)據(jù)計算密集型任務資源分配與調(diào)度方法101
4.2.1 數(shù)據(jù)計算密集型任務資源分配與調(diào)度方法101
4.2.2 系統(tǒng)架構與問題建模101
4.2.3 基于深度強化學習的任務調(diào)度方法102
4.2.4 基于深度強化學習的云資源分配策略103
4.2.5 服務質(zhì)量感知的計算任務調(diào)度策略106
4.2.6 實驗部署與性能評測107
4.3 多云數(shù)據(jù)中心的用戶請求調(diào)度方法109
4.3.1 基于深度強化學習的多云數(shù)據(jù)中心調(diào)度策略110
4.3.2 用戶體驗感知的多云數(shù)據(jù)中心調(diào)度策略112
4.3.3 復雜約束下的成本優(yōu)化策略115
4.4 基于模仿學習的深度強化學習訓練優(yōu)化方法119
4.4.1 模仿學習基本原理119
4.4.2 模仿學習訓練優(yōu)化技術120
4.4.3 基于模仿學習的云端資源自適應調(diào)度120
4.5 數(shù)據(jù)驅(qū)動的任務群并合智能調(diào)度技術124
4.5.1 并合調(diào)度框架125
4.5.2 并合調(diào)度算法設計與配置125
4.5.3 并合調(diào)度算法測試138
4.6 本章小結(jié)145
第5章 大規(guī)模云工作流智能管理與調(diào)度關鍵技術146
5.1 支持云工作流管理與調(diào)度的關鍵預測技術146
5.1.1 基于密集型寬度學習的容器資源使用量預測方法146
5.1.2 基于密集型寬度學習的改進型容器云資源的預測方法149
5.1.3 基于極限梯度提升的云工作流任務執(zhí)行時間預測方法152
5.1.4 基于多維度特征融合的云工作流任務執(zhí)行時間預測方法158
5.2 大規(guī)模云工作流動態(tài)優(yōu)化調(diào)度技術164
5.2.1 基于用戶優(yōu)先級感知和花費約束的云工作流調(diào)度技術164
5.2.2 基于分布式策略多云工作流動態(tài)調(diào)度方法168
5.2.3 面向隨機混合云工作流實時調(diào)度方法177
5.3 滿足用戶個性化需求調(diào)度策略186
5.3.1 基于云工作流結(jié)構和成本感知的預測調(diào)度算法187
5.3.2 基于改進非支配遺傳算法的多目標云工作流調(diào)度方法198
5.3.3 基于強化學習策略的多目標云工作流調(diào)度方法207
5.4 本章小結(jié)212
第6章 云數(shù)據(jù)中心智能管理系統(tǒng)研制及應用214
6.1 云數(shù)據(jù)中心智能化管理與運維體系架構設計214
6.2 云數(shù)據(jù)中心智能管理系統(tǒng)及其應用215
6.2.1 大規(guī)模云數(shù)據(jù)中心運行數(shù)據(jù)管理子系統(tǒng)研制216
6.2.2 大規(guī)模云數(shù)據(jù)中心運行能效評估與預測子系統(tǒng)研制251
6.2.3 大規(guī)模云數(shù)據(jù)中心資源管理與調(diào)度子系統(tǒng)研制254
6.2.4 大規(guī)模云工作流智能管理與調(diào)度子系統(tǒng)研制286
6.3 系統(tǒng)集成——云數(shù)據(jù)中心智能管理系統(tǒng)294
6.3.1 大規(guī)模云數(shù)據(jù)中心資源管理與調(diào)度子系統(tǒng)集成294
6.3.2 大規(guī)模云數(shù)據(jù)中心運行能效評估與預測子系統(tǒng)集成294
6.3.3 大規(guī)模云工作流智能管理與調(diào)度子系統(tǒng)集成296
6.3.4 完整系統(tǒng)集成296
6.4 面向典型工業(yè)應用開展云數(shù)據(jù)中心智能化管理系統(tǒng)應用示范300
6.4.1 應用示范——設備故障診斷300
6.4.2 應用示范——無人駕駛車輛軌跡跟蹤控制305
6.4.3 應用示范——智能廢鋼判級系統(tǒng)308
6.5 本章小結(jié)313
參考文獻315