第1章 數(shù)據(jù)庫關鍵挑戰(zhàn) 1
1.1 數(shù)據(jù)庫發(fā)展歷程 1
1.1.1 數(shù)據(jù)庫分類 1
1.1.2 數(shù)據(jù)庫架構 3
1.2 數(shù)據(jù)庫最新演進趨勢 5
1.2.1 云原生數(shù)據(jù)庫 5
1.2.2 AI-Native 智能數(shù)據(jù)庫 8
1.2.3 全密態(tài)數(shù)據(jù)庫 9
1.2.4 端邊云數(shù)據(jù)管理 9
1.2.5 其他技術研究熱點 10

第2章 GaussDB 架構介紹 13
2.1 GaussDB 關鍵架構目標 13
2.2 GaussDB 分布式架構 14
2.2.1 GaussDB 分布式關鍵技術架構 14
2.2.2 關鍵模塊2 層邏輯模型 17
2.3 GaussDB 分布式關鍵技術方案 20
2.3.1 數(shù)據(jù)計算路由層（Coordinator）關鍵技術方案 20
2.3.2 數(shù)據(jù)持久化存取層（Datanode）關鍵技術方案 26
2.3.3 全局事務管理層（GTM）關鍵技術方案 27
2.3.4 集群管理層（CM）關鍵技術方案 28
2.3.5 集群管理仲裁關鍵技術 30
2.3.6 故障檢查與異常發(fā)現(xiàn) 31
2.3.7 基于Paxos 協(xié)議復制實現(xiàn)DN 副本自仲裁 31
2.4 OM 運維管理關鍵技術方案 32
2.5 安全關鍵技術方案 33
2.5.1 安全關鍵技術一：密態(tài)等值查詢 33
2.5.2 安全關鍵技術二：防篡改數(shù)據(jù)庫 34
2.6 智能關鍵技術方案 36
2.6.1 智能關鍵技術一：自治運維系統(tǒng) 36
2.6.2 智能關鍵技術二：庫內AI 引擎 39
2.6.3 智能關鍵技術三：智能優(yōu)化器 40
2.7 驅動接口關鍵技術方案 41
2.8 GaussDB 云原生架構 41
2.8.1 云原生關鍵技術架構 41
2.8.2 云原生核心技術 43

第3章 數(shù)據(jù)庫高性能關鍵技術 58
3.1 數(shù)據(jù)庫性能優(yōu)化概述 58
3.1.1 數(shù)據(jù)庫的軟件棧視角 58
3.1.2 從系統(tǒng)性工程視角理解性能優(yōu)化 59
3.1.3 性能工程復雜并充滿挑戰(zhàn) 60
3.1.4 性能相關的術語 61
3.2 查詢處理技術 62
3.2.1 查詢處理流程 62
3.2.2 查詢解析器 62
3.2.3 查詢優(yōu)化器 63
3.2.4 查詢執(zhí)行器 64
3.2.5 分布式執(zhí)行 67
3.2.6 存儲引擎數(shù)據(jù)讀取 68
3.3 高性能關鍵技術 71
3.3.1 查詢重寫RBO 71
3.3.2 物理優(yōu)化CBO 74
3.3.3 分布式優(yōu)化器 74
3.3.4 分布式執(zhí)行框架 75
3.3.5 輕量全局事務管理GTM-lite 77
3.3.6 UStore 存儲引擎 78
3.3.7 計劃緩存技術 79
3.3.8 數(shù)據(jù)分區(qū)與分區(qū)剪枝 80
3.3.9 列式存儲和向量化引擎 82
3.3.10 SMP 并行執(zhí)行 85
3.3.11 LLVM 動態(tài)查詢編譯執(zhí)行 87
3.3.12 SQL-BY-PASS 執(zhí)行優(yōu)化 88
3.3.13 線程池化 89
3.3.14 多核處理器優(yōu)化 90
3.3.15 日志無鎖刷新與多級流水 91
3.4 高斯數(shù)據(jù)庫性能優(yōu)化總結 93

第4章 數(shù)據(jù)庫高可用關鍵技術 95
4.1 分布式一致性框架 95
4.1.1 共識框架概述 95
4.1.2 DCF 功能架構 96
4.1.3 DCF 選舉流程及優(yōu)化 96
4.1.4 DCF 日志復制流程 97
4.1.5 DCF 優(yōu)先級選主和策略化多數(shù)派 97
4.1.6 DCF 性能設計 98
4.1.7 DCF 日志與XLog 日志合一設計 99
4.1.8 DCF 異常場景處理 100
4.2 雙集群容災 101
4.3 邏輯復制 102
4.3.1 基本概念 103
4.3.2 邏輯復制槽 104
4.3.3 邏輯解碼 105
4.3.4 備機解碼 106
4.3.5 并行解碼 107
4.3.6 一致性解碼 107
4.3.7 分布式解碼 109
4.4 兩地三中心跨Region 容災 110
4.4.1 兩地三中心容災概述 110
4.4.2 異地容災部署示例 111
4.4.3 兩地三中心容災方案設計 112
4.4.4 容災搭建 113

第5章 數(shù)據(jù)庫高彈性關鍵技術 125
5.1 數(shù)據(jù)庫彈性擴容 125
5.2 Hashbucket 擴容 127
5.2.1 Hashbucket 概念 127
5.2.2 段頁式存儲技術 129
5.2.3 基于段頁式組織的Hashbucket 技術 133
5.2.4 Hashbucket 場景的超長字段實現(xiàn) 134
5.2.5 CBI 索引加速 136
5.2.6 支持Hashbucket 的優(yōu)化器 138
5.2.7 支持Hashbucket 的執(zhí)行器 140
5.2.8 Hashbucket 擴容流程 142
5.2.9 擴容中日志多流 149
5.2.10 擴容中事務處理 153
5.2.11 擴容中bucket 鎖 156
5.3 擴容實踐 157
5.3.1 擴容步驟 157
5.3.2 擴容期間的TPC-C 測試 158
5.3.3 擴容期間的sysbench 測試 159

第6章 數(shù)據(jù)庫高智能關鍵技術 161
6.1 數(shù)據(jù)庫智能化發(fā)展史 161
6.2 自治運維技術 162
6.2.1 智能監(jiān)測 164
6.2.2 趨勢預測 165
6.2.3 異常檢測 167
6.2.4 日志分析 170
6.2.5 慢SQL 發(fā)現(xiàn) 173
6.2.6 慢SQL 診斷 175
6.2.7 集群故障根因診斷 178
6.2.8 索引推薦 182
6.2.9 分布鍵推薦 185
6.2.10 參數(shù)調優(yōu) 188
6.3 庫內AI 引擎 189
6.3.1 機器學習算法的訓練和推理 190
6.3.2 模型管理 198
6.3.3 數(shù)據(jù)集管理 201
6.4 智能優(yōu)化器 206
6.4.1 智能基數(shù)估計 207
6.4.2 智能計劃管理 211
6.4.3 反饋自適應優(yōu)化器 214

第7章 數(shù)據(jù)庫高安全關鍵技術 215
7.1 安全整體架構 215
7.2 安全接入 217
7.2.1 身份標識 217
7.2.2 口令存儲 218
7.2.3 認證機制 220
7.2.4 Kerberos 安全認證 222
7.2.5 國密SSL 加密傳輸 224
7.3 角色與權限 225
7.3.1 對象權限管理 225
7.3.2 角色管理 226
7.3.3 系統(tǒng)權限管理 228
7.3.4 系統(tǒng)權限檢查 228
7.3.5 基于標簽的強制訪問控制 230
7.4 審計追蹤 235
7.4.1 傳統(tǒng)審計 235
7.4.2 統(tǒng)一審計 238
7.5 數(shù)據(jù)保護 242
7.5.1 動態(tài)數(shù)據(jù)脫敏 242
7.5.2 透明數(shù)據(jù)加密 251
7.6 全密態(tài)數(shù)據(jù)庫 260
7.6.1 軟硬融合全密態(tài) 262
7.6.2 端側加密引擎 263
7.6.3 端側密鑰管理 264
7.6.4 輕量化語法解析 266
7.7 防篡改數(shù)據(jù)庫 267
7.7.1 防篡改用戶表結構 267
7.7.2 用戶歷史表 268
7.7.3 全局區(qū)塊表結構 269
7.7.4 篡改校驗算法 269

第8章 GaussDB 易遷移關鍵技術 271
8.1 數(shù)據(jù)庫遷移概述 271
8.2 數(shù)據(jù)庫遷移預評估階段 271
8.2.1 源數(shù)據(jù)庫與新數(shù)據(jù)庫的主要差異評估 271
8.2.2 新數(shù)據(jù)庫兼容性評估 277
8.2.3 遷移必要性評估 277
8.3 規(guī)劃設計 278
8.3.1 業(yè)務與數(shù)據(jù)庫適配規(guī)劃設計 278
8.3.2 遷移步驟與遷移計劃的規(guī)劃設計 278
8.4 業(yè)務改造與測試 280
8.4.1 業(yè)務改造過程 280
8.4.2 業(yè)務測試過程 280
8.5 數(shù)據(jù)遷移 281
8.5.1 數(shù)據(jù)遷移設計 281
8.5.2 數(shù)據(jù)遷移執(zhí)行過程 282
8.6 上線割接 283
8.6.1 割接演練 283
8.6.2 正式割接 283
8.7 經驗總結 283

第9章 GaussDB 性能調優(yōu)指南 285
9.1 單SQL 性能調優(yōu) 285
9.1.1 表結構設計 285
9.1.2 索引設計 288
9.1.3 SQL 設計 289
9.1.4 執(zhí)行計劃 290
9.1.5 硬件資源 295
9.2 并發(fā)場景性能調優(yōu) 295
9.2.1 業(yè)務側瓶頸 295
9.2.2 不優(yōu)的SQL 296
9.2.3 并發(fā)時的鎖等待 299
9.2.4 硬件資源滿 300
9.2.5 數(shù)據(jù)庫參數(shù)配置 301
9.3 性能調優(yōu)案例 301
9.3.1 案例1：避免對條件列做處理（防止列的隱式轉換、函數(shù)處理） 301
9.3.2 案例2：選擇合理的組合索引列順序 304
9.3.3 案例3：選擇合適的分布列 305
9.3.4 案例4：增加join 列非空條件 307
9.3.5 案例5：合理使用分區(qū)表 309
9.3.6 案例6：改寫SQL 消除子查詢 310
9.3.7 案例7：調整查詢重寫GUC 參數(shù)rewrite_rule 311
9.3.8 案例8：使用DN Gather 減少計劃中的Stream 節(jié)點 320
9.3.9 案例9：通過監(jiān)控平臺進行慢SQL 診斷 335
9.3.10 案例10：通過等待事件分析瓶頸 336
9.3.11 案例11：避免長事務影響性能 336
9.3.12 案例12：通過歸一化視圖分析硬解析耗時場景 337
9.3.13 案例13：業(yè)務并發(fā)異常時段CPU 沖高問題分析 338
9.3.14 案例14：通過分析計劃調整內存參數(shù)避免臨時文件落盤 339
9.3.15 案例15：調整表的Vacuum 參數(shù)優(yōu)化查詢性能 340

第10章 高斯數(shù)據(jù)庫行業(yè)實踐 341
10.1 金融行業(yè) 341
10.1.1 金融行業(yè)數(shù)據(jù)庫現(xiàn)狀 341
10.1.2 金融案例：郵政儲蓄銀行核心系統(tǒng)國產化轉型實踐 342
10.1.3 金融案例：華夏銀行借記卡系統(tǒng)國產化改造實踐 346
10.1.4 金融案例：農業(yè)發(fā)展銀行信貸系統(tǒng)轉型建設實踐 347
10.1.5 金融案例：NY 銀行GaussDB 國產化轉型實踐 347
10.2 政府行業(yè) 348
10.2.1 政府行業(yè)數(shù)據(jù)庫現(xiàn)狀 348
10.2.2 政府案例：陜西財政云系統(tǒng)國產數(shù)字化轉型建設 349
10.2.3 政府案例：貴州人社就業(yè)系統(tǒng)國產化轉型實踐 350
10.3 制造行業(yè) 352
10.3.1 制造行業(yè)數(shù)據(jù)庫現(xiàn)狀 352
10.3.2 制造業(yè)案例：華為MetaERP 數(shù)字化轉型實踐 353
10.3.3 制造業(yè)案例：京東云openGauss 實現(xiàn)混合多云場景元數(shù)據(jù)存儲安全創(chuàng)新 355
10.3.4 制造業(yè)案例：openGauss 支撐比亞迪制造核心系統(tǒng)升級，性能整體提升50% 356
10.4 衛(wèi)生健康行業(yè) 357
10.4.1 衛(wèi)生健康行業(yè)數(shù)據(jù)庫現(xiàn)狀 357
10.4.2 衛(wèi)生健康案例：貴州省醫(yī)學檢查檢驗結果共享交換平臺轉型實踐 358
10.4.3 openGauss 助力南京市衛(wèi)生信息中心醫(yī)療行業(yè)信息化升級 358
10.5 電信行業(yè) 359
10.5.1 電信行業(yè)數(shù)據(jù)庫現(xiàn)狀 359
10.5.2 電信案例：中國移動在線基于openGauss 的數(shù)據(jù)庫自主創(chuàng)新替代實踐 360
10.5.3 電信案例：openGauss 助力中國聯(lián)通實現(xiàn)運營商資源可視化系統(tǒng)升級改造 361
10.5.4 電信案例：openGauss 助力浙江移動營銷系統(tǒng)執(zhí)行中心國產化轉型實踐 362
10.6 公路水運行業(yè) 363
10.6.1 公路水運行業(yè)數(shù)據(jù)庫現(xiàn)狀 363
10.6.2 公路水運案例：山東煙臺港數(shù)字化管控平臺建設實踐 364
10.6.3 公路水運案例：某交建保障數(shù)據(jù)安全，構建專屬數(shù)據(jù)支撐底座 365
10.7 能源行業(yè) 366
10.7.1 能源行業(yè)數(shù)據(jù)庫現(xiàn)狀 366
10.7.2 能源業(yè)案例：國網陜西用戶用電信息采集系統(tǒng)升級改造 367
10.8 水利行業(yè) 369
10.8.1 水利行業(yè)數(shù)據(jù)庫現(xiàn)狀 369
10.8.2 水利案例：徐州智慧水利系統(tǒng)數(shù)字化轉型實踐 370
10.9 廣電行業(yè) 372
10.9.1 廣電行業(yè)數(shù)據(jù)庫現(xiàn)狀 372
10.9.2 廣電案例：央廣網國產數(shù)據(jù)庫平滑遷移，綜合性能提升30% 373
10.10 教育行業(yè) 374
10.10.1 教育行業(yè)數(shù)據(jù)庫現(xiàn)狀 374
10.10.2 教育案例：學生發(fā)展中心學籍學歷信息管理平臺去O 驗證實踐 374
10.11 其他行業(yè) 376
10.11.1 民航行業(yè)數(shù)據(jù)庫現(xiàn)狀 376
10.11.2 郵政行業(yè)數(shù)據(jù)庫現(xiàn)狀 377
10.11.3 鐵路行業(yè)數(shù)據(jù)庫現(xiàn)狀 378