第 一篇 理論篇

第 1章 分布式存儲(chǔ)概述 3

1.1 存儲(chǔ)系統(tǒng)的架構(gòu)演進(jìn) 4

1.1.1 集中式存儲(chǔ)系統(tǒng) 6

1.1.2 分布式存儲(chǔ)系統(tǒng) 7

1.2 各主流分布式方案對(duì)比 10

1.2.1 有中心架構(gòu) 11

1.2.2 無(wú)中心架構(gòu) 12

1.3 Ceph的發(fā)展歷程 17

1.3.1 Ceph的起源與發(fā)展 17

1.3.2 Ceph的版本信息 18

1.4 小結(jié) 20

第 2章 Ceph架構(gòu) 21

2.1 數(shù)據(jù)尋址方案 22

2.1.1 查表型尋址方式 22

2.1.2 計(jì)算型尋址方式 23

2.1.3 鹿死誰(shuí)手，猶未可知 24

2.2 Ceph數(shù)據(jù)尋址 24

2.2.1 Ceph尋址流程 25

2.2.2 CRUSH算法因子 27

2.2.3 Bucket隨機(jī)選擇算法 33

2.3 Ceph的歸置組 39

2.3.1 PG數(shù)量的選擇 39

2.3.2 PG的狀態(tài)機(jī) 40

2.4 小結(jié) 45

第3章 接入層 46

3.1 塊存儲(chǔ)RBD 46

3.1.1 塊設(shè)備映射 46

3.1.2 快照與克隆 49

3.1.3 遠(yuǎn)程復(fù)制 53

3.1.4 RBD Cache 58

3.1.5 QoS 62

3.1.6 Burst I/O 72

3.1.7 未來(lái)展望 74

3.2 對(duì)象存儲(chǔ)RGW 75

3.2.1 對(duì)象存儲(chǔ)和S3 75

3.2.2 RGW架構(gòu) 79

3.2.3 I/O路徑 82

3.2.4 元數(shù)據(jù)/數(shù)據(jù)布局 84

3.2.5 元數(shù)據(jù)/數(shù)據(jù)同步 100

3.2.6 未來(lái)展望 108

3.3 文件存儲(chǔ)CephFS 110

3.3.1 MDS設(shè)計(jì)原理 110

3.3.2 CephFS訪問(wèn)方式 114

3.3.3 CephFS高級(jí)特性 118

3.3.4 未來(lái)展望 125

第4章 存儲(chǔ)層 127

4.1 Monitor 128

4.1.1 背景 128

4.1.2 具體實(shí)現(xiàn) 128

4.1.3 一致性算法與Paxos介紹 130

4.1.4 小結(jié) 138

4.2 OSD 138

4.2.1 單機(jī)存儲(chǔ)引擎 138

4.2.2 網(wǎng)絡(luò)通信機(jī)制 147

4.2.3 流控機(jī)制 153

4.2.4 安全性 154



第二篇 實(shí)踐篇

第5章 解決方案 159

5.1 集群管理與監(jiān)控 160

5.1.1 當(dāng)前Ceph存儲(chǔ)系統(tǒng)的故障抵御能力 160

5.1.2 亞健康問(wèn)題 161

5.1.3 服務(wù)器監(jiān)控交換機(jī)異常 163

5.1.4 性能管理 164

5.2 性能與成本 165

5.2.1 低成本冷存儲(chǔ) 166

5.2.2 高性能存儲(chǔ) 170

5.2.3 緩存層 172

5.3 ARM服務(wù)器存儲(chǔ)集群調(diào)優(yōu)實(shí)踐 179

5.3.1 華為泰山ARM服務(wù)器簡(jiǎn)介 179

5.3.2 性能優(yōu)化方向 179

5.3.3 小結(jié) 187

5.4 負(fù)載均衡方案 187

5.4.1 常用負(fù)載均衡方案介紹 187

5.4.2 負(fù)載均衡方案實(shí)踐 189

5.5 RGW GC回收與容量調(diào)度 191

5.5.1 概述 191

5.5.2 涉及的概念 191

5.5.3 垃圾回收調(diào)度的設(shè)計(jì)和實(shí)現(xiàn) 192

5.6 OpenStack-Cinder-Backup Driver優(yōu)化 194

5.6.1 OpenStack-Cinder-Backup介紹 194

5.6.2 OpenStack-Cinder-Backup優(yōu)化 195

5.6.3 小結(jié) 200

第6章 常見(jiàn)問(wèn)題 201

6.1 集群容量問(wèn)題 202

6.1.1 集群容量丟失問(wèn)題 202

6.1.2 PG均衡問(wèn)題 217

6.2 時(shí)間調(diào)整問(wèn)題 222

6.2.1 時(shí)鐘同步要求 222

6.2.2 Ceph心跳檢測(cè) 223

6.2.3 管理系統(tǒng)時(shí)間同步邏輯 225

6.3 大規(guī)模應(yīng)用場(chǎng)景參數(shù)配置問(wèn)題 228

6.3.1 PG分裂問(wèn)題 228

6.3.2 對(duì)象存儲(chǔ)元數(shù)據(jù)集群shard分片問(wèn)題 230

6.3.3 BlueStore rocksdb slow disk space問(wèn)題 235



附錄 技術(shù)術(shù)語(yǔ)表 239