第 1章　數(shù)字化與信息化

1.1　數(shù)據(jù)與信息1

1.2　數(shù)據(jù)處理的起源2

1.3　數(shù)字化的數(shù)據(jù)處理3

1.3.1　從機(jī)械化到數(shù)字化4

1.3.2　從數(shù)據(jù)處理到信息系統(tǒng)7

1.3.3　面向記錄事務(wù)的數(shù)據(jù)管理9

1.4　數(shù)據(jù)管理與分析12

1.5　商業(yè)智能與數(shù)據(jù)科學(xué)14

1.6　數(shù)據(jù)可視化16

1.7　現(xiàn)代企業(yè)數(shù)據(jù)組織19

1.7.1　數(shù)據(jù)工程師20

1.7.2　數(shù)據(jù)分析師21

1.7.3　數(shù)據(jù)科學(xué)家22

1.7.4　數(shù)據(jù)管理人員23

第 2章　數(shù)據(jù)價(jià)值的創(chuàng)造路徑

2.1　數(shù)據(jù)分析創(chuàng)造價(jià)值24

2.1.1　企業(yè)數(shù)據(jù)價(jià)值創(chuàng)造的階段化路徑24

2.1.2　國(guó)內(nèi)數(shù)字化的行業(yè)觀察27

2.2　數(shù)據(jù)價(jià)值：數(shù)字化決策30

2.2.1　運(yùn)營(yíng)管理的數(shù)字化30

2.2.2　風(fēng)險(xiǎn)管理的數(shù)字化32

2.2.3　營(yíng)銷獲客的數(shù)字化34

2.3　數(shù)據(jù)價(jià)值：業(yè)務(wù)創(chuàng)新37

2.3.1　線下業(yè)務(wù)轉(zhuǎn)線上37

2.3.2　監(jiān)管的數(shù)字化39

2.4　數(shù)據(jù)價(jià)值：推動(dòng)AI變革42

2.4.1　ImageNet42

2.4.2　數(shù)字療法43

2.5　數(shù)據(jù)價(jià)值創(chuàng)造的組織保障44

2.5.1　數(shù)據(jù)管理團(tuán)隊(duì)能力建設(shè)47

2.5.2　數(shù)據(jù)產(chǎn)品團(tuán)隊(duì)能力建設(shè)48

2.5.3　數(shù)據(jù)底座團(tuán)隊(duì)能力建設(shè)49

第3章　數(shù)據(jù)管理的方法與技術(shù)

3.1　數(shù)據(jù)資產(chǎn)管理51

3.1.1　數(shù)據(jù)模型管理52

3.1.2　數(shù)據(jù)標(biāo)準(zhǔn)管理55

3.1.3　數(shù)據(jù)質(zhì)量管理57

3.1.4　主數(shù)據(jù)管理59

3.1.5　元數(shù)據(jù)管理61

3.1.6　數(shù)據(jù)安全管理63

3.1.7　數(shù)據(jù)資產(chǎn)管理平臺(tái)65

3.2　數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)69

3.2.1　數(shù)據(jù)可視化69

3.2.2　商業(yè)智能71

3.2.3　數(shù)據(jù)洞察73

3.2.4　數(shù)據(jù)標(biāo)簽74

3.2.5　數(shù)據(jù)指標(biāo)76

3.2.6　數(shù)據(jù)資產(chǎn)盤點(diǎn)與編目77

3.2.7　數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)平臺(tái)80

3.3　數(shù)據(jù)平臺(tái)架構(gòu)82

3.3.1　數(shù)據(jù)倉庫82

3.3.2　數(shù)據(jù)湖86

3.3.3　數(shù)據(jù)集市89

3.3.4　數(shù)據(jù)中臺(tái)90

3.4　中國(guó)聯(lián)通的數(shù)據(jù)運(yùn)營(yíng)體系93

3.4.1　數(shù)據(jù)運(yùn)營(yíng)體系的建設(shè)由來93

3.4.2　數(shù)據(jù)運(yùn)營(yíng)的規(guī)范統(tǒng)一94

3.4.3　統(tǒng)一工具支撐“一體化運(yùn)營(yíng)”94

3.4.4　“一套數(shù)據(jù)管理體系”

　　　保障數(shù)據(jù)供給95

第4章　數(shù)據(jù)要素價(jià)值化的路徑探索

4.1　數(shù)據(jù)要素：數(shù)據(jù)價(jià)值的產(chǎn)業(yè)化98

4.1.1　數(shù)據(jù)要素×醫(yī)療健康98

4.1.2　數(shù)據(jù)要素×金融服務(wù)101

4.1.3　數(shù)據(jù)要素×智慧農(nóng)業(yè)103

4.1.4　數(shù)據(jù)要素×氣象服務(wù)104

4.2　數(shù)據(jù)要素的基礎(chǔ)體系106

4.2.1　數(shù)據(jù)基礎(chǔ)設(shè)施106

4.2.2　數(shù)據(jù)基礎(chǔ)制度108

4.3　可信數(shù)據(jù)流通技術(shù)110

4.3.1　數(shù)據(jù)空間110

4.3.2　其他技術(shù)路徑115

4.4　數(shù)據(jù)資產(chǎn)入表118

4.4.1　數(shù)據(jù)資產(chǎn)的確認(rèn)118

4.4.2　數(shù)據(jù)資產(chǎn)的會(huì)計(jì)計(jì)量120

4.4.3　數(shù)據(jù)資源入表管理平臺(tái)121

第5章　數(shù)據(jù)底座的技術(shù)與實(shí)踐

5.1　數(shù)據(jù)底座的架構(gòu)要求124

5.1.1　數(shù)據(jù)底座的能力要求124

5.1.2　數(shù)據(jù)底座的核心功能126

5.2　分布式存儲(chǔ)技術(shù)128

5.2.1　分布式文件存儲(chǔ)HDFS130

5.2.2　對(duì)象存儲(chǔ)Ceph131

5.2.3　寬表存儲(chǔ)HBase132

5.2.4　文檔搜索引擎Elasticsearch135

5.3　分布式計(jì)算技術(shù)137

5.3.1　MapReduce140

5.3.2　Spark142

5.3.3　Presto145

5.4　分布式資源管理技術(shù)147

5.5　分析型數(shù)據(jù)庫151

5.5.1　MPP數(shù)據(jù)庫152

5.5.2　分布式分析型數(shù)據(jù)庫155

5.5.3　分析型數(shù)據(jù)庫的評(píng)價(jià)158

5.6　數(shù)據(jù)聯(lián)邦162

5.7　湖倉一體架構(gòu)165

5.7.1　Hudi166

5.7.2　Iceberg168

5.7.3　Delta Lake171

5.8　流批一體架構(gòu)172

5.8.1　Lambda架構(gòu)173

5.8.2　Kappa架構(gòu)174

5.8.3　Flink176

5.9　存算分離架構(gòu)177

5.9.1　基于云存儲(chǔ)的存算分離179

5.9.2　基于本地存儲(chǔ)的存算分離180

5.10　中國(guó)聯(lián)通集團(tuán)的數(shù)據(jù)底座建設(shè)183

5.10.1　大數(shù)據(jù)技術(shù)架構(gòu)183

5.10.2　數(shù)據(jù)平臺(tái)架構(gòu)188

第6章　數(shù)據(jù)與AI的融合

6.1　推薦系統(tǒng)191

6.1.1　協(xié)同過濾192

6.1.2　內(nèi)容過濾193

6.1.3　基于向量的近鄰召回的推薦系統(tǒng)193

6.1.4　基于點(diǎn)擊率預(yù)估模型的推薦系統(tǒng)194

6.2　基于LLM的數(shù)據(jù)治理與分析195

6.2.1　智能化數(shù)據(jù)治理195

6.2.2　基于LLM的數(shù)據(jù)分析199

6.3　數(shù)據(jù)標(biāo)注200

6.4　向量數(shù)據(jù)庫202

6.4.1　特征與向量203

6.4.2　相似度的度量204

6.4.3　向量檢索的召回率與準(zhǔn)確率205

6.4.4　向量檢索與索引技術(shù)206

6.5　知識(shí)圖譜211

6.5.1　知識(shí)的表示方法212

6.5.2　知識(shí)抽取與推理技術(shù)213

6.5.3　知識(shí)存儲(chǔ)與圖模型215

6.5.4　圖數(shù)據(jù)庫與圖計(jì)算技術(shù)216

6.6　AI數(shù)據(jù)安全的挑戰(zhàn)與防護(hù)技術(shù)217

6.6.1　對(duì)抗樣本攻擊與防御218

6.6.2　數(shù)據(jù)投毒攻擊與防御219

6.6.3　后門攻擊與防御220

6.6.4　預(yù)訓(xùn)練大模型的數(shù)據(jù)風(fēng)險(xiǎn)221

第7章　企業(yè)AI應(yīng)用的方法論與知識(shí)融合

7.1　通用模型、推理模型與智能體223

7.1.1　通用模型223

7.1.2　推理模型224

7.1.3　智能體224

7.1.4　典型案例：DeepSeek大模型226

7.2　企業(yè)AI應(yīng)用落地方法論227

7.2.1　企業(yè)AI應(yīng)用落地條件227

7.2.2　企業(yè)AI落地場(chǎng)景228

7.2.3　企業(yè)AI場(chǎng)景實(shí)踐案例229

7.3　大模型與企業(yè)知識(shí)融合229

7.3.1　大模型數(shù)據(jù)調(diào)優(yōu)難題：Demo與上線的差距229

7.3.2　LLM的知識(shí)機(jī)制230

7.3.3　企業(yè)AI應(yīng)用的基礎(chǔ)設(shè)施只需要DeepSeek嗎231

7.4　知識(shí)工程中的大模型應(yīng)用233

7.4.1　大模型參數(shù)差異與NER任務(wù)的影響233

7.4.2　知識(shí)增強(qiáng)對(duì)實(shí)體識(shí)別的優(yōu)化234

7.4.3　易混淆知識(shí)的識(shí)別策略236

7.4.4　知識(shí)長(zhǎng)度與識(shí)別準(zhǔn)確率的關(guān)系238

7.4.5　推理能力對(duì)大模型識(shí)別效果的影響240

7.4.6　大模型驅(qū)動(dòng)的知識(shí)工程流水線242

第8章　數(shù)據(jù)領(lǐng)域技術(shù)趨勢(shì)與思考

8.1　數(shù)據(jù)技術(shù)的自主可控245

8.2　開源技術(shù)的發(fā)展與挑戰(zhàn)247

8.3　數(shù)據(jù)中臺(tái)的發(fā)展歷程與思考251

8.4　數(shù)據(jù)編織技術(shù)的原理與展望253