前言
第1部分 概述及數(shù)據(jù)處理
第1章 金融大數(shù)據(jù)應(yīng)用概述/
1.1 金融大數(shù)據(jù)技術(shù)發(fā)展歷程/
1.2 大數(shù)據(jù)技術(shù)分類/
1.3 金融大數(shù)據(jù)技術(shù)應(yīng)用場景/
第2章 數(shù)據(jù)采集/
2.1 數(shù)據(jù)采集業(yè)務(wù)場景/
2.2 存儲到HDFS的采集技術(shù)方案/
2.2.1 前端渠道用戶行為數(shù)據(jù)采集/
2.2.2 服務(wù)端應(yīng)用層數(shù)據(jù)采集/
2.2.3 數(shù)據(jù)庫層的采集/
2.2.4 基于HDFS的數(shù)據(jù)采集整體架構(gòu)/
2.3 T 0的采集技術(shù)方案/
2.3.1 T 0采集架構(gòu)與基于HDFS的采集架構(gòu)的不同點/
2.3.2 T 0采集架構(gòu)在前端、后端以及數(shù)據(jù)庫端的設(shè)計/
2.3.3 T 0數(shù)據(jù)采集整體架構(gòu)/
2.4 全域數(shù)據(jù)實時采集的技術(shù)挑戰(zhàn)/
2.5 實現(xiàn)全域數(shù)據(jù)實時采集的技術(shù)思路/
2.5.1 數(shù)據(jù)庫數(shù)據(jù)實時采集/
2.5.2 基于Flink的采集平臺和采集類型算子化/
2.5.3 如何保證實時采集鏈路數(shù)據(jù)的一致性/
2.6 全域數(shù)據(jù)實時采集的整體技術(shù)方案/
2.6.1 數(shù)據(jù)源層/
2.6.2 數(shù)據(jù)采集層/
2.6.3 數(shù)據(jù)存儲層/
2.6.4 如何選擇合適的采集模式/
2.7 本章小結(jié)/
第3章 數(shù)據(jù)離線處理/
3.1 數(shù)據(jù)離線處理業(yè)務(wù)場景/
3.2 數(shù)據(jù)離線處理架構(gòu)的主要難點/
3.2.1 數(shù)據(jù)傳輸標準/
3.2.2 可以快速自由組合大數(shù)據(jù)處理動作的架構(gòu)/
3.2.3 數(shù)據(jù)離線處理的整體技術(shù)架構(gòu)/
3.2.4 數(shù)據(jù)離線處理各環(huán)節(jié)的技術(shù)要點/
3.3 企業(yè)級數(shù)據(jù)傳輸標準/
3.3.1 標準文件定義/
3.3.2 模型演進下的數(shù)據(jù)傳輸標準/
3.4 快速自由組合大數(shù)據(jù)作業(yè)流的架構(gòu)要點/
3.4.1 大數(shù)據(jù)離線處理作業(yè)開發(fā)流程/
3.4.2 大數(shù)據(jù)離線處理作業(yè)開發(fā)流程技術(shù)要點/
3.5 數(shù)據(jù)離線處理整體架構(gòu)要點/
3.5.1 大數(shù)據(jù)開發(fā)人員是寫代碼還是寫SQL語句/
3.5.2 是否使用單一的計算引擎/
3.5.3 如何解決事務(wù)的場景問題/
3.5.4 整體架構(gòu)/
3.6 離線處理動作實現(xiàn)要點/
3.6.1 數(shù)據(jù)卸載/
3.6.2 數(shù)據(jù)傳輸/
3.6.3 數(shù)據(jù)預處理/
3.6.4 數(shù)據(jù)加載/
3.6.5 數(shù)據(jù)加工/
3.6.6 數(shù)據(jù)復制/
3.7 本章小結(jié)/
第4章 流式數(shù)據(jù)處理/
4.1 流式數(shù)據(jù)處理業(yè)務(wù)場景/
4.2 流式數(shù)據(jù)處理簡介/
4.2.1 什么是流式處理/
4.2.2 流計算和實時計算有什么區(qū)別/
4.2.3 流處理引擎/
4.2.4 引擎選型思路/
4.3 整體方案/
4.4 方案難點和解決思路/
4.4.1 如何處理延遲與亂序數(shù)據(jù)/
4.4.2 如何實現(xiàn)維表關(guān)聯(lián)/
4.4.3 計算結(jié)果存在哪里/
4.4.4 如何保證數(shù)據(jù)一致性/
4.5 運維注意事項/
4.5.1 監(jiān)控哪些指標/
4.5.2 優(yōu)化并行度/
4.5.3 做好數(shù)據(jù)補償?shù)臏蕚?
4.6 本章小結(jié)/
第2部分 數(shù)據(jù)使用
第5章 數(shù)據(jù)服務(wù)/
5.1 數(shù)據(jù)服務(wù)業(yè)務(wù)場景/
5.1.1 構(gòu)建聯(lián)機同步數(shù)據(jù)服務(wù)的案例/
5.1.2 案例擴展/
5.1.3 數(shù)據(jù)服務(wù)的需求/
5.2 規(guī)劃的功能架構(gòu)/
5.3 建設(shè)思路/
5.3.1 服務(wù)訪問代理層/
5.3.2 網(wǎng)關(guān)層/
5.3.3 服務(wù)管理層/
5.3.4 數(shù)據(jù)服務(wù)/
5.3.5 數(shù)據(jù)訪問代理（查詢引擎）/
5.4 整體架構(gòu)和時序圖示例/
5.4.1 整體架構(gòu)/
5.4.2 時序圖示例/
5.4.3 注意事項/
5.5 本章小結(jié)/
第6章 數(shù)據(jù)加速/
6.1 數(shù)據(jù)加速業(yè)務(wù)場景/
6.2 技術(shù)選型/
6.2.1 選型維度介紹/
6.2.2 ClickHouse、Kylin、Elasticsearch和Doris的對比/
6.2.3 ClickHouse和Doris的對比/
6.2.4 ClickHouse和Kylin的對比/
6.2.5 選型結(jié)論/
6.3 整體架構(gòu)介紹/
6.3.1 功能架構(gòu)介紹/
6.3.2 業(yè)務(wù)流程介紹/
6.4 基于ClickHouse的實戰(zhàn)介紹/
6.4.1 基于ClickHouse的數(shù)據(jù)鏈路/
6.4.2 ClickHouse部署架構(gòu)/
6.4.3 部署規(guī)劃/
6.4.4 配置經(jīng)驗/
6.5 基于Kylin的實戰(zhàn)介紹/
6.5.1 基于Kylin的數(shù)據(jù)鏈路/
6.5.2 配置經(jīng)驗/
6.6 本章小結(jié)/
第3部分 數(shù)據(jù)治理
第7章 元數(shù)據(jù)管理/
7.1 元數(shù)據(jù)管理的業(yè)務(wù)背景/
7.1.1 元數(shù)據(jù)管理的目標/
7.1.2 元數(shù)據(jù)管理的功能需求/
7.2 詳細設(shè)計思路和實現(xiàn)方案/
7.2.1 元數(shù)據(jù)模型/
7.2.2 元數(shù)據(jù)存儲/
7.2.3 元數(shù)據(jù)采集與登記/
7.2.4 元數(shù)據(jù)設(shè)計與發(fā)布/
7.2.5 數(shù)據(jù)權(quán)限管理/
7.2.6 元數(shù)據(jù)應(yīng)用/
7.3 整體技術(shù)架構(gòu)介紹/
7.4 本章小結(jié)/
第8章 數(shù)據(jù)安全管理/
8.1 數(shù)據(jù)安全管理業(yè)務(wù)背景/
8.1.1 需求討論/
8.1.2 數(shù)據(jù)安全流程/
8.2 識別和脫敏的技術(shù)難點/
8.2.1 如何快速掃描和識別成千上萬張表/
8.2.2 如何即時解析用戶的SQL語句獲取查詢的表字段/
8.2.3 如何保存識別出來的數(shù)據(jù)保密等級/
8.3 識別大量數(shù)據(jù)/
8.3.1 識別數(shù)據(jù)的主要步驟和思路/
8.3.2 自動識別的技術(shù)方案/
8.4 動態(tài)脫敏的技術(shù)方案/
8.4.1 動態(tài)脫敏的主要流程/
8.4.2 使用Calcite解析SQL/
8.4.3 動態(tài)脫敏接口設(shè)計/
8.5 用MySQL保存識別出來的數(shù)據(jù)保密等級/
8.6 本章小結(jié)/
第9章 數(shù)據(jù)質(zhì)量管理/
9.1 數(shù)據(jù)質(zhì)量管理業(yè)務(wù)背景/
9.2 技術(shù)語言業(yè)務(wù)化/
9.2.1 完善數(shù)據(jù)字典/
9.2.2 元數(shù)據(jù)信息可視化/
9.2.3 檢核規(guī)則模板化/
9.3 數(shù)據(jù)技術(shù)檢核任務(wù)的自動化生成/
9.3.1 技術(shù)檢核的難點/
9.3.2 技術(shù)檢核任務(wù)的自動化/
9.4 大數(shù)據(jù)文件的檢核/
9.4.1 檢核數(shù)據(jù)方法/
9.4.2 大文件快速檢核技術(shù)實現(xiàn)方案/
9.4.3 方案的權(quán)衡點/
9.5 端到端的架構(gòu)/
9.6 本章小結(jié)/
第4部分 數(shù)據(jù)部署與運維
第10章 大數(shù)據(jù)作業(yè)調(diào)度/
10.1 作業(yè)調(diào)度的技術(shù)難點/
10.1.1 架構(gòu)設(shè)計/
10.1.2 作業(yè)編排/
10.1.3 資源管理/
10.1.4 作業(yè)監(jiān)控運維/
10.1.5 非功能要求/
10.2 作業(yè)調(diào)度整體架構(gòu)/
10.2.1 經(jīng)典兩層作業(yè)調(diào)度架構(gòu)/
10.2.2 早期分布式作業(yè)調(diào)度架構(gòu)/
10.2.3 基于MQ/Redis的分布式作業(yè)調(diào)度架構(gòu)/
10.3 作業(yè)排程/
10.3.1 作業(yè)排程的主要步驟和思路/
10.3.2 基于Redis的智能化作業(yè)排程方案/
10.4 作業(yè)資源管理/
10.5 調(diào)度運維服務(wù)/
10.5.1 作業(yè)影響性分析/
10.5.2 故障診斷/
10.6 調(diào)度非功能設(shè)計/
10.6.1 性能/
10.6.2 可靠性/
10.7 業(yè)務(wù)使用效果及局限性總結(jié)/
10.8 作業(yè)調(diào)度發(fā)展趨勢與未來規(guī)劃/
10.9 本章小結(jié)/
第11章 大數(shù)據(jù)計算資源管理/
11.1 大數(shù)據(jù)計算資源管理業(yè)務(wù)場景/
11.1.1 資源管理業(yè)務(wù)背景/
11.1.2 資源類型/
11.1.3 大數(shù)據(jù)平臺資源規(guī)劃/
11.1.4 跨AZ資源管理/
11.1.5 資源使用監(jiān)控/
11.2 資源管理技術(shù)實現(xiàn)思路/
11.2.1 資源管理技術(shù)實現(xiàn)簡介/
11.2.2 基于Kubernetes的資源管理實現(xiàn)/
11.2.3 基于YARN的Hadoop資源管理實現(xiàn)/
11.3 資源管理解決方案設(shè)計/
11.3.1 資源管理整體流程/
11.3.2 資源管理整體實現(xiàn)架構(gòu)/
11.3.3 資源管理中靈活資源配置場景介紹/
11.4 資源管理設(shè)計不足探討/
11.5 本章小結(jié)/
第12章 三態(tài)投產(chǎn)/
12.1 三態(tài)投產(chǎn)業(yè)務(wù)場景/
12.1.1 大數(shù)據(jù)三態(tài)/
12.1.2 常規(guī)軟件投產(chǎn)/
12.1.3 自研投產(chǎn)部署方案的技術(shù)難點/
12.2 解決思路/
12.2.1 要在三態(tài)中投產(chǎn)的大數(shù)據(jù)應(yīng)用內(nèi)容/
12.2.2 導入導出的范圍控制/
12.2.3 導入導出的性能問題/
12.2.4 制品和平臺及其組件版本的兼容性/
12.2.5 制品的數(shù)據(jù)完整性/
12.3 整體方案介紹/
12.3.1 整體架構(gòu)/
12.3.2 方案要點/
12.4 本章小結(jié)/
第5部分 綜合應(yīng)用場景
第13章 流批一體/
13.1 流批一體業(yè)務(wù)背景/
13.2 流批一體初步架構(gòu)/
13.2.1 場景問題解決思路/
13.2.2 架構(gòu)方案/
13.2.3 Lambda架構(gòu)/
13.2.4 存在的問題/
13.3 流批同寫一張表的架構(gòu)/
13.3.1 什么是流批同寫一張表/
13.3.2 技術(shù)選型/
13.3.3 Hudi原理介紹/
13.3.4 架構(gòu)方案/
13.3.5 要點和技術(shù)難點/
13.3.6 待解決的問題/
13.3.7 使用效果/
13.4 處理層面的流批一體/
13.4.1 技術(shù)選型/
13.4.2 流批處理一體架構(gòu)方案/
13.4.3 關(guān)于Kappa架構(gòu)/
13.5 選擇什么樣的流批一體架構(gòu)方案/
13.5.1 3種流批一體架構(gòu)方案對比/
13.5.2 流批一體是否會取代流處理或批處理/
13.6 本章小結(jié)/
第14章 數(shù)據(jù)湖應(yīng)用/
14.1 什么是數(shù)據(jù)湖/
14.2 為什么要建設(shè)數(shù)據(jù)湖/
14.3 數(shù)據(jù)湖的規(guī)劃設(shè)計/
14.3.1 數(shù)據(jù)湖和數(shù)據(jù)倉庫的區(qū)別與關(guān)系/
14.3.2 數(shù)據(jù)湖架構(gòu)規(guī)劃/
14.4 數(shù)據(jù)湖的技術(shù)選型/
14.4.1 數(shù)據(jù)獲取/
14.4.2 數(shù)據(jù)存儲/
14.4.3 數(shù)據(jù)處理/
14.4.4 訪問分析/
14.4.5 數(shù)據(jù)管理/
14.5 數(shù)據(jù)湖的整體架構(gòu)/
14.5.1 技術(shù)架構(gòu)/
14.5.2 數(shù)據(jù)鏈路介紹/
14.6 數(shù)據(jù)湖建設(shè)中的問題/
14.7 本章小結(jié)/
第15章 建設(shè)自主可控的信創(chuàng)大數(shù)據(jù)平臺/
15.1 建設(shè)大數(shù)據(jù)平臺的業(yè)務(wù)背景/
15.1.1 為什么要建設(shè)大數(shù)據(jù)平臺/
15.1.2 建設(shè)大數(shù)據(jù)平臺的架構(gòu)需求/
15.1.3 待解決的架構(gòu)問題/
15.2 組件劃分及設(shè)計/
15.2.1 組件劃分/
15.2.2 各組件設(shè)計思路/
15.2.3 組件間協(xié)同/
15.3 信創(chuàng)適配/
15.3.1 什么是信創(chuàng)/
15.3.2 信創(chuàng)環(huán)境適配常見問題/
15.3.3 適配工作/
15.4 整體架構(gòu)/
15.5 本章小結(jié)/
第16章 大數(shù)據(jù)發(fā)展趨勢與未來規(guī)劃/
16.1 大數(shù)據(jù)領(lǐng)域新技術(shù)的發(fā)展/
16.1.1 新型數(shù)據(jù)存儲與計算架構(gòu)/
16.1.2 實時數(shù)據(jù)處理技術(shù)/
16.1.3 數(shù)據(jù)治理和安全隱私保護技術(shù)/
16.2 大數(shù)據(jù)與其他技術(shù)領(lǐng)域的融合發(fā)展/
16.2.1 大數(shù)據(jù)技術(shù)領(lǐng)域內(nèi)部融合/
16.2.2 大數(shù)據(jù)與人工智能技術(shù)/
16.2.3 大數(shù)據(jù)與物聯(lián)網(wǎng)技術(shù)/
16.2.4 大數(shù)據(jù)與云原生技術(shù)/
16.3 技術(shù)人員的應(yīng)對措施/
16.3.1 創(chuàng)新思維和跨界思維/
16.3.2 持續(xù)學習的態(tài)度/
16.3.3 關(guān)注技術(shù)的業(yè)務(wù)價值而不是技術(shù)本身/
16.4 大數(shù)據(jù)開發(fā)中的幾個誤區(qū)/
16.4.1 重技術(shù)不重業(yè)務(wù)/
16.4.2 重繼承不重創(chuàng)新/
16.4.3 重功能不重非功能/
16.4.4 技術(shù)上重深度不重廣度/
后記/