前言
第1部分 概述及數據處理
第1章 金融大數據應用概述/
1.1 金融大數據技術發(fā)展歷程/
1.2 大數據技術分類/
1.3 金融大數據技術應用場景/
第2章 數據采集/
2.1 數據采集業(yè)務場景/
2.2 存儲到HDFS的采集技術方案/
2.2.1 前端渠道用戶行為數據采集/
2.2.2 服務端應用層數據采集/
2.2.3 數據庫層的采集/
2.2.4 基于HDFS的數據采集整體架構/
2.3 T 0的采集技術方案/
2.3.1 T 0采集架構與基于HDFS的采集架構的不同點/
2.3.2 T 0采集架構在前端、后端以及數據庫端的設計/
2.3.3 T 0數據采集整體架構/
2.4 全域數據實時采集的技術挑戰(zhàn)/
2.5 實現全域數據實時采集的技術思路/
2.5.1 數據庫數據實時采集/
2.5.2 基于Flink的采集平臺和采集類型算子化/
2.5.3 如何保證實時采集鏈路數據的一致性/
2.6 全域數據實時采集的整體技術方案/
2.6.1 數據源層/
2.6.2 數據采集層/
2.6.3 數據存儲層/
2.6.4 如何選擇合適的采集模式/
2.7 本章小結/
第3章 數據離線處理/
3.1 數據離線處理業(yè)務場景/
3.2 數據離線處理架構的主要難點/
3.2.1 數據傳輸標準/
3.2.2 可以快速自由組合大數據處理動作的架構/
3.2.3 數據離線處理的整體技術架構/
3.2.4 數據離線處理各環(huán)節(jié)的技術要點/
3.3 企業(yè)級數據傳輸標準/
3.3.1 標準文件定義/
3.3.2 模型演進下的數據傳輸標準/
3.4 快速自由組合大數據作業(yè)流的架構要點/
3.4.1 大數據離線處理作業(yè)開發(fā)流程/
3.4.2 大數據離線處理作業(yè)開發(fā)流程技術要點/
3.5 數據離線處理整體架構要點/
3.5.1 大數據開發(fā)人員是寫代碼還是寫SQL語句/
3.5.2 是否使用單一的計算引擎/
3.5.3 如何解決事務的場景問題/
3.5.4 整體架構/
3.6 離線處理動作實現要點/
3.6.1 數據卸載/
3.6.2 數據傳輸/
3.6.3 數據預處理/
3.6.4 數據加載/
3.6.5 數據加工/
3.6.6 數據復制/
3.7 本章小結/
第4章 流式數據處理/
4.1 流式數據處理業(yè)務場景/
4.2 流式數據處理簡介/
4.2.1 什么是流式處理/
4.2.2 流計算和實時計算有什么區(qū)別/
4.2.3 流處理引擎/
4.2.4 引擎選型思路/
4.3 整體方案/
4.4 方案難點和解決思路/
4.4.1 如何處理延遲與亂序數據/
4.4.2 如何實現維表關聯(lián)/
4.4.3 計算結果存在哪里/
4.4.4 如何保證數據一致性/
4.5 運維注意事項/
4.5.1 監(jiān)控哪些指標/
4.5.2 優(yōu)化并行度/
4.5.3 做好數據補償的準備/
4.6 本章小結/
第2部分 數據使用
第5章 數據服務/
5.1 數據服務業(yè)務場景/
5.1.1 構建聯(lián)機同步數據服務的案例/
5.1.2 案例擴展/
5.1.3 數據服務的需求/
5.2 規(guī)劃的功能架構/
5.3 建設思路/
5.3.1 服務訪問代理層/
5.3.2 網關層/
5.3.3 服務管理層/
5.3.4 數據服務/
5.3.5 數據訪問代理（查詢引擎）/
5.4 整體架構和時序圖示例/
5.4.1 整體架構/
5.4.2 時序圖示例/
5.4.3 注意事項/
5.5 本章小結/
第6章 數據加速/
6.1 數據加速業(yè)務場景/
6.2 技術選型/
6.2.1 選型維度介紹/
6.2.2 ClickHouse、Kylin、Elasticsearch和Doris的對比/
6.2.3 ClickHouse和Doris的對比/
6.2.4 ClickHouse和Kylin的對比/
6.2.5 選型結論/
6.3 整體架構介紹/
6.3.1 功能架構介紹/
6.3.2 業(yè)務流程介紹/
6.4 基于ClickHouse的實戰(zhàn)介紹/
6.4.1 基于ClickHouse的數據鏈路/
6.4.2 ClickHouse部署架構/
6.4.3 部署規(guī)劃/
6.4.4 配置經驗/
6.5 基于Kylin的實戰(zhàn)介紹/
6.5.1 基于Kylin的數據鏈路/
6.5.2 配置經驗/
6.6 本章小結/
第3部分 數據治理
第7章 元數據管理/
7.1 元數據管理的業(yè)務背景/
7.1.1 元數據管理的目標/
7.1.2 元數據管理的功能需求/
7.2 詳細設計思路和實現方案/
7.2.1 元數據模型/
7.2.2 元數據存儲/
7.2.3 元數據采集與登記/
7.2.4 元數據設計與發(fā)布/
7.2.5 數據權限管理/
7.2.6 元數據應用/
7.3 整體技術架構介紹/
7.4 本章小結/
第8章 數據安全管理/
8.1 數據安全管理業(yè)務背景/
8.1.1 需求討論/
8.1.2 數據安全流程/
8.2 識別和脫敏的技術難點/
8.2.1 如何快速掃描和識別成千上萬張表/
8.2.2 如何即時解析用戶的SQL語句獲取查詢的表字段/
8.2.3 如何保存識別出來的數據保密等級/
8.3 識別大量數據/
8.3.1 識別數據的主要步驟和思路/
8.3.2 自動識別的技術方案/
8.4 動態(tài)脫敏的技術方案/
8.4.1 動態(tài)脫敏的主要流程/
8.4.2 使用Calcite解析SQL/
8.4.3 動態(tài)脫敏接口設計/
8.5 用MySQL保存識別出來的數據保密等級/
8.6 本章小結/
第9章 數據質量管理/
9.1 數據質量管理業(yè)務背景/
9.2 技術語言業(yè)務化/
9.2.1 完善數據字典/
9.2.2 元數據信息可視化/
9.2.3 檢核規(guī)則模板化/
9.3 數據技術檢核任務的自動化生成/
9.3.1 技術檢核的難點/
9.3.2 技術檢核任務的自動化/
9.4 大數據文件的檢核/
9.4.1 檢核數據方法/
9.4.2 大文件快速檢核技術實現方案/
9.4.3 方案的權衡點/
9.5 端到端的架構/
9.6 本章小結/
第4部分 數據部署與運維
第10章 大數據作業(yè)調度/
10.1 作業(yè)調度的技術難點/
10.1.1 架構設計/
10.1.2 作業(yè)編排/
10.1.3 資源管理/
10.1.4 作業(yè)監(jiān)控運維/
10.1.5 非功能要求/
10.2 作業(yè)調度整體架構/
10.2.1 經典兩層作業(yè)調度架構/
10.2.2 早期分布式作業(yè)調度架構/
10.2.3 基于MQ/Redis的分布式作業(yè)調度架構/
10.3 作業(yè)排程/
10.3.1 作業(yè)排程的主要步驟和思路/
10.3.2 基于Redis的智能化作業(yè)排程方案/
10.4 作業(yè)資源管理/
10.5 調度運維服務/
10.5.1 作業(yè)影響性分析/
10.5.2 故障診斷/
10.6 調度非功能設計/
10.6.1 性能/
10.6.2 可靠性/
10.7 業(yè)務使用效果及局限性總結/
10.8 作業(yè)調度發(fā)展趨勢與未來規(guī)劃/
10.9 本章小結/
第11章 大數據計算資源管理/
11.1 大數據計算資源管理業(yè)務場景/
11.1.1 資源管理業(yè)務背景/
11.1.2 資源類型/
11.1.3 大數據平臺資源規(guī)劃/
11.1.4 跨AZ資源管理/
11.1.5 資源使用監(jiān)控/
11.2 資源管理技術實現思路/
11.2.1 資源管理技術實現簡介/
11.2.2 基于Kubernetes的資源管理實現/
11.2.3 基于YARN的Hadoop資源管理實現/
11.3 資源管理解決方案設計/
11.3.1 資源管理整體流程/
11.3.2 資源管理整體實現架構/
11.3.3 資源管理中靈活資源配置場景介紹/
11.4 資源管理設計不足探討/
11.5 本章小結/
第12章 三態(tài)投產/
12.1 三態(tài)投產業(yè)務場景/
12.1.1 大數據三態(tài)/
12.1.2 常規(guī)軟件投產/
12.1.3 自研投產部署方案的技術難點/
12.2 解決思路/
12.2.1 要在三態(tài)中投產的大數據應用內容/
12.2.2 導入導出的范圍控制/
12.2.3 導入導出的性能問題/
12.2.4 制品和平臺及其組件版本的兼容性/
12.2.5 制品的數據完整性/
12.3 整體方案介紹/
12.3.1 整體架構/
12.3.2 方案要點/
12.4 本章小結/
第5部分 綜合應用場景
第13章 流批一體/
13.1 流批一體業(yè)務背景/
13.2 流批一體初步架構/
13.2.1 場景問題解決思路/
13.2.2 架構方案/
13.2.3 Lambda架構/
13.2.4 存在的問題/
13.3 流批同寫一張表的架構/
13.3.1 什么是流批同寫一張表/
13.3.2 技術選型/
13.3.3 Hudi原理介紹/
13.3.4 架構方案/
13.3.5 要點和技術難點/
13.3.6 待解決的問題/
13.3.7 使用效果/
13.4 處理層面的流批一體/
13.4.1 技術選型/
13.4.2 流批處理一體架構方案/
13.4.3 關于Kappa架構/
13.5 選擇什么樣的流批一體架構方案/
13.5.1 3種流批一體架構方案對比/
13.5.2 流批一體是否會取代流處理或批處理/
13.6 本章小結/
第14章 數據湖應用/
14.1 什么是數據湖/
14.2 為什么要建設數據湖/
14.3 數據湖的規(guī)劃設計/
14.3.1 數據湖和數據倉庫的區(qū)別與關系/
14.3.2 數據湖架構規(guī)劃/
14.4 數據湖的技術選型/
14.4.1 數據獲取/
14.4.2 數據存儲/
14.4.3 數據處理/
14.4.4 訪問分析/
14.4.5 數據管理/
14.5 數據湖的整體架構/
14.5.1 技術架構/
14.5.2 數據鏈路介紹/
14.6 數據湖建設中的問題/
14.7 本章小結/
第15章 建設自主可控的信創(chuàng)大數據平臺/
15.1 建設大數據平臺的業(yè)務背景/
15.1.1 為什么要建設大數據平臺/
15.1.2 建設大數據平臺的架構需求/
15.1.3 待解決的架構問題/
15.2 組件劃分及設計/
15.2.1 組件劃分/
15.2.2 各組件設計思路/
15.2.3 組件間協(xié)同/
15.3 信創(chuàng)適配/
15.3.1 什么是信創(chuàng)/
15.3.2 信創(chuàng)環(huán)境適配常見問題/
15.3.3 適配工作/
15.4 整體架構/
15.5 本章小結/
第16章 大數據發(fā)展趨勢與未來規(guī)劃/
16.1 大數據領域新技術的發(fā)展/
16.1.1 新型數據存儲與計算架構/
16.1.2 實時數據處理技術/
16.1.3 數據治理和安全隱私保護技術/
16.2 大數據與其他技術領域的融合發(fā)展/
16.2.1 大數據技術領域內部融合/
16.2.2 大數據與人工智能技術/
16.2.3 大數據與物聯(lián)網技術/
16.2.4 大數據與云原生技術/
16.3 技術人員的應對措施/
16.3.1 創(chuàng)新思維和跨界思維/
16.3.2 持續(xù)學習的態(tài)度/
16.3.3 關注技術的業(yè)務價值而不是技術本身/
16.4 大數據開發(fā)中的幾個誤區(qū)/
16.4.1 重技術不重業(yè)務/
16.4.2 重繼承不重創(chuàng)新/
16.4.3 重功能不重非功能/
16.4.4 技術上重深度不重廣度/
后記/