企業(yè)級數據架構：核心要素、架構模型、數據管理與平臺搭建

定　價：￥99.00

作　者：	李楊
出版社：	機械工業(yè)出版社
叢編項：
標　簽：	暫缺

購買這本書可以去

當當網 (￥74.20)

ISBN：	9787111746829	出版時間：	2024-03-01	包裝：	平裝-膠訂
開本：	16開	頁數：		字數：

內容簡介

　　這是一本能指導企業(yè)在數字化轉型和數據要素時代通過數據架構用好數據、管好數據、充分發(fā)揮數據價值的著作。從0到1講解了數據架構的技術棧、方法論與落地實踐，揭示了數據架構的底層邏輯，總結了數據架構的核心要素和架構模型，闡述了數據治理、數據資產管理以及數據平臺的搭建等全方位的內容，是作者10余年數據工作經驗的總結。本書主要分為五部分：第一部分：架構基礎，對企業(yè)架構的組成要素以及流行的企業(yè)架構框架進行了總覽性質的介紹，數據架構是重點；第二部分：數據架構基礎，詳細講解了數據架構的組成、數據存儲、數據調度與消息傳輸、Lambda架構和Kappa架構以及數據架構的輔助資源組件；第三部分：數據架構模型，首先介紹了企業(yè)內部數據區(qū)的劃分與內部數據的流向，然后講解了數據模型的建模策略、步驟和方法，以及維度建模的詳細內容；第四部分：數據管理，講解了數據架構的核心內容，包括元數據管理、數據質量管理、數據標準管理、數據治理和數據資產管理等的方法和實踐；第五部分：數據架構實踐，通過離線計算和實時計算兩大場景中的綜合案例，對前面的內容進行了融合，手把手教讀者進行數據架構實踐。本書內容通俗易懂，注重實踐，不僅濃縮了作者在日常工作中的思考、解決問題的思路，還融入了該領域優(yōu)秀同行的經驗和實踐，相信對讀者會有一些幫助。

作者簡介

　　李楊資深數據架構師，在數據相關領域有10年以上工作經驗。頭部保險資管公司科技平臺交易系統(tǒng)團隊開發(fā)組負責人，負責多個應用以及數據平臺的建設、優(yōu)化以及遷移工作。曾擔任某數據公司技術合伙人，負責多個金融機構的數據倉庫或數據平臺相關的工作。在數據質量管理、數據治理等領域有著非常深厚的積累，熟悉不同行業(yè)的數字化轉型。此外，他還是一名經驗豐富的應用工程師，對大數據、數據庫以及主流的技術棧有著非常深入的了解。2022年被集團評為“優(yōu)秀架構師”，積極參與行業(yè)內部的相關課題研究，是《保險問道之保險資管數字化探索》一書的執(zhí)筆人之一，是中資協《金融科技賦能保險資管風險管控的研究》課題核心組成員之一。

圖書目錄

序
自序
前言
第一部分　架構基礎
第1章　企業(yè)架構概述 3
1.1　企業(yè)架構 4
1.2　Zachman框架 4
1.2.1　Zachman框架的維度 4
1.2.2　Zachman框架的特點 5
1.2.3　Zachman框架的使用 6
1.3　TOGAF 6
1.3.1　TOGAF完善架構過程 7
1.3.2　框架核心：ADM 8
1.4　業(yè)務架構 9
1.4.1　業(yè)務架構的價值 9
1.4.2　業(yè)務架構的關鍵點 10
1.5　數據架構 11
1.5.1　數據架構設計 12
1.5.2　數據架構核心組成 12
1.6　總結 13
第二部分數據架構基礎
第2章　數據架構構成 18
2.1　數據模型 18
2.2　元數據 19
2.3　數據質量 20
2.4　數據標準 21
2.5　數據治理 21
2.6　數據資產 22
2.6.1　數據管理 22
2.6.2　數據倉庫 22
2.6.3　數據湖 23
2.6.4　數據資產內涵 23
2.7　數據生命周期 24
2.7.1　數據創(chuàng)建 25
2.7.2　數據使用 25
2.7.3　數據歸檔 26
2.7.4　數據銷毀 26
2.8　數據分布 27
2.8.1　數據存儲 27
2.8.2　數據訪問 27
2.9　常見數據架構技術選型 28
2.9.1　Lambda 28
2.9.2　Kappa 29
2.10　數據調度 30
2.11　總結 30
第3章　數據存儲 31
3.1　數據存儲基礎 32
3.1.1　計算機組成基礎結構 32
3.1.2　數據存儲核心概念 35
3.1.3　OLTP與OLAP場景 37
3.2　集中式數據庫 38
3.2.1　常見關系型數據庫 38
3.2.2　分庫分表 39
3.3　分布式數據庫 40
3.3.1　大規(guī)模并行處理技術 40
3.3.2　分布式事務 41
3.4　大數據存儲 43
3.4.1　HDFS 43
3.4.2　Yarn 44
3.4.3　Hive 44
3.4.4　HBase 45
3.4.5　Spark及Spark Streaming 46
3.5　特定領域存儲 46
3.5.1　ClickHouse 46
3.5.2　Elasticsearch 48
3.6　實時計算階段 49
3.7　總結 49
第4章　數據調度與消息傳輸 50
4.1　通用技術選型 50
4.2　Airflow調度平臺 52
4.2.1　Airflow基礎概念 52
4.2.2　Airflow架構 54
4.2.3　Airflow與其他調度平臺對比 55
4.3　DataX數據同步工具 56
4.3.1　DataX基礎概念 56
4.3.2　DataX數據同步 57
4.3.3　DataX優(yōu)化 59
4.3.4　DataX與其他數據同步工具對比 60
4.4　Kafka消息中間件 62
4.4.1　Kafka基礎概念 62
4.4.2　Kafka架構概述 63
4.4.3　Kafka高性能原理 63
4.4.4　Kafka與其他中間件對比 67
4.5　總結 68
第5章　Lambda架構與Kappa架構 69
5.1　架構演進 69
5.1.1　傳統(tǒng)數據倉庫架構 70
5.1.2　傳統(tǒng)大數據架構 71
5.1.3　流式計算架構 72
5.1.4　Lambda架構 73
5.1.5　Kappa架構 74
5.2　Lambda架構詳解 75
5.2.1　架構解析 76
5.2.2　核心組件 78
5.2.3　數據流向 81
5.3　Kappa架構詳解 82
5.3.1　架構解析 82
5.3.2　核心組件 85
5.3.3　數據流向 87
5.4　Lambda與Kappa對比 87
5.5　流批一體化 89
5.6　總結 90
第6章　輔助類應用體系介紹 91
6.1　資源管理 91
6.1.1　開源堡壘機JumpServer 92
6.1.2　部署與負載均衡 92
6.1.3　核心概念 94
6.1.4　最佳實踐 95
6.2　資源及組件監(jiān)控 95
6.2.1　開源監(jiān)控系統(tǒng)Prometheus 96
6.2.2　可視化系統(tǒng)Grafana 98
6.2.3　告警模塊AlertManager 100
6.2.4　小結 101
6.3　應用監(jiān)控 102
6.3.1　應用鏈路監(jiān)控Pinpoint 102
6.3.2　原理與組件介紹 103
6.3.3　最佳實踐 104
6.3.4　小結 106
6.4　日志監(jiān)控 107
6.4.1　ELK 107
6.4.2　直連式日志收集架構 107
6.4.3　高并發(fā)日志收集架構 108
6.5　總結 109
第三部分數據架構模型實踐
第7章　企業(yè)數據區(qū)與數據流向 113
7.1　數據區(qū)概述 113
7.2　數據區(qū)詳解 115
7.2.1　操作型數據區(qū) 115
7.2.2　集成型數據區(qū) 116
7.2.3　分析型數據區(qū) 117
7.2.4　歷史數據區(qū) 118
7.3　企業(yè)數據流向 119
7.3.1　操作型數據區(qū)數據流向 119
7.3.2　集成型數據區(qū)數據流向 120
7.3.3　分析型數據區(qū)數據流向 121
7.3.4　歷史數據區(qū)數據流向 122
7.4　企業(yè)數據分層 123
7.5　企業(yè)集成型數據區(qū)層級 124
7.5.1　數據緩沖層 125
7.5.2　數據貼源層 126
7.5.3　標準模型層 127
7.5.4　整合模型層 127
7.5.5　數據集市層 128
7.6　互聯網公司的集成型數據區(qū)分層特點 129
7.7　總結 130
第8章　數據模型架構詳解 131
8.1　為什么要建模 132
8.2　建模策略 134
8.2.1　數據緩沖層建模策略 135
8.2.2　數據貼源層建模策略 135
8.2.3　標準模型層建模策略 136