數(shù)據資產管理核心技術與應用

定　價：￥89.00

作　者：	張永清趙偉蔣彪王函
出版社：	清華大學出版社
叢編項：
標　簽：	暫缺

購買這本書可以去

當當網 (￥89.00)

ISBN：	9787302666998	出版時間：	2024-08-01	包裝：	平裝-膠訂
開本：	16開	頁數(shù)：		字數(shù)：

內容簡介

　　《數(shù)據資產管理核心技術與應用》深入探討數(shù)據資產管理的核心技術與應用，融入作者在大數(shù)據領域多年的豐富經驗?！稊?shù)據資產管理核心技術與應用》為讀者提供一套可以落地的數(shù)據資產管理框架，并詳解兩個基于該框架進行數(shù)據資產管理的應用案例，使讀者能更好地了解數(shù)據資產管理底層所涉及的眾多核心技術，讓數(shù)據可以發(fā)揮出更大的價值。《數(shù)據資產管理核心技術與應用》配套PPT課件、示例源代碼、作者微信群答疑服務。全書共分10章，第1章主要讓讀者認識數(shù)據資產，了解數(shù)據資產相關的基礎概念，以及數(shù)據資產的發(fā)展情況。第2～8章主要介紹大數(shù)據時代數(shù)據資產管理所涉及的核心技術，內容包括元數(shù)據的采集與存儲、數(shù)據血緣、數(shù)據質量、數(shù)據監(jiān)控與告警、數(shù)據服務、數(shù)據權限與安全、數(shù)據資產管理架構等。第9～10章主要從實戰(zhàn)的角度介紹數(shù)據資產管理技術的應用實踐，包括如何對元數(shù)據進行管理以發(fā)揮出數(shù)據資產的更大潛力，以及如何對數(shù)據進行建模以挖掘出數(shù)據中更大的價值。《數(shù)據資產管理核心技術與應用》適合數(shù)據資產管理者、數(shù)據資產管理初學者、數(shù)據應用開發(fā)工程師、數(shù)據分析師、數(shù)據庫管理員、架構師、產品經理、技術經理作為技術參考書，也適合高等院?；蚋呗毟邔?shù)據資產管理相關課程的教學參考書。

作者簡介

　　張永清，從事功能測試、自動化測試、性能測試、Java軟件開發(fā)、大數(shù)據開發(fā)、架構師等工作十多年，在自動化測試設計、性能測試設計、性能診斷、性能調優(yōu)、分布式架構設計等方面積累了多年經驗。參與過的系統(tǒng)涉及公安、互聯(lián)網、移動互聯(lián)網、大數(shù)據、人工智能等領域。先后任職于江蘇飛搏軟件、蘇寧大數(shù)據研發(fā)中心、蘇寧研究院、蘇寧人工智能研發(fā)中心、紫金普惠研發(fā)中心、福特汽車工程研究有限公司，歷任測試經理、技術經理、部門經理、高級架構師等職位。重點關注大數(shù)據、圖像處理、高性能分布式架構設計等領域。著有圖書《軟件性能測試、分析與調優(yōu)實踐之路（第2版）》《軟件性能測試、分析與調優(yōu)實踐之路》《Robot Framework自動化測試框架核心指南》。

圖書目錄

第 1 章認識數(shù)據資產 1
1.1 數(shù)據資產的基本介紹 1
1.2 數(shù)據資產的分類 4
1.3 數(shù)據資產的價值評估 5
1.4 數(shù)據資產的質量 6
1.5 數(shù)據資產的存儲 6
1.6 數(shù)據資產管理 9
1.7 數(shù)據資產管理的信息化建設 11
1.8 數(shù)據資產與人工智能 11
第 2 章元數(shù)據的采集與存儲 13
2.1 Hive中的元數(shù)據采集 14
2.1.1 基于Hive Meta DB的元數(shù)據采集 14
2.1.2 基于Hive Catalog的元數(shù)據采集 18
2.1.3 基于Spark Catalog的元數(shù)據采集 21
2.2 Delta Lake中的元數(shù)據采集 29
2.2.1 基于Delta Lake自身設計來采集元數(shù)據 31
2.2.2 基于Spark Catalog來采集元數(shù)據 32
2.3 MySQL中的元數(shù)據采集 34
2.4 Apache Hudi中的元數(shù)據采集 41
2.4.1 基于Spark Catalog采集元數(shù)據 42
2.4.2 Hudi Timeline Meta Server 43
2.4.3 基于Hive Meta DB采集元數(shù)據 47
2.5 Apache Iceberg中的元數(shù)據采集 49
2.5.1 Iceberg的元數(shù)據設計 50
2.5.2 Iceberg元數(shù)據的采集 54
2.6 元數(shù)據的存儲模型設計 56
2.6.1 如何對元數(shù)據進行整合 56
2.6.2 元數(shù)據的存儲模型設計 57
第 3 章數(shù)據血緣 59
3.1 獲取數(shù)據血緣的技術實現(xiàn) 59
3.1.1 如何從Hive中獲取數(shù)據血緣 60
3.1.2 從Spark執(zhí)行計劃中獲取數(shù)據血緣 66
3.1.3 從Spark SQL語句中獲取數(shù)據血緣 82
3.1.4 從Flink中獲取數(shù)據血緣 91
3.1.5 從數(shù)據任務的編排系統(tǒng)中獲取數(shù)據血緣 92
3.2 數(shù)據血緣的存儲模型與展示設計 94
第 4 章數(shù)據質量的技術實現(xiàn) 98
4.1 質量數(shù)據采集的技術實現(xiàn) 100
4.1.1 定義數(shù)據采集的規(guī)則 100
4.1.2 定時Job的技術選型 103
4.2 如何處理采集到的質量數(shù)據 109
4.3 質量數(shù)據的存儲模型設計 110
4.4 常見的開源數(shù)據質量管理平臺 112
4.4.1 Apache Griffin 112
4.4.2 Qualitis 113
第 5 章數(shù)據監(jiān)控與告警 116
5.1 數(shù)據監(jiān)控 116
5.1.1 數(shù)據監(jiān)控的種類 116
5.1.2 監(jiān)控數(shù)據的特點與存儲方式 117
5.2 常見的數(shù)據監(jiān)控目標 118
5.2.1 數(shù)據鏈路監(jiān)控 118
5.2.2 數(shù)據任務監(jiān)控 124
5.2.3 數(shù)據質量監(jiān)控 125
5.2.4 數(shù)據服務監(jiān)控 125
5.2.5 數(shù)據處理資源監(jiān)控 126
5.3 Prometheus簡介 128
5.4 Grafana簡介 135
5.5 使用Grafana和Prometheus來實現(xiàn)數(shù)據監(jiān)控與告警 138
5.5.1 數(shù)據鏈路的告警實現(xiàn) 138
5.5.2 數(shù)據任務的告警實現(xiàn) 141
5.5.3 數(shù)據質量的告警實現(xiàn) 142
5.5.4 數(shù)據服務的告警實現(xiàn) 142
5.5.5 數(shù)據處理資源的告警實現(xiàn) 143
第 6 章數(shù)據服務 146
6.1 如何設計數(shù)據服務 146
6.1.1 數(shù)據源管理 148
6.1.2 數(shù)據服務的敏捷化和可配置化 148
6.1.3 數(shù)據服務文檔的自動生成 151
6.1.4 數(shù)據服務的統(tǒng)一認證與鑒權 151
6.1.5 數(shù)據服務的監(jiān)控與告警 153
6.2 數(shù)據服務的性能 155
6.3 數(shù)據服務的熔斷與降級 159
第 7 章數(shù)據權限與安全 163
7.1 常見的權限設計模式 163
7.1.1 基于角色的訪問控制 164
7.1.2 基于屬性的訪問控制 165
7.1.3 基于對象的訪問控制 165
7.2 數(shù)據權限 166
7.2.1 列權限控制 167
7.2.2 行權限控制 170
7.3 數(shù)據脫敏 171
7.4 數(shù)據安全 174
第 8 章數(shù)據資產架構 176
8.1 數(shù)據資產的架構設計 177
8.1.1 數(shù)據獲取層 177
8.1.2 數(shù)據處理層 178
8.1.3 數(shù)據存儲層 180
8.1.4 數(shù)據管理層 182
8.1.5 數(shù)據分析層 182
8.1.6 數(shù)據服務層 183
8.2 常見的開源數(shù)據資產管理平臺 185
8.2.1 Apache Atlas 185
8.2.2 Data Hub 186
8.2.3 OpenMetadata 189
第 9 章元數(shù)據管理實踐 193
9.1 如何理解元數(shù)據 194
9.1.1 為何需要元數(shù)據 194
9.1.2 如何讓元數(shù)據產生更大價值 195
9.1.3 元數(shù)據分類及其好處 196
9.1.4 元數(shù)據管理 198
9.1.5 參與角色 201
9.2 元數(shù)據管理 202
9.2.1 元數(shù)據模型的組織關系 202
9.2.2 元數(shù)據的采集 204
9.2.3 業(yè)務域設計 205
9.2.4 業(yè)務術語設計 209
9.2.5 元數(shù)據標簽設計 212
9.2.6 數(shù)據Owner 214
9.2.7 數(shù)據生命周期 215
9.2.8 元數(shù)據注冊和發(fā)布 216
9.2.9 核心功能介紹 218
第 10 章數(shù)據建模實踐 224
10.1 什么是數(shù)據建模 224
10.1.1 數(shù)據模型分類 224
10.1.2 數(shù)據建模方法 227
10.2 數(shù)據倉庫建模架構 229
10.3 關系型數(shù)據建模 231
10.3.1 概念模型階段 231
10.3.2 邏輯模型階段 235
10.3.3 物理模型階段 238
10.4 維度建模 240
10.4.1 基本概念 240
10.4.2 維度表設計 246
10.4.3 事實表分類 250
10.4.4 基于維度建模的數(shù)據分析實踐 251
參考文獻 253