數(shù)據(jù)工程之道：設計和構建健壯的數(shù)據(jù)系統(tǒng)

前言1
第一部分 基礎和構建塊7
第1章 數(shù)據(jù)工程概述9
1.1 什么是數(shù)據(jù)工程9
1.2 數(shù)據(jù)工程技能和活動18
1.3 組織內(nèi)部的數(shù)據(jù)工程師26
1.4 總結34
1.5 補充資料34
第2章 數(shù)據(jù)工程生命周期36
2.1 什么是數(shù)據(jù)工程生命周期36
2.2 數(shù)據(jù)工程生命周期中的主要底層設計49
2.3 總結66
2.4 補充資料67
第3章 設計好的數(shù)據(jù)架構68
3.1 什么是數(shù)據(jù)架構68
3.2 好的數(shù)據(jù)架構的原則73
3.3 主要架構概念81
3.4 數(shù)據(jù)架構的示例和類型91
3.5 誰參與了數(shù)據(jù)架構的設計102
3.6 總結102
3.7 補充資料103
第4章 根據(jù)數(shù)據(jù)生命周期選擇技術107
4.1 團隊大小和能力108
4.2 加速市場化109
4.3 互操作性109
4.4 成本優(yōu)化和商業(yè)價值110
4.5 現(xiàn)在與未來：不變的與暫時的技術112
4.6 部署位置114
4.7 構建與購買122
4.8 單體與模塊化128
4.9 無服務器與服務器131
4.10 優(yōu)化、性能和基準戰(zhàn)爭135
4.11 底層設計及其對技術選擇的影響137
4.12 總結139
4.13 補充資料139
第二部分 深入數(shù)據(jù)工程生命周期141
第5章 源系統(tǒng)中的數(shù)據(jù)生成143
5.1 數(shù)據(jù)源：數(shù)據(jù)是如何生成的？144
5.2 源系統(tǒng)：主要觀點144
5.3 源系統(tǒng)實際細節(jié)152
5.4 你和誰一起工作166
5.5 數(shù)據(jù)底層設計及其對源系統(tǒng)的影響167
5.6 總結171
5.7 補充資料172
第6章 存儲173
6.1 數(shù)據(jù)存儲的原材料174
6.2 數(shù)據(jù)存儲系統(tǒng)180
6.3 數(shù)據(jù)工程存儲抽象195
6.4 存儲的重要思想和趨勢198
6.5 你和誰一起工作206
6.6 底層設計207
6.7 總結209
6.8 補充資料209
第7章 獲取210
7.1 什么是數(shù)據(jù)獲取210
7.2 數(shù)據(jù)獲取階段的關鍵工程考慮因素212
7.3 批量獲取的考慮因素220
7.4 消息和流獲取的考慮因素223
7.5 獲取數(shù)據(jù)的方式225
7.6 你和誰一起工作236
7.7 底層設計237
7.8 總結241
7.9 補充資料242
第8章 查詢、建模和轉換243
8.1 查詢244
8.2 數(shù)據(jù)建模257
8.3 轉換276
8.4 你和誰一起工作293
8.5 底層設計294
8.6 總結298
8.7 補充資料298
第9章 為分析、機器學習和反向ETL提供數(shù)據(jù)服務300
9.1 提供數(shù)據(jù)服務的常見關注點301
9.2 分析306
9.3 機器學習310
9.4 數(shù)據(jù)工程師需要理解的機器學習知識310
9.5 為分析和機器學習提供數(shù)據(jù)服務的方法312
9.6 反向ETL318
9.7 你和誰一起工作319
9.8 底層設計320
9.9 總結324
9.10 補充資料324
第三部分 安全、隱私和數(shù)據(jù)工程的未來327
第10章 安全和隱私329
10.1 人員330
10.2 流程330
10.3 技術333
10.4 總結336
10.5 補充資料336
第11章 數(shù)據(jù)工程的未來337
11.1 常青的數(shù)據(jù)工程生命周期337
11.2 復雜性的下降和易用的數(shù)據(jù)工具的興起338
11.3 云數(shù)據(jù)操作系統(tǒng)及其高互通性339
11.4 “企業(yè)級”數(shù)據(jù)工程340
11.5 數(shù)據(jù)工程師的頭銜和職責將發(fā)生的變化341
11.6 超越現(xiàn)代數(shù)據(jù)棧，邁向實時數(shù)據(jù)棧341
11.7 總結345
附錄A 序列化和壓縮技術的細節(jié)347
附錄B 云網(wǎng)絡353