云數(shù)據(jù)平臺(tái)：設(shè)計(jì)、實(shí)現(xiàn)與管理

前言
致謝
引言
第1章　數(shù)據(jù)平臺(tái)介紹1
1.1　從數(shù)據(jù)倉(cāng)庫(kù)向數(shù)據(jù)平臺(tái)轉(zhuǎn)變背后的趨勢(shì)2
1.2　數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)的多樣性、規(guī)模和速度3
1.2.1　多樣性3
1.2.2　規(guī)模4
1.2.3　速度5
1.2.4　所有的V同時(shí)出現(xiàn)5
1.3　數(shù)據(jù)湖6
1.4　云來(lái)了7
1.5　云、數(shù)據(jù)湖、數(shù)據(jù)倉(cāng)庫(kù)：云數(shù)據(jù)平臺(tái)的出現(xiàn)9
1.6　云數(shù)據(jù)平臺(tái)的構(gòu)建塊9
1.6.1　攝取層10
1.6.2　存儲(chǔ)層10
1.6.3　處理層11
1.6.4　服務(wù)層13
1.7　云數(shù)據(jù)平臺(tái)如何處理這三個(gè)V14
1.7.1　多樣性14
1.7.2　規(guī)模14
1.7.3　速度15
1.7.4　另外兩個(gè)V15
1.8　常見(jiàn)用例16
第2章　為什么是數(shù)據(jù)平臺(tái)而不僅僅是數(shù)據(jù)倉(cāng)庫(kù)18
2.1　云數(shù)據(jù)平臺(tái)和云數(shù)據(jù)倉(cāng)庫(kù)的實(shí)踐19
2.1.1　近距離觀察數(shù)據(jù)源20
2.1.2　云數(shù)據(jù)倉(cāng)庫(kù)—純架構(gòu)示例21
2.1.3　云數(shù)據(jù)平臺(tái)架構(gòu)示例22
2.2　攝取數(shù)據(jù)24
2.2.1　將數(shù)據(jù)直接攝取到Azure Synapse24
2.2.2　將數(shù)據(jù)攝取到Azure數(shù)據(jù)平臺(tái)25
2.2.3　管理上游數(shù)據(jù)源的變化26
2.3　處理數(shù)據(jù)28
2.3.1　處理數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)29
2.3.2　處理數(shù)據(jù)平臺(tái)上的數(shù)據(jù)31
2.4　訪問(wèn)數(shù)據(jù)32
2.5　云成本方面的考慮34
2.6　練習(xí)答案36
第3章　不斷壯大并利用三巨頭：Amazon、Microsoft Azure和Google37
3.1　云數(shù)據(jù)平臺(tái)分層架構(gòu)38
3.1.1　數(shù)據(jù)攝取層40
3.1.2　快存儲(chǔ)和慢存儲(chǔ)43
3.1.3　處理層45
3.1.4　技術(shù)元數(shù)據(jù)層47
3.1.5　服務(wù)層和數(shù)據(jù)消費(fèi)者48
3.1.6　編排層和ETL覆蓋層52
3.2　數(shù)據(jù)平臺(tái)架構(gòu)中層的重要性57
3.3　將云數(shù)據(jù)平臺(tái)層映射到特定工具59
3.3.1　AWS61
3.3.2　Google Cloud65
3.3.3　Azure70
3.4　開(kāi)源和商業(yè)替代方案73
3.4.1　批量數(shù)據(jù)攝取74
3.4.2　流數(shù)據(jù)攝取和實(shí)時(shí)分析74
3.4.3　編排層75
3.5　練習(xí)答案77
第4章　將數(shù)據(jù)導(dǎo)入平臺(tái)78
4.1　數(shù)據(jù)庫(kù)、文件、API和流79
4.1.1　關(guān)系型數(shù)據(jù)庫(kù)80
4.1.2　文件81
4.1.3　通過(guò)API的SaaS數(shù)據(jù)81
4.1.4　流82
4.2　從關(guān)系型數(shù)據(jù)庫(kù)中攝取數(shù)據(jù)83
4.2.1　使用SQL接口從RDBMS攝取數(shù)據(jù)83
4.2.2　全表攝取85
4.2.3　增量表攝取90
4.2.4　變更數(shù)據(jù)捕獲94
4.2.5　CDC供應(yīng)商概述98
4.2.6　數(shù)據(jù)類(lèi)型轉(zhuǎn)換100
4.2.7　從NoSQL數(shù)據(jù)庫(kù)攝取數(shù)據(jù)102
4.2.8　為RDBMS或NoSQL攝取管道捕獲重要的元數(shù)據(jù)104
4.3　從文件中攝取數(shù)據(jù)107
4.3.1　跟蹤已攝取的文件109
4.3.2　捕獲文件攝取元數(shù)據(jù)112
4.4　從流中攝取數(shù)據(jù)113
4.4.1　批量攝取和流攝取的區(qū)別117
4.4.2　捕獲流管道元數(shù)據(jù)118
4.5　從SaaS應(yīng)用程序攝取數(shù)據(jù)119
4.5.1　沒(méi)有標(biāo)準(zhǔn)的API設(shè)計(jì)方法121
4.5.2　沒(méi)有標(biāo)準(zhǔn)的方法來(lái)處理全數(shù)據(jù)導(dǎo)出和增量數(shù)據(jù)導(dǎo)出121
4.5.3　結(jié)果數(shù)據(jù)通常是高度嵌套的JSON122
4.6　將數(shù)據(jù)攝取到云中需要考慮的網(wǎng)絡(luò)和安全問(wèn)題122
4.7　練習(xí)答案125
第5章　組織和處理數(shù)據(jù)126
5.1　在數(shù)據(jù)平臺(tái)中作為單獨(dú)的層進(jìn)行處理127
5.2　數(shù)據(jù)處理階段129
5.3　組織你的云存儲(chǔ)130
5.4　通用數(shù)據(jù)處理步驟137
5.4.1　文件格式轉(zhuǎn)換137
5.4.2　重復(fù)數(shù)據(jù)清除142
5.4.3　數(shù)據(jù)質(zhì)量檢查147
5.5　可配置的管道149
5.6　練習(xí)答案152
第6章　實(shí)時(shí)數(shù)據(jù)處理和分析153
6.1　實(shí)時(shí)攝取與實(shí)時(shí)處理154
6.2　實(shí)時(shí)數(shù)據(jù)處理用例156
6.2.1　零售用例：實(shí)時(shí)攝取156
6.2.2　線上游戲用例：實(shí)時(shí)攝取和實(shí)時(shí)處理158
6.2.3　實(shí)時(shí)攝取與實(shí)時(shí)處理的總結(jié)160
6.3　什么時(shí)候應(yīng)該使用實(shí)時(shí)攝取或?qū)崟r(shí)處理161
6.4　為實(shí)時(shí)使用組織數(shù)據(jù)163
6.4.1　對(duì)快存儲(chǔ)的解剖163
6.4.2　快存儲(chǔ)是如何擴(kuò)展的166
6.4.3　在實(shí)時(shí)存儲(chǔ)中組織數(shù)據(jù)168
6.5　通用的實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)換173
6.5.1　實(shí)時(shí)系統(tǒng)中數(shù)據(jù)重復(fù)的原因173
6.5.2　實(shí)時(shí)系統(tǒng)中的數(shù)據(jù)重復(fù)清除176
6.5.3　在實(shí)時(shí)管道中轉(zhuǎn)換消息格式181
6.5.4　實(shí)時(shí)數(shù)據(jù)質(zhì)量檢查182
6.5.5　將批量數(shù)據(jù)與實(shí)時(shí)數(shù)據(jù)相結(jié)合183
6.6　用于實(shí)時(shí)數(shù)據(jù)處理的云服務(wù)184
6.6.1　AWS實(shí)時(shí)處理服務(wù)185
6.6.2　Google Cloud實(shí)時(shí)處理服務(wù)186
6.6.3　Azure實(shí)時(shí)處理服務(wù)188
6.7　練習(xí)答案190
第7章　元數(shù)據(jù)層架構(gòu)191
7.1　元數(shù)據(jù)是什么192
7.1.1　業(yè)務(wù)元數(shù)據(jù)192
7.1.2　數(shù)據(jù)平臺(tái)內(nèi)部元數(shù)據(jù)或管道元數(shù)據(jù)193
7.2　利用管道元數(shù)據(jù)193
7.3　元數(shù)據(jù)模型197
7.4　元數(shù)據(jù)層實(shí)現(xiàn)選項(xiàng)207
7.4.1　元數(shù)據(jù)層作為配置文件的集合207
7.4.2　元數(shù)據(jù)數(shù)據(jù)庫(kù)210
7.4.3　元數(shù)據(jù)API212
7.5　現(xiàn)有的解決方案概述214
7.5.1　云元數(shù)據(jù)服務(wù)214
7.5.2　開(kāi)源元數(shù)據(jù)層實(shí)現(xiàn)216
7.6　練習(xí)答案220
第8章　模式管理221
8.1　為什么要進(jìn)行模式管理222
8.1.1　傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)中的模式變化222
8.1.2　讀時(shí)模式方法223
8.2　模式管理方法225
8.2.1　模式即契約226
8.2.2　數(shù)據(jù)平臺(tái)中的模式管理228
8.2.3　監(jiān)控模式變化234
8.3　模式注冊(cè)表實(shí)現(xiàn)235
8.3.1　Apache Avro模式236
8.3.2　現(xiàn)有的模式注冊(cè)表實(shí)現(xiàn)237
8.3.3　模式注冊(cè)表作為元數(shù)據(jù)層的一部分238
8.4　模式演化場(chǎng)景240
8.4.1　模式兼容性規(guī)則242
8.4.2　模式演化和數(shù)據(jù)轉(zhuǎn)換管道244
8.5　模式演化和數(shù)據(jù)倉(cāng)庫(kù)247
8.6　練習(xí)答案252
第9章　數(shù)據(jù)訪問(wèn)和安全253
9.1　不同類(lèi)型的數(shù)據(jù)消費(fèi)者254
9.2　云數(shù)據(jù)倉(cāng)庫(kù)255
9.2.1　AWS Redshift256
9.2.2　Azure Synapse259
9.2.3　Go