云原生數(shù)據(jù)中臺(tái)：架構(gòu)、方法論與實(shí)踐

前言
第一部分　數(shù)據(jù)中臺(tái)與硅谷大數(shù)據(jù)平臺(tái)
第1章　全面了解數(shù)據(jù)中臺(tái)
1.1　數(shù)據(jù)中臺(tái)概念的起源 3
1.1.1　藝電的“數(shù)據(jù)中臺(tái)”改造 4
1.1.2　Twitter的數(shù)據(jù)驅(qū)動(dòng) 6
1.2　什么是數(shù)據(jù)中臺(tái) 8
1.2.1　數(shù)據(jù)中臺(tái)建設(shè)的目標(biāo) 8
1.2.2　如何實(shí)現(xiàn)數(shù)據(jù)中臺(tái)建設(shè)的目標(biāo) 11
1.2.3　數(shù)據(jù)中臺(tái)的定義和4個(gè)特點(diǎn) 13
1.3　大數(shù)據(jù)平臺(tái)與數(shù)據(jù)中臺(tái) 16
1.3.1　為什么要建設(shè)數(shù)據(jù)中臺(tái) 16
1.3.2　數(shù)據(jù)中臺(tái)與傳統(tǒng)大數(shù)據(jù)平臺(tái)的區(qū)別 20
1.3.3　數(shù)據(jù)中臺(tái)的評(píng)判標(biāo)準(zhǔn) 24
1.4　數(shù)據(jù)中臺(tái)建設(shè)方法論總綱 24
1.5　本章小結(jié) 27
第2章　數(shù)據(jù)中臺(tái)能力和應(yīng)用場(chǎng)景
2.1　數(shù)據(jù)中臺(tái)不是“銀彈” 28
2.2　數(shù)據(jù)中臺(tái)的核心能力 31
2.2.1　全局商業(yè)洞見 31
2.2.2　個(gè)性化服務(wù) 34
2.2.3　實(shí)時(shí)數(shù)據(jù)報(bào)表 38
2.2.4　共享能力開發(fā)新業(yè)務(wù) 39
2.3　數(shù)據(jù)中臺(tái)的行業(yè)應(yīng)用場(chǎng)景 41
2.3.1　互聯(lián)網(wǎng)行業(yè) 41
2.3.2　連鎖零售業(yè) 42
2.3.3　金融業(yè) 43
2.3.4　物聯(lián)網(wǎng) 44
2.4　數(shù)據(jù)中臺(tái)如何為企業(yè)賦能 45
2.4.1　組織架構(gòu) 46
2.4.2　決策部門 48
2.4.3　業(yè)務(wù)部門 51
2.4.4　研發(fā)部門 53
2.4.5　大數(shù)據(jù)部門 55
2.5　本章小結(jié) 56
第3章　數(shù)據(jù)中臺(tái)與數(shù)字化轉(zhuǎn)型
3.1　數(shù)字化轉(zhuǎn)型的4個(gè)階段 58
3.1.1　信息化 58
3.1.2　數(shù)據(jù)倉(cāng)庫(kù)（數(shù)據(jù)平臺(tái)1.0） 59
3.1.3　大數(shù)據(jù)平臺(tái)（數(shù)據(jù)平臺(tái)2.0） 61
3.1.4　數(shù)據(jù)中臺(tái)（數(shù)據(jù)平臺(tái)3.0） 63
3.2　數(shù)據(jù)驅(qū)動(dòng) 64
3.2.1　面向用戶的數(shù)據(jù)驅(qū)動(dòng)產(chǎn)品及服務(wù) 66
3.2.2　面向內(nèi)部業(yè)務(wù)部門的數(shù)據(jù)驅(qū)動(dòng)服務(wù) 68
3.2.3　數(shù)據(jù)驅(qū)動(dòng)的系統(tǒng)管理 71
3.3　數(shù)據(jù)中臺(tái)如何支持?jǐn)?shù)字化轉(zhuǎn)型 72
3.3.1　從技術(shù)層面支持?jǐn)?shù)字化轉(zhuǎn)型 73
3.3.2　從組織架構(gòu)層面支持?jǐn)?shù)字化轉(zhuǎn)型 74
3.4　本章小結(jié) 75
第4章　從大數(shù)據(jù)平臺(tái)到數(shù)據(jù)中臺(tái)
4.1　大數(shù)據(jù)平臺(tái)建設(shè)階段 76
4.1.1　大數(shù)據(jù)平臺(tái)起步 77
4.1.2　系統(tǒng)自動(dòng)化 77
4.1.3　大數(shù)據(jù)平臺(tái)的生產(chǎn)化 78
4.2　數(shù)據(jù)管理及應(yīng)用階段 80
4.2.1　數(shù)據(jù)湖/數(shù)據(jù)倉(cāng)庫(kù)建設(shè) 80
4.2.2　數(shù)據(jù)管理 81
4.2.3　數(shù)據(jù)安全 82
4.3　數(shù)據(jù)能力中臺(tái)化階段 84
4.3.1　全局的數(shù)據(jù)治理 85
4.3.2　數(shù)據(jù)能力的復(fù)用和共享 85
4.3.3　云原生架構(gòu)的支撐 85
4.4　DataOps 87
4.4.1　什么是DataOps 87
4.4.2　DataOps解決的問題 88
4.4.3　DataOps的目標(biāo)功能 90
4.4.4　DataOps的主要技術(shù) 91
4.4.5　DataOps與數(shù)據(jù)中臺(tái) 92
4.5　本章小結(jié) 93
第二部分　數(shù)據(jù)中臺(tái)架構(gòu)與方法論
第5章　數(shù)據(jù)中臺(tái)建設(shè)須知
5.1　數(shù)據(jù)中臺(tái)建設(shè)需要一套方法論 96
5.2　從失敗的大數(shù)據(jù)項(xiàng)目中吸取教訓(xùn) 98
5.3　數(shù)據(jù)中臺(tái)建設(shè)中的常見問題 99
5.4　評(píng)判數(shù)據(jù)中臺(tái)建設(shè)效果 101
5.5　數(shù)據(jù)中臺(tái)建設(shè)的人員規(guī)劃 103
5.6　數(shù)據(jù)中臺(tái)的技術(shù)選型要求 106
5.7　本章小結(jié) 107
第6章　數(shù)據(jù)中臺(tái)建設(shè)方法論
6.1　基礎(chǔ)架構(gòu) 109
6.2　數(shù)據(jù)工具 114
6.3　頂層架構(gòu)設(shè)計(jì) 115
6.4　數(shù)據(jù)規(guī)范 116
6.5　業(yè)務(wù)驅(qū)動(dòng) 118
6.6　關(guān)鍵指標(biāo) 120
6.7　明確責(zé)權(quán)利 125
6.8　管理迭代 127
6.9　數(shù)據(jù)中臺(tái)建設(shè)流程 128
6.10　本章小結(jié) 130
第7章　數(shù)據(jù)中臺(tái)的架構(gòu)
7.1　數(shù)據(jù)中臺(tái)的功能定位 132
7.2　數(shù)據(jù)中臺(tái)架構(gòu)設(shè)計(jì)的9大原則 135
7.3　典型的硅谷大數(shù)據(jù)平臺(tái)架構(gòu) 137
7.3.1　Twitter的大數(shù)據(jù)平臺(tái)架構(gòu) 137
7.3.2　Airbnb的大數(shù)據(jù)平臺(tái)架構(gòu) 140
7.3.3　Uber的大數(shù)據(jù)平臺(tái)架構(gòu) 141
7.3.4　云平臺(tái)作為大數(shù)據(jù)平臺(tái)的通用底座 143
7.3.5　硅谷大數(shù)據(jù)平臺(tái)架構(gòu)的共性和建設(shè)思路 145
7.4　數(shù)據(jù)中臺(tái)架構(gòu) 147
7.5　數(shù)據(jù)中臺(tái)子系統(tǒng) 150
7.5.1　應(yīng)用基礎(chǔ)能力平臺(tái) 151
7.5.2　數(shù)據(jù)基礎(chǔ)能力平臺(tái) 152
7.5.3　數(shù)據(jù)集成開發(fā)平臺(tái) 154
7.5.4　數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)平臺(tái) 156
7.5.5　數(shù)據(jù)業(yè)務(wù)能力層 158
7.5.6　數(shù)據(jù)中臺(tái)重點(diǎn)建設(shè)內(nèi)容 159
7.6　本章小結(jié) 160
第8章　數(shù)據(jù)中臺(tái)與云原生架構(gòu)
8.1　云原生架構(gòu)及云平臺(tái) 161
8.2　PaaS平臺(tái)的主要功能 165
8.2.1　資源管理 167
8.2.2　應(yīng)用全生命周期管理 169
8.2.3　高可用和容錯(cuò) 170
8.2.4　運(yùn)維平臺(tái) 172
8.3　傳統(tǒng)方式下搭建數(shù)據(jù)中臺(tái)的難點(diǎn) 173
8.4　云原生架構(gòu)對(duì)于數(shù)據(jù)中臺(tái)建設(shè)的5大意義 175
8.5　數(shù)據(jù)中臺(tái)的IaaS層選擇 178
8.6　本章小結(jié) 180
第三部分　數(shù)據(jù)中臺(tái)技術(shù)選型與核心內(nèi)容
第9章　數(shù)據(jù)中臺(tái)建設(shè)與開源軟件
9.1　開源軟件的起源和建設(shè)過程 185
9.2　開源軟件的合理使用 189
9.3　集成開源軟件的5個(gè)注意事項(xiàng) 192
9.4　應(yīng)用基礎(chǔ)能力平臺(tái)的開源選擇 193
9.5　數(shù)據(jù)基礎(chǔ)能力平臺(tái)的開源選擇 196
9.6　數(shù)據(jù)集成開發(fā)平臺(tái)的開源選擇 203
9.7　本章小結(jié) 205
第10章　數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)
10.1　數(shù)據(jù)湖 207
10.1.1　數(shù)據(jù)湖的起源與作用 208
10.1.2　數(shù)據(jù)湖建設(shè)的4個(gè)目標(biāo) 211
10.1.3　數(shù)據(jù)湖數(shù)據(jù)的采集和存儲(chǔ) 212
10.1.4　數(shù)據(jù)湖中的數(shù)據(jù)治理 216
10.2　數(shù)據(jù)倉(cāng)庫(kù) 218
10.2.1　數(shù)據(jù)建模方式 219
10.2.2　數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的層次 221
10.2.3　數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)治理 225
10.2.4　數(shù)據(jù)清洗 229
10.3　數(shù)據(jù)中臺(tái)中的數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖建設(shè) 231
10.4　本章小結(jié) 233
第11章　數(shù)據(jù)資產(chǎn)管理
11.1　數(shù)據(jù)資產(chǎn)管理的難題 235
11.2　數(shù)據(jù)資產(chǎn)管理定義 238
11.3　主數(shù)據(jù)管理 239
11.4　元數(shù)據(jù)管理 242
11.4.1　元數(shù)據(jù)的分類 243
11.4.2　元數(shù)據(jù)管理系統(tǒng)的功能 245
11.5　開源的元數(shù)據(jù)管理系統(tǒng) 247
11.6　數(shù)據(jù)資產(chǎn)的ROI 249
11.7　本章小結(jié) 250
第12章　數(shù)據(jù)流水線管理
12.1　數(shù)據(jù)流水線的定義與模型 251
12.2　數(shù)據(jù)流水線中的應(yīng)用類別 254
12.3　數(shù)據(jù)流水線的運(yùn)行方式 256
12.4　數(shù)據(jù)流水線示例 257
12.5　數(shù)據(jù)流水線管理系統(tǒng)面臨的挑戰(zhàn) 259
12.6　數(shù)據(jù)流水線管理系統(tǒng)的功能需求 262
12.6.1　自動(dòng)化流水線 262
12.6.2　數(shù)據(jù)管理 263
12.6.3　性能要求 264
12.7　數(shù)據(jù)流水線管理系統(tǒng)的組件 265
12.8　批流合一的數(shù)據(jù)流水線 266
12.9　本章小結(jié) 269
第13章　數(shù)據(jù)中臺(tái)應(yīng)用開發(fā)
13.1　數(shù)據(jù)應(yīng)用的形態(tài) 270
13.2　應(yīng)用開發(fā)工具 277
13.3　3種典型的數(shù)據(jù)中臺(tái)應(yīng)用 279
13.3.1　數(shù)據(jù)即服務(wù) 279
13.3.2　模型即服務(wù) 281
13.3.3　用戶標(biāo)簽系統(tǒng) 282
13.4　數(shù)據(jù)中臺(tái)應(yīng)用的開發(fā)和管理 283
13.4.1　應(yīng)用調(diào)度系統(tǒng) 284
13.4.2　多租戶管理 285
13.4.3　持續(xù)集成和發(fā)布 286
13.5　本章小結(jié) 287
第14章　數(shù)據(jù)門戶
14.1　數(shù)據(jù)門戶出現(xiàn)的背景 288
14.2　硅谷的數(shù)據(jù)門戶建設(shè) 289
14.2.1　Twitter的DAL和EagleEye 290
14.2.2　LinkedIn的Data Hub 292
14.2.3　Airbnb的Data Portal 293
14.2.4　Lyft的Amundsen 294
14.2.5　Netflix的Metacat 296
14.2.6　Intuit的SuperGlue 297
14.2.7　硅谷數(shù)據(jù)門戶總結(jié) 298
14.3　數(shù)據(jù)門戶的定位及功能 299
14.4　數(shù)據(jù)門戶的實(shí)現(xiàn)原理 301
14.5　數(shù)據(jù)門戶的社交屬性 303
14.6　數(shù)據(jù)應(yīng)用的自助及協(xié)同工作 304
14.7　數(shù)據(jù)智能運(yùn)維 306
14.8　本章小結(jié) 308
第15章　管理數(shù)據(jù)中臺(tái)的演進(jìn)
15.1　不斷演進(jìn)的數(shù)據(jù)中臺(tái) 310
15.2　人員變動(dòng)下的數(shù)據(jù)管理 310
15.2.1　數(shù)據(jù)安全 311
15.2.2　數(shù)據(jù)能力的傳遞 312
15.3　數(shù)據(jù)和應(yīng)用的演進(jìn) 314
15.4　資源的演進(jìn) 316
15.5　演進(jìn)中的關(guān)鍵指標(biāo) 318
15.6　本章小結(jié) 321
第四部分　數(shù)據(jù)中臺(tái)案例分析
第16章　EA“數(shù)據(jù)中臺(tái)”實(shí)踐
16.1　建設(shè)背景 324
16.2　組織架構(gòu)調(diào)整 327
16.3　建設(shè)過程 328
16.4　體系架構(gòu) 333
16.5　數(shù)據(jù)治理 336
16.5.1　數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范 336
16.5.2　元數(shù)據(jù)管理 338
16.5.3　數(shù)據(jù)質(zhì)量管理 339
16.6　數(shù)據(jù)應(yīng)用產(chǎn)品 340
16.6.1　推薦系統(tǒng) 340
16.6.2　打造動(dòng)態(tài)游戲體驗(yàn) 341
16.6.3　標(biāo)簽系統(tǒng)及游戲運(yùn)營(yíng) 343
16.7　EA“數(shù)據(jù)中臺(tái)”功能總結(jié) 344
16.8　本章小結(jié) 345
第17章　零售行業(yè)的數(shù)據(jù)中臺(tái)
17.1　零售行業(yè)的數(shù)字化轉(zhuǎn)型 346
17.2　零售行業(yè)數(shù)據(jù)中臺(tái)解決方案 347
17.3　零售行業(yè)數(shù)據(jù)中臺(tái)的建設(shè) 349
17.3.1　數(shù)據(jù)匯聚 350
17.3.2　業(yè)務(wù)調(diào)研 352
17.3.3　數(shù)據(jù)倉(cāng)庫(kù)建設(shè)及數(shù)據(jù)分析 354
17.3.4　業(yè)務(wù)系統(tǒng)的能力反饋 356
17.4　零售行業(yè)數(shù)據(jù)中臺(tái)的應(yīng)用場(chǎng)景 357
17.4.1　用戶標(biāo)簽體系 357
17.4.2　精準(zhǔn)市場(chǎng)營(yíng)銷 359
17.5　本章小結(jié) 361
第18章　物聯(lián)網(wǎng)領(lǐng)域數(shù)據(jù)中臺(tái)建設(shè)
18.1　現(xiàn)代物聯(lián)網(wǎng)的產(chǎn)業(yè)鏈 362
18.2　物聯(lián)網(wǎng)與ABC 365
18.3　物聯(lián)網(wǎng)數(shù)據(jù)中臺(tái)架構(gòu) 366
18.4　智慧建筑物聯(lián)網(wǎng)數(shù)據(jù)中臺(tái)應(yīng)用 371
18.5　本章小結(jié) 374