數(shù)據(jù)治理實踐者手記

第一篇　理論與方法
第1章 為什么數(shù)據(jù)治理如此重要 2
1.1　科技特征及演化趨勢 3
1.1.1　組織進(jìn)化與數(shù)智化轉(zhuǎn)型 6
1.1.2　技術(shù)進(jìn)化與劇烈“內(nèi)卷” 10
1.1.3　數(shù)據(jù)消費(fèi)場景的演進(jìn) 11
1.2　數(shù)據(jù)資產(chǎn)的特征 15
1.2.1　通用資產(chǎn)的特征 15
1.2.2　數(shù)據(jù)的保鮮期 16
1.2.3　數(shù)據(jù)可能是負(fù)資產(chǎn) 17
1.2.4　數(shù)據(jù)資產(chǎn)的特殊性 17
1.3　數(shù)據(jù)之“痛”，“痛”在哪里 18
1.3.1　找不到關(guān)鍵數(shù)據(jù) 20
1.3.2　數(shù)據(jù)質(zhì)量差 21
1.3.3　分析手段舊 23
1.3.4　分析效率低 24
1.3.5　數(shù)據(jù)雜亂 25
1.3.6　響應(yīng)業(yè)務(wù)變化慢 26
1.3.7　非結(jié)構(gòu)化數(shù)據(jù)的信息密度低 27
1.4　數(shù)據(jù)治理，治理什么 28
1.4.1　改善數(shù)據(jù)質(zhì)量 29
1.4.2　優(yōu)化數(shù)據(jù)時效 30
1.4.3　提升數(shù)據(jù)消費(fèi) 30
1.4.4　貫徹數(shù)據(jù)標(biāo)準(zhǔn) 31
1.4.5　降低持有成本 31
1.4.6　完善治理組織 32
1.5　本章小結(jié) 32
第2章 敏捷數(shù)據(jù)治理方法論 33
2.1　什么是敏捷數(shù)據(jù)治理 34
2.1.1　統(tǒng)計報表的局限性 36
2.1.2　非數(shù)字原生企業(yè)的轉(zhuǎn)型挑戰(zhàn) 39
2.1.3　常見數(shù)據(jù)治理框架的局限性 40
2.1.4　數(shù)據(jù)標(biāo)準(zhǔn)化面臨的困難 42
2.1.5　數(shù)據(jù)治理的常見誤區(qū) 43
2.2　敏捷數(shù)據(jù)治理的總體框架、執(zhí)行要點及主要特性 45
2.2.1　敏捷數(shù)據(jù)治理的總體框架 46
2.2.2　敏捷數(shù)據(jù)治理的執(zhí)行要點 49
2.2.3　敏捷數(shù)據(jù)治理的主要特性 52
2.3　確定目標(biāo)、厘清現(xiàn)狀 53
2.3.1　調(diào)研及評估 54
2.3.2　如何獲得高層管理者的支持 56
2.3.3　如何獲得業(yè)務(wù)部門的支持 58
2.3.4　常見的數(shù)據(jù)治理切入點 60
2.4　數(shù)據(jù)治理平臺規(guī)劃 65
2.4.1　有效的數(shù)據(jù)治理計劃 66
2.4.2　技術(shù)路徑選擇 70
2.4.3　組織保障體系 72
2.5　本章小結(jié) 75
第二篇　平臺建設(shè)與工具
第3章 敏捷數(shù)據(jù)治理平臺的技術(shù)規(guī)劃 78
3.1　技術(shù)框架的總體思考 79
3.1.1　彼之蜜糖，汝之砒霜 80
3.1.2　數(shù)據(jù)的處理與存儲方式 83
3.1.3　數(shù)據(jù)庫、數(shù)據(jù)倉庫與數(shù)據(jù)中臺 86
3.1.4　數(shù)據(jù)特性的治理差異 88
3.1.5　云原生 89
3.1.6　微服務(wù) 90
3.1.7　應(yīng)用性能監(jiān)控 91
3.2　數(shù)據(jù)存儲 92
3.2.1　規(guī)劃要點 93
3.2.2　存儲備份 94
3.2.3　實操經(jīng)驗 96
3.3　數(shù)據(jù)技術(shù)底座 98
3.3.1　公有云套件 99
3.3.2　私有化部署 101
3.4　數(shù)據(jù)ETL 103
3.4.1　多源異構(gòu) 104
3.4.2　任務(wù)調(diào)度 105
3.4.3　數(shù)據(jù)清洗 106
3.5　產(chǎn)品選型建議 107
3.5.1　技術(shù)架構(gòu) 108
3.5.2　成本預(yù)算 110
3.5.3　供應(yīng)商綜合實力 112
3.6　本章小結(jié) 114
第4章 敏捷數(shù)據(jù)治理平臺的功能分析 115
4.1　智能數(shù)據(jù)應(yīng)用 115
4.1.1　自助式BI分析 116
4.1.2　數(shù)據(jù)分析洞察 118
4.1.3　數(shù)據(jù)預(yù)警 120
4.2　數(shù)據(jù)指標(biāo)體系 121
4.2.1　數(shù)據(jù)梳理：自上而下 122
4.2.2　數(shù)據(jù)梳理：自下而上 125
4.2.3　可視化指標(biāo)管理 127
4.3　模型構(gòu)建 129
4.3.1　指標(biāo)模型 130
4.3.2　數(shù)據(jù)模型 136
4.3.3　算法模型 138
4.3.4　展示模型 140
4.4　主數(shù)據(jù)管理 143
4.4.1　主數(shù)據(jù)編碼 144
4.4.2　主數(shù)據(jù)集成 148
4.4.3　主數(shù)據(jù)范圍識別及難點分析 149
4.5　元數(shù)據(jù)管理 153
4.5.1　應(yīng)用場景 156
4.5.2　難點及案例分析 156
4.6　數(shù)據(jù)標(biāo)準(zhǔn)管理 160
4.6.1　標(biāo)準(zhǔn)制定 162
4.6.2　標(biāo)準(zhǔn)落地 163
4.6.3　常見問題 170
4.6.4　難點分析 172
4.6.5　術(shù)語辨析 175
4.7　數(shù)據(jù)質(zhì)量管理 177
4.7.1　質(zhì)量指標(biāo) 178
4.7.2　事前預(yù)防 180
4.7.3　事中控制 181
4.7.4　事后補(bǔ)救 181
4.7.5　難點分析 183
4.8　本章小結(jié) 184
第5章 數(shù)據(jù)治理項目的落地實施 185
5.1　項目實施過程管理 187
5.1.1　項目啟動 188
5.1.2　例行會議 189
5.1.3　管理要點 190
5.2　長效運(yùn)營與持續(xù)改善 192
5.2.1　組織挑戰(zhàn) 193
5.2.2　文化挑戰(zhàn) 194
5.3　項目實踐中的難點 195
5.4　本章小結(jié) 199
第6章 數(shù)據(jù)治理工具箱 201
6.1　數(shù)據(jù)ETL工具 203
6.1.1　功能與特點 204
6.1.2　開源ETL產(chǎn)品 206
6.1.3　商業(yè)ETL產(chǎn)品 208
6.1.4　缺陷評述 209
6.1.5　選型建議 210
6.2　主數(shù)據(jù)管理工具 212
6.2.1　功能與特點 212
6.2.2　開源MDM產(chǎn)品 214
6.2.3　商業(yè)MDM產(chǎn)品 214
6.2.4　缺陷評述 215
6.2.5　選型建議 216
6.3　元數(shù)據(jù)管理工具 218
6.3.1　功能與特點 219
6.3.2　開源元數(shù)據(jù)管理產(chǎn)品 220
6.3.3　商業(yè)元數(shù)據(jù)管理產(chǎn)品 221
6.3.4　缺陷評述 222
6.3.5　選型建議 224
6.4　數(shù)據(jù)標(biāo)準(zhǔn)管理工具 224
6.4.1　功能與特點 225
6.4.2　產(chǎn)品介紹 226
6.5　數(shù)據(jù)質(zhì)量管理工具 226
6.5.1　功能與特點 227
6.5.2　開源數(shù)據(jù)質(zhì)量管理產(chǎn)品 229
6.5.3　商業(yè)數(shù)據(jù)質(zhì)量管理產(chǎn)品 230
6.5.4　缺陷評述 231
6.5.5　選型建議 232
6.6　數(shù)據(jù)共享與開放工具 233
6.6.1　數(shù)據(jù)資產(chǎn)目錄 233
6.6.2　BI報表 236
6.7　本章小結(jié) 241
第三篇　場景解讀
第7章 應(yīng)用場景 244
7.1　大型集團(tuán)/企業(yè) 245
7.1.1　案例：A集團(tuán)的協(xié)同管控之路 245
7.1.2　難點解析 247
7.1.3　應(yīng)對策略 249
7.1.4　實現(xiàn)效果 250
7.2　零售與分銷行業(yè) 252
7.2.1　案例：B零售公司數(shù)據(jù)治理助推數(shù)字化轉(zhuǎn)型 252
7.2.2　難點解析 254
7.2.3　應(yīng)對策略 256
7.2.4　實現(xiàn)效果 257
7.3　制造業(yè) 258
7.3.1　案例：C零部件制造企業(yè)數(shù)據(jù)驅(qū)動的業(yè)務(wù)優(yōu)化 259
7.3.2　難點解析 260
7.3.3　應(yīng)對策略 260
7.3.4　實現(xiàn)效果 261
7.4　電商行業(yè) 263
7.4.1　案例：D電商公司數(shù)據(jù)治理支持精準(zhǔn)營銷 263
7.4.2　難點解析 264
7.4.3　應(yīng)對策略 265
7.4.4　實現(xiàn)效果 266
7.5　政府、金融和能源等領(lǐng)域 268
7.5.1　案例：數(shù)據(jù)開放與治理 268
7.5.2　難點解析 270
7.5.3　應(yīng)對策略 271
7.5.4　實現(xiàn)效果 273
7.6　本章小結(jié) 275
第8章 技術(shù)場景 276
8.1　混合云架構(gòu)下的數(shù)據(jù)治理 277
8.1.1　案例：E醫(yī)療集團(tuán)的數(shù)據(jù)治理 277
8.1.2　難點解析 278
8.1.3　應(yīng)對策略 279
8.1.4　實現(xiàn)效果 280
8.2　大數(shù)據(jù)架構(gòu)下的數(shù)據(jù)治理 282
8.2.1　案例：F廣告公司的大數(shù)據(jù)營銷平臺 282
8.2.2　難點解析 283
8.2.3　應(yīng)對策略 284
8.2.4　實現(xiàn)效果 285
8.3　微服務(wù)架構(gòu)下的數(shù)據(jù)治理 287
8.3.1　案例：G烘焙公司的數(shù)據(jù)一體化平臺 287
8.3.2　難點解析 288
8.3.3　應(yīng)對策略 290
8.3.4　實現(xiàn)效果 291
8.4　本章小結(jié) 293
第9章 業(yè)務(wù)場景 294
9.1　財務(wù)數(shù)據(jù)治理與應(yīng)用 295
9.1.1　案例：H集團(tuán)的業(yè)財一體化平臺建設(shè) 295
9.1.2　難點解析 297
9.1.3　應(yīng)對策略 298
9.1.4　實現(xiàn)效果 299
9.2　供應(yīng)鏈數(shù)據(jù)治理與應(yīng)用 300
9.2.1　案例：J零售連鎖企業(yè)集成供應(yīng)鏈協(xié)同優(yōu)化 300
9.2.2　難點解析 302
9.2.3　應(yīng)對策略 303
9.2.4　實現(xiàn)效果 305
9.3　營銷數(shù)據(jù)治理與應(yīng)用 306
9.3.1　案例：K電子商務(wù)公司的精準(zhǔn)營銷 307
9.3.2　難點解析 308
9.3.3　相關(guān)技術(shù) 309
9.3.4　應(yīng)對策略 310
9.3.5　實現(xiàn)效果 311
9.4　生產(chǎn)數(shù)據(jù)治理與應(yīng)用 312
9.4.1　案例：M機(jī)械制造企業(yè)的生產(chǎn)效率提升 313
9.4.2　難點解析 314
9.4.3　相關(guān)技術(shù) 315
9.4.4　應(yīng)對策略 316
9.4.5　實現(xiàn)效果 318
9.5　本章小結(jié) 320
后記 總結(jié)與展望 321