用戶畫像：平臺構(gòu)建與業(yè)務實踐

目　　錄
前　言
第1章　了解畫像平臺　1
1.1　畫像基本概念　1
1.1.1　什么是畫像　1
1.1.2　畫像的重要性　2
1.1.3　畫像平臺定位　3
1.2　OLAP介紹　3
1.2.1　OLAP與OLTP對比　3
1.2.2　OLAP場景關(guān)鍵特征　4
1.2.3　OLAP的3種建模類型　5
1.2.4　OLAP相關(guān)技術(shù)發(fā)展歷程　5
1.3　業(yè)界畫像平臺介紹　6
1.3.1　神策數(shù)據(jù)　7
1.3.2　火山引擎增長分析　10
1.3.3　GrowingIO　13
1.3.4　阿里云智能用戶增長　16
1.4　畫像平臺涉及的崗位　18
1.4.1　數(shù)據(jù)工程師　18
1.4.2　算法工程師　18
1.4.3　研發(fā)工程師　18
1.4.4　產(chǎn)品經(jīng)理　19
1.4.5　運營人員　19
1.5　本章小結(jié)　19
第2章　畫像平臺功能與架構(gòu)　20
2.1　畫像平臺主要功能　20
2.1.1　標簽管理　20
2.1.2　標簽服務　24
2.1.3　分群功能　25
2.1.4　畫像分析　28
2.2　畫像平臺技術(shù)架構(gòu)　32
2.2.1　畫像平臺常見的技術(shù)架構(gòu)　32
2.2.2　畫像平臺技術(shù)選型示例　33
2.2.3　業(yè)界畫像功能技術(shù)選型　35
2.3　畫像平臺的3種數(shù)據(jù)模型　36
2.4　本章小結(jié)　38
第3章　標簽管理　40
3.1　標簽管理整體架構(gòu)　40
3.2　標簽分類　43
3.2.1　標簽實體及ID類型　43
3.2.2　標簽分類方式　44
3.3　標簽管理功能實現(xiàn)　48
3.3.1　標簽存儲　48
3.3.2　標簽生產(chǎn)　55
3.3.3　標簽數(shù)據(jù)監(jiān)控　67
3.3.4　工程實現(xiàn)　69
3.4　崗位分工介紹　70
3.5　本章小結(jié)　72
第4章　標簽服務　73
4.1　標簽服務整體架構(gòu)　73
4.2　標簽查詢服務　74
4.2.1　標簽查詢服務介紹　74
4.2.2　標簽數(shù)據(jù)灌入緩存　76
4.2.3　標簽數(shù)據(jù)結(jié)構(gòu)　79
4.2.4　標簽數(shù)據(jù)處理　81
4.2.5　工程實現(xiàn)　83
4.3　標簽元數(shù)據(jù)查詢服務　85
4.3.1　標簽元數(shù)據(jù)查詢服務介紹　85
4.3.2　工程實現(xiàn)　87
4.4　標簽實時預測服務　89
4.4.1　標簽實時預測服務介紹　89
4.4.2　工程實現(xiàn)　90
4.5　ID-Mapping　93
4.6　崗位分工介紹　97
4.7　本章小結(jié)　98
第5章　分群功能　99
5.1　分群功能整體架構(gòu)　99
5.2　基礎(chǔ)數(shù)據(jù)準備　101
5.2.1　畫像寬表　101
5.2.2　畫像BitMap　108
5.3　人群創(chuàng)建方式　111
5.3.1　規(guī)則圈選　112
5.3.2　導入人群　119
5.3.3　組合人群　121
5.3.4　行為明細　123
5.3.5　人群Lookalike　125
5.3.6　挖掘人群　126
5.3.7　LBS人群　127
5.3.8　其他人群圈選　128
5.3.9　工程實現(xiàn)　131
5.4　人群數(shù)據(jù)對外輸出　137
5.5　人群附加功能　138
5.5.1　人群預估　138
5.5.2　人群拆分　140
5.5.3　人群自動更新　141
5.5.4　人群下載　142
5.5.5　ID轉(zhuǎn)換　143
5.6　人群判存服務　144
5.6.1　Redis方案　144
5.6.2　BitMap方案　147
5.6.3　基于規(guī)則的判存　149
5.7　崗位分工介紹　150
5.8　本章小結(jié)　152
第6章　畫像分析　153
6.1　畫像分析整體架構(gòu)　153
6.2　人群畫像分析　155
6.2.1　人群分布分析　155
6.2.2　人群指標分析　156
6.2.3　人群下鉆分析　157
6.2.4　人群交叉分析　158
6.2.5　人群對比分析　158
6.2.6　工程實現(xiàn)　159
6.3　人群即席分析　165
6.3.1　分布分析與指標分析　166
6.3.2　下鉆分析與交叉分析　167
6.3.3　人群畫像預覽　168
6.4　行為明細分析　169
6.4.1　明細統(tǒng)計　171
6.4.2　用戶分析　173
6.4.3　流程轉(zhuǎn)化　176
6.4.4　價值分析　179
6.4.5　工程實現(xiàn)　181
6.5　單用戶分析　183
6.5.1　用戶畫像查詢　184
6.5.2　用戶關(guān)系數(shù)據(jù)分析　185
6.5.3　用戶漲掉粉分析　190
6.5.4　用戶內(nèi)容流量分析　192
6.6　其他常見分析　193
6.6.1　業(yè)務分析看板　193
6.6.2　地域分析　195
6.6.3　人群投放分析　197
6.7　崗位分工介紹　199
6.8　本章小結(jié)　200
第7章　從0到1構(gòu)建畫像平臺　201
7.1　基礎(chǔ)準備　201
7.1.1　技術(shù)組件協(xié)作關(guān)系　201
7.1.2　基礎(chǔ)環(huán)境準備　203
7.2　大數(shù)據(jù)環(huán)境搭建　206
7.2.1　Hadoop　207
7.2.2　Spark　210
7.2.3　Hive　212
7.2.4　ZooKeeper　215
7.2.5　DolphinScheduler　216
7.2.6　Flink　217
7.3　存儲引擎安裝　219
7.3.1　ClickHouse　219
7.3.2　Redis　221
7.3.3　MySQL　222
7.4　工程框架搭建　223
7.4.1　服務端工程搭建　223
7.4.2　前端工程搭建　237
7.5　運行開源代碼　238
7.6　本章小結(jié)　240
第8章　畫像平臺應用與業(yè)務實踐　241
8.1　畫像平臺常見應用案