數(shù)據(jù)挖掘與數(shù)據(jù)化運營實戰(zhàn)：思路、方法、技巧與應用

目　　錄
推薦序
前言
第1章　什么是數(shù)據(jù)化運營 / 1
1.1　現(xiàn)代營銷理論的發(fā)展歷程 / 2
1.1.1　從4P到4C / 2
1.1.2　從4C到3P3C / 3
1.2　數(shù)據(jù)化運營的主要內容 / 5
1.3　為什么要數(shù)據(jù)化運營 / 7
1.4　數(shù)據(jù)化運營的必要條件 / 8
1.4.1　企業(yè)級海量數(shù)據(jù)存儲的實現(xiàn) / 8
1.4.2　精細化運營的需求 / 10
1.4.3　數(shù)據(jù)分析和數(shù)據(jù)挖掘技術的有效應用 / 11
1.4.4　企業(yè)決策層的倡導與持續(xù)支持 / 11
1.5　數(shù)據(jù)化運營的新現(xiàn)象與新發(fā)展 / 12
1.6　關于互聯(lián)網(wǎng)和電子商務的最新數(shù)據(jù) / 14
第2章　數(shù)據(jù)挖掘概述 / 15
2.1　數(shù)據(jù)挖掘的發(fā)展歷史 / 16
2.2　統(tǒng)計分析與數(shù)據(jù)挖掘的主要區(qū)別 / 16
2.3　數(shù)據(jù)挖掘的主要成熟技術以及在數(shù)據(jù)化運營中的主要應用 / 18
2.3.1　決策樹 / 18
2.3.2　神經(jīng)網(wǎng)絡 / 19
2.3.3　回歸 / 21
2.3.4　關聯(lián)規(guī)則 / 22
2.3.5　聚類 / 23
2.3.6　貝葉斯分類方法 / 24
2.3.7　支持向量機 / 25
2.3.8　主成分分析 / 26
2.3.9　假設檢驗 / 27
2.4　互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)挖掘應用的特點 / 28
第3章　數(shù)據(jù)化運營中常見的數(shù)據(jù)分析項目類型 / 30
3.1　目標客戶的特征分析 / 31
3.2　目標客戶的預測（響應、分類）模型 / 32
3.3　運營群體的活躍度定義 / 33
3.4　用戶路徑分析 / 34
3.5　交叉銷售模型 / 35
3.6　信息質量模型 / 37
3.7　服務保障模型 / 39
3.8　用戶（買家、賣家）分層模型 / 40
3.9　賣家（買家）交易模型 / 44
3.10　信用風險模型 / 44
3.11　商品推薦模型 / 45
3.11.1　商品推薦介紹 / 45
3.11.2　關聯(lián)規(guī)則 / 45
3.11.3　協(xié)同過濾算法 / 50
3.11.4　商品推薦模型總結 / 54
3.12　數(shù)據(jù)產品 / 55
3.13　決策支持 / 56
第4章　數(shù)據(jù)化運營是跨專業(yè)、跨團隊的協(xié)調與合作 / 57
4.1　數(shù)據(jù)分析團隊與業(yè)務團隊的分工和定位 / 58
4.1.1　提出業(yè)務分析需求并且能勝任基本的數(shù)據(jù)分析 / 58
4.1.2　提供業(yè)務經(jīng)驗和參考建議 / 60
4.1.3　策劃和執(zhí)行精細化運營方案 / 60
4.1.4　跟蹤運營效果、反饋和總結 / 61
4.2　數(shù)據(jù)化運營是真正的多團隊、多專業(yè)的協(xié)同作業(yè) / 62
4.3　實例示范數(shù)據(jù)化運營中的跨專業(yè)、跨團隊協(xié)調合作 / 62
第5章　分析師常見的錯誤觀念和對治的管理策略 / 67
5.1　輕視業(yè)務論 / 68
5.2　技術萬能論 / 69
5.3　技術尖端論 / 71
5.4　建模與應用兩段論 / 72
5.5　機器萬能論 / 73
5.6　幸福的家庭都是相似的，不幸的家庭各有各的不幸 / 74
第6章　數(shù)據(jù)挖掘項目完整應用案例演示 / 76
6.1　項目背景和業(yè)務分析需求的提出 / 77
6.2　數(shù)據(jù)分析師參與需求討論 / 78
6.3　制定需求分析框架和分析計劃 / 79
6.4　抽取樣本數(shù)據(jù)、熟悉數(shù)據(jù)、數(shù)據(jù)清洗和摸底 / 81
6.5　按計劃初步搭建挖掘模型 / 81
6.6　與業(yè)務方討論模型的初步結論，提出新的思路和模型優(yōu)化方案 / 83
6.7　按優(yōu)化方案重新抽取樣本并建模，提煉結論并驗證模型 / 84
6.8　完成分析報告和落地應用建議 / 86
6.9　制定具體的落地應用方案和評估方案 / 86
6.10　業(yè)務方實施落地應用方案并跟蹤、評估效果 / 86
6.11　落地應用方案在實際效果評估后，不斷修正完善 / 88
6.12　不同運營方案的評估、總結和反饋 / 88
6.13　項目應用后的總結和反思 / 89
第7章　數(shù)據(jù)挖掘建模的優(yōu)化和限度 / 90
7.1　數(shù)據(jù)挖掘模型的優(yōu)化要遵循有效、適度的原則 / 91
7.2　如何有效地優(yōu)化模型 / 92
7.2.1　從業(yè)務思路上優(yōu)化 / 92
7.2.2　從建模的技術思路上優(yōu)化 / 94
7.2.3　從建模的技術技巧上優(yōu)化 / 95
7.3　如何思考優(yōu)化的限度 / 96
7.4　模型效果評價的主要指標體系 / 96
7.4.1　評價模型準確度和精度的系列指標 / 97
7.4.2　ROC曲線 / 99
7.4.3　KS值 / 100
7.4.4　Lift值 / 102
7.4.5　模型穩(wěn)定性的評估 / 104
第8章　常見的數(shù)據(jù)處理技巧 / 105
8.1　數(shù)據(jù)的抽取要正確反映業(yè)務需求 / 106
8.2　數(shù)據(jù)抽樣 / 107
8.3　分析數(shù)據(jù)的規(guī)模有哪些具體的要求 / 108
8.4　如何處理缺失值和異常值 / 109
8.4.1　缺失值的常見處理方法 / 109
8.4.2　異常值的判斷和處理 / 111
8.5　數(shù)據(jù)轉換 / 112
8.5.1　生成衍生變量 / 113
8.5.2　改善變量分布的轉換 / 113
8.5.3　分箱轉換 / 114
8.5.4　數(shù)據(jù)的標準化 / 115
8.6　篩選有效的輸入變量 / 115
8.6.1　為什么要篩選有效的輸入變量 / 116
8.6.2　結合業(yè)務經(jīng)驗進行先行篩選 / 116
8.6.3　用線性相關性指標進行初步篩選 / 117
8.6.4　R平方 / 118
8.6.5　卡方檢驗 / 119
8.6.6　IV和WOE / 120
8.6.7　部分建模算法自身的篩選功能 / 121
8.6.8　降維的方法 / 122
8.6.9　最后的準則 / 122
8.7　共線性問題 / 123
8.7.1　如何發(fā)現(xiàn)共線性 / 123
8.7.2　如何處理共線性 / 123
第9章　聚類分析的典型應用和技術小竅門 / 125
9.1　聚類分析的典型應用場景 / 126
9.2　主要聚類算法的分類 / 127
9.2.1　劃分方法 / 127
9.2.2　層次方法 / 128
9.2.3　基于密度的方法 / 128
9.2.4　基于網(wǎng)格的方法 / 129
9.3　聚類分析在實踐應用中的重點注意事項 / 129
9.3.1　如何處理數(shù)據(jù)噪聲和異常值 / 129
9.3.2　數(shù)據(jù)標準化 / 130
9.3.3　聚類變量的少而精 / 131
9.4　聚類分析的擴展應用 / 132
9.4.1　聚類的核心指標與非聚類的業(yè)務指標相輔相成 / 132
9.4.2　數(shù)據(jù)的探索和清理工具 / 132
9.4.3　個性化推薦的應用 / 133
9.5　聚類分析在實際應用中的優(yōu)勢和缺點 / 134
9.6　聚類分析結果的評價體系和評價指標 / 135
9.6.1　業(yè)務專家的評估 / 135
9.6.2　聚類技術上的評價指標 / 136
9.7　一個典型的聚類分析課題的案例分享 / 137
9.7.1　案例背景 / 137
9.7.2　基本的數(shù)據(jù)摸底 / 137
9.7.3　基于用戶樣本的聚類分析的初步結論 / 138
第10章　預測響應（分類）模型的典型應用和技術小竅門 / 140
10.1　神經(jīng)網(wǎng)絡技術的實踐應用和注意事項 / 141
10.1.1　神經(jīng)網(wǎng)絡的原理和核心要素 / 141
10.1.2　神經(jīng)網(wǎng)絡的應用優(yōu)勢 / 143
10.1.3　神經(jīng)網(wǎng)絡技術的缺點和注意事項 / 143
10.2　決策樹技術的實踐應用和注意事項 / 144
10.2.1　決策樹的原理和核心要素 / 144
10.2.2　CHAID算法 / 145
10.2.3　CART算法 / 145
10.2.4　ID3算法 / 146
10.2.5　決策樹的應用優(yōu)勢 / 146
10.2.6　決策樹的缺點和注意事項 / 147
10.3　邏輯回歸技術的實踐應用和注意事項 / 148
10.3.1　邏輯回歸的原理和核心要素 / 148
10.3.2　回歸中的變量篩選方法 / 150
10.3.3　邏輯回歸的應用優(yōu)勢 / 151
10.3.4　邏輯回歸應用中的注意事項 / 151
10.4　多元線性回歸技術的實踐應用和注意事項 / 152
10.4.1　線性回歸的原理和核心要素 / 152
10.4.2　線性回歸的應用優(yōu)勢 / 153
10.4.3　線性回歸應用中的注意事項 / 153
10.5　模型的過擬合及對策 / 154
10.6　一個典型的預測響應模型的案例分享 / 156
10.6.1　案例背景 / 156
10.6.2　基本的數(shù)據(jù)摸底 / 156
10.6.3　建模數(shù)據(jù)的抽取和清洗 / 158
10.6.4　初步的相關性檢驗和共線性排查 / 159
10.6.5　潛在自變量的分布轉換 / 160
10.6.6　自變量的篩選 / 161
10.6.7　響應模型的搭建與優(yōu)化 / 162
10.6.8　冠軍模型的確定和主要的分析結論 / 162
10.6.9　基于模型和分析結論基礎上的運營方案 / 164
10.6.10　模型落地應用效果跟蹤反饋 / 165
第11章　用戶特征分析的典型應用和技術小竅門 / 166
11.1　用戶特征分析所適用的典型業(yè)務場景 / 167
11.1.1　尋找目標用戶 / 167
11.1.2　尋找運營的抓手 / 168
11.1.3　用戶群體細分的依據(jù) / 169
11.1.4　新品開發(fā)的線索和依據(jù) / 169
11.2　用戶特征分析的典型分析思路和分析技術 / 170
11.2.1　3種劃分的區(qū)別 / 170
11.2.2　RFM / 171
11.2.3　聚類技術的應用 / 172
11.2.4　決策樹技術的應用 / 173
11.2.5　預測（響應）模型中的核心自變量 / 173
11.2.6　假設檢驗的應用 / 174
11.3　特征提煉后的評價體系 / 174
11.4　用戶特征分析與用戶預測模型的區(qū)別和聯(lián)系 / 175
11.5　用戶特征分析案例 / 176
第12章　運營效果分析的典型應用和技術小竅門 / 177
12.1　為什么要做運營效果分析 / 178
12.2　統(tǒng)計技術在數(shù)據(jù)化運營中最重要最常見的應用 / 179
12.2.1　為什么要進行假設檢驗 / 179
12.2.2　假設檢驗的基本思想 / 179
12.2.3　T檢驗概述 / 180
12.2.4　兩組獨立樣本T檢驗的假設和檢驗 / 181
12.2.5　兩組獨立樣本的非參數(shù)檢驗 / 182
12.2.6　配對差值的T檢驗 / 183
12.2.7　配對差值的非參數(shù)檢驗 / 184
12.2.8　方差分析概述 / 186
12.2.9　單因素方差分析 / 187
12.2.10　多個樣本組的非參數(shù)檢驗 / 190
12.2.11　卡方檢驗 / 190
12.2.12　控制變量的方法 / 191
12.2.13　AB Test / 192
第13章　漏斗模型和路徑分析 / 193
13.1　網(wǎng)絡日志和布點 / 194
13.1.1　日志布點 / 195
13.1.2　日志采集 / 195
13.1.3　日志解析 / 195
13.1.4　日志分析 / 195
13.2　漏斗模型與路徑分析的主要區(qū)別和聯(lián)系 / 196
13.3　漏斗模型的主要應用場景 / 197
13.3.1　運營過程的監(jiān)控和運營效率的分析與改善 / 197
13.3.2　用戶關鍵路徑分析 / 198
13.3.3　產品優(yōu)化 / 198
13.4　路徑分析的主要應用場景 / 198
13.5　路徑分析的主要算法 / 199
13.5.1　社會網(wǎng)絡分析方法 / 199
13.5.2　基于序列的關聯(lián)分析 / 200
13.5.3　最樸素的遍歷方法 / 201
13.6　路徑分析案例的分享 / 203
13.6.1　案例背景 / 203
13.6.2　主要的分析技術介紹 / 203
13.6.3　分析所用的數(shù)據(jù)概況 / 203
13.6.4　主要的數(shù)據(jù)結論和業(yè)務解說 / 203
13.6.5　主要分析結論的落地應用跟蹤 / 206
第14章　數(shù)據(jù)分析師對業(yè)務團隊數(shù)據(jù)分析能力的培養(yǎng) / 208
14.1　培養(yǎng)業(yè)務團隊數(shù)據(jù)分析意識與能力的重要性 / 209
14.2　數(shù)據(jù)分析師在業(yè)務團隊數(shù)據(jù)分析意識能力培養(yǎng)中的作用 / 210
14.3　數(shù)據(jù)分析師如何培養(yǎng)業(yè)務團隊的數(shù)據(jù)分析意識和能力 / 210
14.4　數(shù)據(jù)分析師培養(yǎng)業(yè)務團隊數(shù)據(jù)分析意識能力的案例分享 / 212
14.4.1　 案例背景 / 212
14.4.2　過程描述 / 212
14.4.3　本項目的效果跟蹤 / 214
第15章　換位思考 / 216
15.1　為什么要換位思考 / 217
15.2　從業(yè)務方的角度換位思考數(shù)據(jù)分析與挖掘 / 218
15.3　從同行的角度換位思考數(shù)據(jù)分析挖掘的經(jīng)驗教訓 / 220
第16章　養(yǎng)成數(shù)據(jù)分析師的品質和思維模式 / 222
16.1　態(tài)度決定一切 / 223
16.1.1　信念 / 223
16.1.2　信心 / 224
16.1.3　熱情 / 225
16.1.4　敬畏 / 226
16.1.5　感恩 / 227
16.2　商業(yè)意識是核心 / 228
16.2.1　為什么商業(yè)意識是核心 / 228
16.2.2　如何培養(yǎng)商業(yè)意識 / 229
16.3　一個基本的方法論 / 230
16.4　大膽假設，小心求證 / 231
16.5　20/80原理 / 233
16.6　結構化思維 / 233
16.7　優(yōu)秀的數(shù)據(jù)分析師既要客觀，又要主觀 / 234
第17章　條條大道通羅馬 / 236
17.1　為什么會條條大道通羅馬 / 237
17.2　條條大道有側重 / 238
17.3　自覺服從和積極響應 / 239
17.3.1　自覺服從 / 239
17.3.2　積極響應 / 240
17.4　具體示例 / 242
第18章　數(shù)據(jù)挖掘實踐的質量保障流程和制度 / 243
18.1　一個有效的質量保障流程制度 / 244
18.1.1　業(yè)務需求的收集 / 245
18.1.2　評估小組評估需求的優(yōu)先級 / 246
18.1.3　課題組的成立及前期摸底 / 247
18.1.4　向業(yè)務方提交正式課題（項目）計劃書 / 247
18.1.5　數(shù)據(jù)分析挖掘的課題展開 / 248
18.1.6　向業(yè)務方提交結論報告及業(yè)務落地應用建議 / 248
18.1.7　課題（項目）的落地應用和效果監(jiān)控反饋 / 248
18.2　質量保障流程制度的重要性 / 249
18.3　如何支持與強化質量保障流程制度 / 250
第19章　幾個經(jīng)典的數(shù)據(jù)挖掘方法論 / 251
19.1　SEMMA方法論 / 252
19.1.1　數(shù)據(jù)取樣 / 253
19.1.2　數(shù)據(jù)探索 / 253
19.1.3　數(shù)據(jù)調整 / 253
19.1.4　模式化 / 254
19.1.5　評價 / 254
19.2　CRISP-DM方法論 / 254
19.2.1　業(yè)務理解 / 255
19.2.2　數(shù)據(jù)理解 / 256
19.2.3 　數(shù)據(jù)準備 / 256
19.2.4　模型搭建 / 256
19.2.5　模型評估 / 256
19.2.6　模型發(fā)布 / 256
19.3　Tom Khabaza的挖掘9律 / 256