AB實驗：科學歸因與增長的利器

前言
第一部分　了解AB實驗
第1章　AB實驗的基本原理和應(yīng)用002
1.1　什么是AB實驗002
1.1.1　AB實驗的定義002
1.1.2　AB實驗的類型004
1.2　AB實驗的3個基本要素005
1.2.1　實驗參與單元005
1.2.2　實驗控制參數(shù)007
1.2.3　實驗指標008
1.3　AB實驗的2個核心價值009
1.3.1　定性因果：驗證因果關(guān)系，確保方向正確009
1.3.2　定量增長：實踐數(shù)據(jù)驅(qū)動，精細成本收益012
1.4　AB實驗的2個關(guān)鍵特性015
1.5　AB實驗行業(yè)應(yīng)用016
1.5.1　AB實驗應(yīng)用場景016
1.5.2　AB實驗應(yīng)用案例018
第二部分　深入AB實驗
第2章　AB實驗的關(guān)鍵問題026
2.1　實驗參與對象的3個問題027
2.2　實驗隨機分流的3個問題027
2.3　實驗指標的2個問題028
2.4　實驗分析和評估的3個問題028
第3章　AB實驗的統(tǒng)計學知識031
3.1　隨機抽樣和抽樣分布032
3.2　區(qū)間估計和置信區(qū)間037
3.3　樣本容量和邊際誤差038
3.3.1　均值類指標038
3.3.2　比率類指標040
3.4　假設(shè)檢驗041
3.4.1　為什么需要假設(shè)檢驗041
3.4.2　如何進行假設(shè)檢驗042
3.4.3　第一類錯誤、第二類錯誤和功效047
3.4.4　如何計算功效049
3.5　非參數(shù)檢驗051
3.6　方差估計問題052
3.6.1　變化絕對差和相對差的方差估計053
3.6.2　比率類指標的方差估計054
3.6.3　其他指標的方差估計055
3.6.4　異常點對方差估計的影響055
3.7　多重測試問題056
3.7.1　什么是多重測試問題056
3.7.2　如何避免多重測試056
3.7.3　如何控制多重測試問題058
第4章　AB實驗參與單元061
4.1　實驗參與單元的選擇061
4.1.1　常見的實驗參與單元062
4.1.2　實驗參與單元粒度與實驗評估066
4.1.3　用戶級別的實驗參與單元067
4.2　實驗參與單元的SUTVA問題070
4.2.1　什么是SUTVA070
4.2.2　為什么需要讓SUTVA成立071
4.2.3　導致SUTVA不成立的原因073
4.2.4　如何解決SUTVA不成立的問題075
4.3　最小實驗參與單元數(shù)量079
第5章　AB實驗的隨機分流083
5.1　單層分流模式083
5.2　正交分層模式084
5.2.1　正交性問題085
5.2.2　分層問題087
5.3　散列算法089
第6章　AB實驗的SRM問題092
6.1　什么是SRM問題092
6.2　導致SRM問題的原因093
6.2.1　部署階段093
6.2.2　執(zhí)行階段097
6.2.3　數(shù)據(jù)處理和分析階段098
6.3　SRM指標計算和定位099
6.3.1　SRM指標計算099
6.3.2　定位SRM問題099
第7章　AA實驗101
7.1　AA實驗的意義101
7.1.1　控制第一類錯誤102
7.1.2　確保用戶同質(zhì)104
7.1.3　數(shù)據(jù)指標對齊105
7.1.4　估計統(tǒng)計方差106
7.2　如何運行AA實驗108
7.2.1　什么時候運行AA實驗108
7.2.2　AA實驗失敗的常見原因110
第8章　AB實驗的靈敏度112
8.1　什么是實驗靈敏度112
8.2　如何提升實驗靈敏度113
8.3　選擇指標114
8.3.1　選擇方差較小的評估指標114
8.3.2　標準化評估指標115
8.4　選擇實驗參與對象116
8.4.1　采用更細粒度的單元隨機化對象116
8.4.2　使用觸發(fā)分析116
8.5　選擇實驗分組117
8.5.1　使用分層、控制變量或CUPED方法117
8.5.2　設(shè)計配對實驗119
8.6　定向觸發(fā)技術(shù)和評估119
8.6.1　觸發(fā)的方式120
8.6.2　觸發(fā)范圍變化121
8.6.3　觸發(fā)實驗的分析123
8.6.4　觸發(fā)檢驗125
8.6.5　觸發(fā)技術(shù)的局限性125
8.7　如何驗證實驗靈敏度的提升127
第9章　AB實驗的長期影響129
9.1　長短期影響不一致的原因130
9.2　評估長期影響的意義133
9.3　如何評估長期影響134
9.3.1　長周期實驗134
9.3.2　保留實驗和反轉(zhuǎn)實驗136
9.3.3　后期分析法137
9.3.4　時間交錯實驗法139
9.3.5　固定群組分析法140
9.3.6　長期影響的代理指標法141
第三部分　AB實驗評估指標體系
第10章　產(chǎn)品指標體系145
10.1　什么是指標體系145
10.2　設(shè)計指標146
10.2.1　基于OKR的分級法147
10.2.2　OSM模型法153
10.2.3　指標設(shè)計和開發(fā)技巧154
10.3　評估指標156
10.3.1　信息增益156
10.3.2　因果關(guān)系158
10.3.3　長期有效性158
10.4　進化指標159
10.5　指標分類162
10.6　指標體系設(shè)計案例165
第11章　實驗評估指標體系169
11.1　實驗評估指標的3個基本條件169
11.2　選擇更好的實驗評估指標170
11.2.1　綜合指向性與靈敏性170
11.2.2　從業(yè)務(wù)視角出發(fā)172
11.2.3　考慮應(yīng)用和工程174
11.3　將關(guān)鍵指標合并為OEC175
11.3.1　如何建立OEC176
11.3.2　OEC的關(guān)鍵屬性179
11.3.3　構(gòu)建OEC的注意事項179
11.3.4　構(gòu)建OEC的案例180
第四部分　AB實驗的基礎(chǔ)建設(shè)
第12章　開展AB實驗的基礎(chǔ)條件187
12.1　決策層認知187
12.2　基礎(chǔ)工具建設(shè)188
12.2.1　購買外部服務(wù)189
12.2.2　自建平臺190
12.3　文化制度建設(shè)191
第13章　AB實驗平臺的建設(shè)192
13.1　AB實驗平臺架構(gòu)193
13.2　實驗管理功能194
13.2.1　實驗創(chuàng)建管理195
13.2.2　實驗配置管理196
13.2.3　實驗操作管理197
13.2.4　實驗權(quán)限管理198
13.3　實驗部署功能199
13.3.1　流量分配大小200
13.3.2　流量分配時機202
13.3.3　實驗放量節(jié)奏203
13.3.4　不同類型實驗的部署205
13.3.5　實驗部署中的其他問題209
13.4　實驗數(shù)據(jù)處理和分析211
13.4.1　數(shù)據(jù)源212
13.4.2　數(shù)據(jù)處理214
13.4.3　指標定義和數(shù)據(jù)計算215
13.4.4　數(shù)據(jù)可視化219
13.4.5　數(shù)據(jù)分析221
13.5　AB實驗服務(wù)通用框架221
第14章　實驗組織和文化建設(shè)224
14.1　決策層的支持與參與226
14.2　實驗專家團隊的帶領(lǐng)與教育228
14.3　業(yè)務(wù)團隊實驗骨干的深入與傳遞229
14.4　全體參與和擴大影響231
14.5　國內(nèi)AB實驗的開展情況233
14.6　實驗成熟度模型236
第五部分　基于AB實驗的增長實踐
第15章　構(gòu)建想法：形成產(chǎn)品假設(shè)240
15.1　產(chǎn)品策劃找方向240
15.2　數(shù)據(jù)洞察找瓶頸245
第16章　驗證想法：AB實驗實踐252
16.1　實驗假設(shè)252
16.1.1　目標性252
16.1.2　可歸因253
16.1.3　可復(fù)用254
16.2　實驗設(shè)計255
16.2.1　實驗樣本選擇255
16.2.2　實驗指標設(shè)計257
16.2.3　實驗流量計算258
16.2.4　實驗周期預(yù)估260
16.3　實驗運行261
16.3.1　實驗上線261
16.3.2　實驗停止263
16.3.3　實驗放量265
16.4　實驗分析和理解266
16.4.1　明確實驗影響范圍266
16.4.2　確保實驗對比人群具有可對比性270
16.4.3　實驗影響評估：先總后分、從主到次272
16.4.4　通過維度細分發(fā)現(xiàn)問題273
16.4.5　理解實驗統(tǒng)計學含義275
16.4.6　解讀數(shù)據(jù)背后的產(chǎn)品邏輯277
16.5　實驗決策278
16.5.1　從分析到?jīng)Q策278
16.5.2　3種實驗結(jié)果282
16.5.3　實驗報告284
第17章　沉淀想法：實驗記憶285
17.1　什么是實驗沉淀285
17.2　實驗沉淀的價值286
17.2.1　發(fā)現(xiàn)策略通用性286
17.2.2　從失敗中尋找機會289
17.2.3　發(fā)揚實驗文化290
17.2.4　幫助理解指標290
17.3　如何進行實驗沉淀291
第18章　基于AB實驗的增長實踐解決方案293
18.1　角色分工方案295
18.2　數(shù)據(jù)建設(shè)方案295
18.3　效果評估方案297
第六部分　AB實驗的局限與補充
第19章　AB實驗的局限性303
19.1　戰(zhàn)略創(chuàng)新層面303
19.2　戰(zhàn)術(shù)執(zhí)行層面305
第20章　AB實驗之外的因果分析方法309
20.1　匹配法310
20.1.1　匹配法的基本步驟310
20.1.2　傾向性得分方法313
20.2　工具變量法314
20.2.1　什么是工具變量314
20.2.2　案例1：教育、參軍對收入的影響316
20.2.3　案例2：內(nèi)容發(fā)布者與用戶活躍度的關(guān)系317
20.3　面板數(shù)據(jù)法317
20.4　中斷時間序列法319
20.5　斷點回歸法320
20.6　增益模型322
第21章　常用的用戶調(diào)查分析方法325
21.1　用戶日志分析326
21.2　調(diào)查問卷328
21.3　焦點小組329
21.4　用戶體驗研究330
21.5　人工評測330
21.6　外部數(shù)據(jù)332