Python貝葉斯建模與計(jì)算

第1章　貝葉斯推斷 1
1.1  貝葉斯建模 1
1.1.1  貝葉斯模型 2
1.1.2  貝葉斯推斷介紹 2
1.2  一個(gè)自制采樣器，不要隨意嘗試 5
1.3  支持自動(dòng)推斷，反對(duì)自動(dòng)建模 9
1.4  量化先驗(yàn)信息的方法 12
1.4.1  共軛先驗(yàn) 13
1.4.2  客觀先驗(yàn) 15
1.4.3  最大熵先驗(yàn) 17
1.4.4  弱信息先驗(yàn)與正則化先驗(yàn) 20
1.4.5  先驗(yàn)預(yù)測(cè)分布用于評(píng)估先驗(yàn)選擇 21
1.5  練習(xí) 21
第2章　貝葉斯模型的探索性分析 25
2.1  貝葉斯推斷前后的工作 25
2.2  理解你的假設(shè) 26
2.3  理解你的預(yù)測(cè) 28
2.4  診斷數(shù)值推斷 32
2.4.1  有效樣本量 33
2.4.2  潛在尺度縮減因子( ) 35
2.4.3  蒙特卡羅標(biāo)準(zhǔn)差 35
2.4.4  軌跡圖 37
2.4.5  自相關(guān)圖 38
2.4.6  秩圖 38
2.4.7  散度 40
2.4.8  采樣器的參數(shù)和其他診斷方法 42
2.5  模型比較 43
2.5.1  交叉驗(yàn)證和留一法 44
2.5.2  對(duì)數(shù)預(yù)測(cè)密度的期望 47
2.5.3  帕累托形狀參數(shù)  47
2.5.4  解讀帕累托參數(shù) 較大時(shí)的p_loo 48
2.5.5  LOO-PIT 49
2.5.6  模型平均 50
2.6  練習(xí) 51
第3章　線(xiàn)性模型與概率編程語(yǔ)言 55
3.1  比較兩個(gè)或多個(gè)組 55
3.2  線(xiàn)性回歸 63
3.2.1  一個(gè)簡(jiǎn)單的線(xiàn)性模型 65
3.2.2  預(yù)測(cè) 67
3.2.3  中心化處理 68
3.3  多元線(xiàn)性回歸 70
3.4  廣義線(xiàn)性模型 74
3.4.1  邏輯回歸 75
3.4.2  分類(lèi)模型 76
3.4.3  解釋對(duì)數(shù)賠率 81
3.5  回歸模型的先驗(yàn)選擇 82
3.6  練習(xí) 85
第4章　擴(kuò)展線(xiàn)性模型 87
4.1  轉(zhuǎn)換預(yù)測(cè)變量 87
4.2  可變的不確定性 90
4.3  引入交互效應(yīng) 91
4.4  魯棒的回歸 93
4.5  池化、多級(jí)模型和混合效應(yīng) 97
4.5.1  非池化參數(shù) 98
4.5.2  池化參數(shù) 100
4.5.3  組混合與公共參數(shù) 102
4.6  分層模型 104
4.6.1  后驗(yàn)幾何形態(tài)很重要 107
4.6.2  分層模型的優(yōu)勢(shì) 112
4.6.3  分層模型的先驗(yàn)選擇 114
4.7  練習(xí) 114
第5章　樣條 117
5.1  多項(xiàng)式回歸 117
5.2  擴(kuò)展特征空間 118
5.3  樣條的基本原理 120
5.4  使用Patsy軟件庫(kù)構(gòu)建設(shè)計(jì)矩陣 123
5.5  用PyMC3擬合樣條 125
5.6  選擇樣條的結(jié)點(diǎn)和先驗(yàn) 127
5.7  用樣條對(duì)二氧化碳吸收量建模 129
5.8  練習(xí) 134
第6章　時(shí)間序列 137
6.1  時(shí)間序列問(wèn)題概覽 137
6.2  將時(shí)間序列分析視為回歸問(wèn)題 138
6.2.1  時(shí)間序列的設(shè)計(jì)矩陣 143
6.2.2  基函數(shù)和廣義加性模型 144
6.3  自回歸模型 147
6.3.1  隱AR過(guò)程和平滑 152
6.3.2  (S)AR(I)MA(X) 154
6.4  狀態(tài)空間模型 157
6.4.1  線(xiàn)性高斯?fàn)顟B(tài)空間模型與卡爾曼濾波 158
6.4.2  ARIMA模型的狀態(tài)空間表示 161
6.4.3  貝葉斯結(jié)構(gòu)化的時(shí)間序列 164
6.5  其他時(shí)間序列模型 168
6.6  模型的評(píng)判和先驗(yàn)選擇 168
6.7  練習(xí) 170
第7章　貝葉斯加性回歸樹(shù) 173
7.1  決策樹(shù) 173
7.2  BART模型 176
7.3  BART模型先驗(yàn) 177
7.3.1  先驗(yàn)的獨(dú)立性 177
7.3.2  樹(shù)結(jié)構(gòu) 的先驗(yàn) 177
7.3.3  葉結(jié)點(diǎn)值μij和樹(shù)數(shù)量m的先驗(yàn) 178
7.4  擬合貝葉斯加性回歸樹(shù) 178
7.5  自行車(chē)數(shù)據(jù)的BART模型 178
7.6  廣義BART模型 180
7.7  BART的可解釋性 181
7.7.1  部分依賴(lài)圖 182
7.7.2  個(gè)體條件期望圖 183
7.8  預(yù)測(cè)變量的選擇 185
7.9  PyMC3中BART的先驗(yàn)選擇 187
7.10  練習(xí) 188
第8章　逼近貝葉斯計(jì)算 191
8.1  超越似然 191
8.2  逼近的后驗(yàn) 192
8.3  用ABC逼近擬合一個(gè)高斯 194
8.4  選擇距離函數(shù)、?和統(tǒng)計(jì)量 195
8.4.1  選擇距離函數(shù) 196
8.4.2  選擇? 197
8.4.3  選擇統(tǒng)計(jì)量 199
8.5  g-and-k分布 199
8.6  逼近移動(dòng)平均 203
8.7  在ABC場(chǎng)景中做模型比較 205
8.7.1  邊際似然與LOO 205
8.7.2  模型選擇與隨機(jī)森林 209
8.7.3  MA模型的模型選擇 209
8.8  為ABC選擇先驗(yàn) 211
8.9  練習(xí) 211
第9章　端到端貝葉斯工作流 213
9.1  工作流、上下文和問(wèn)題 213
9.2  獲取數(shù)據(jù) 216
9.2.1  抽樣調(diào)查 216
9.2.2  試驗(yàn)設(shè)計(jì) 216
9.2.3  觀察性研究 216
9.2.4  缺失數(shù)據(jù) 217
9.2.5  應(yīng)用示例：收集航班延誤數(shù)據(jù) 217
9.3  構(gòu)建不止一個(gè)模型 218
9.3.1  在構(gòu)建貝葉斯模型前需要問(wèn)的問(wèn)題 218
9.3.2  應(yīng)用示例：選擇航班延誤的似然 218
9.4  選擇先驗(yàn)和預(yù)測(cè)先驗(yàn) 220
9.5  推斷和推斷診斷 222
9.6  后驗(yàn)圖 223
9.7  評(píng)估后驗(yàn)預(yù)測(cè)分布 224
9.8  模型比較 225
9.9  獎(jiǎng)勵(lì)函數(shù)和決策 228
9.10  與特定受眾分享結(jié)果 230
9.10.1  分析流程的可重復(fù)性 231
9.10.2  理解受眾 232
9.10.3  靜態(tài)視覺(jué)輔助 233
9.10.4  可重復(fù)的計(jì)算環(huán)境 234
9.10.5  應(yīng)用示例：展示航班延誤模型和結(jié)論 234
9.11  試驗(yàn)性示例：比較兩個(gè)組 235
9.12  練習(xí) 239
第10章  概率編程語(yǔ)言 241
10.1  PPL的系統(tǒng)工程視角 241
10.2  后驗(yàn)計(jì)算 242
10.2.1  計(jì)算梯度 243
10.2.2  示例：近實(shí)時(shí)推斷 244
10.3  應(yīng)用編程接口 245
10.3.1  示例：Stan和Slicstan 246
10.3.2  示例：PyMC3和PyMC4 247
10.4  PPL驅(qū)動(dòng)的轉(zhuǎn)換 248
10.4.1  對(duì)數(shù)概率 248
10.4.2  隨機(jī)變量和分布轉(zhuǎn)換 250
10.4.3  示例：有界和無(wú)界隨機(jī)變量之間的采樣比較 251
10.5  操作圖和自動(dòng)重參數(shù)化 252
10.6  異常處理 255
10.7  基礎(chǔ)語(yǔ)言、代碼生態(tài)系統(tǒng)、模塊化 257
10.8  設(shè)計(jì)PPL 258
10.9  應(yīng)用貝葉斯從業(yè)者的注意事項(xiàng) 265
10.10  練習(xí) 265
第11章  附加主題 267
11.1  概率背景 267
11.1.1  概率 268
11.1.2  條件概率 269
11.1.3  概率分布 270
11.1.4  離散隨機(jī)變量及其分布 271
11.1.5  連續(xù)隨機(jī)變量和分布 275
11.1.6  聯(lián)合、條件和邊際分布 279
11.1.7  概率積分轉(zhuǎn)換 282
11.1.8  期望 284
11.1.9  轉(zhuǎn)換 285
11.1.10  極限 286
11.1.11  馬爾可夫鏈 288
11.2  熵 290
11.3  Kullback-Leibler散度 292
11.4  信息標(biāo)準(zhǔn) 294
11.5  深入介紹LOO 296
11.6  Jeffrey先驗(yàn)求導(dǎo) 297
11.6.1  關(guān)于θ的二項(xiàng)似然的Jeffrey先驗(yàn) 298
11.6.2  關(guān)于 的二項(xiàng)似然的Jeffrey先驗(yàn) 299
11.6.3  二項(xiàng)似然的Jeffrey后驗(yàn) 299
11.7  邊際似然 300
11.7.1  調(diào)和平均估計(jì)器 300
11.7.2  邊際似然和模型比較 301
11.7.3  貝葉斯因子與WAIC和LOO 303
11.8  移出平面 304
11.9  推斷方法 307
11.9.1  網(wǎng)格方法 307
11.9.2  Metropolis-Hastings 308
11.9.3  哈密頓蒙特卡羅 310
11.9.4  序貫蒙特卡羅 314
11.9.5  變分推斷 315
11.10  編程參考 317
11.10.1  選擇哪種編程語(yǔ)言 317
11.10.2  版本控制 317
11.10.3  依賴(lài)項(xiàng)管理和包倉(cāng)庫(kù) 317
11.10.4  環(huán)境管理 318
11.10.5  文本編輯器、集成開(kāi)發(fā)環(huán)境、筆記 318
11.10.6  本書(shū)使用的專(zhuān)用工具 319
詞匯表 321
參考文獻(xiàn)(在線(xiàn)提供) 325