概率編程實(shí)戰(zhàn)

第1部分　概率編程和Figaro簡(jiǎn)介
第1章　概率編程簡(jiǎn)介　3
1．1 什么是概率編程　4
1．1．1 我們?nèi)绾巫龀鲋饔^判斷　4
1．1．2 概率推理系統(tǒng)幫助決策　5
1．1．3 概率推理系統(tǒng)有3種方式推理　7
1．1．4 概率編程系統(tǒng)：用編程語言表達(dá)的概率推理系統(tǒng)　11
1．2 為什么使用概率編程　14
1．2．1 更好的概率推理　14
1．2．2 更好的模擬語言　15
1．3 Figaro簡(jiǎn)介：一種概率編程語言　16
1．4 小結(jié)　23
1．5 練習(xí)　24
第2章 Figaro快速教程　25
2．1 Figaro簡(jiǎn)介　25
2．2 創(chuàng)建模型和運(yùn)行推理：重回Hello World　27
2．2．1 構(gòu)建第一個(gè)模型　28
2．2．2 運(yùn)行推理和回答查詢　29
2．2．3 構(gòu)建模型和生成觀測(cè)值　29
2．2．4 理解模型的構(gòu)建方法　31
2．2．5 理解重復(fù)的元素：何時(shí)相同，何時(shí)不同　32
2．3 使用基本構(gòu)件：原子元素　33
2．3．1 離散原子元素　34
2．3．2 連續(xù)原子元素　35
2．4 使用復(fù)合元素組合原子元素　37
2．4．1 If　38
2．4．2 Dist　39
2．4．3 原子元素的復(fù)合版本　39
2．5 用Apply和Chain構(gòu)建更復(fù)雜的模型　40
2．5．1 Apply　41
2．5．2 Chain　43
2．6 使用條件和約束指定證據(jù)　46
2．6．1 觀測(cè)值　46
2．6．2 條件　47
2．6．3 約束　48
2．7 小結(jié)　50
2．8 練習(xí)　51
第3章 創(chuàng)建一個(gè)概率編程應(yīng)用程序　53
3．1 把握全局　53
3．2 運(yùn)行代碼　56
3．3 探索垃圾郵件過濾應(yīng)用的架構(gòu)　59
3．3．1 推理組件架構(gòu)　59
3．3．2 學(xué)習(xí)組件架構(gòu)　62
3．4 設(shè)計(jì)電子郵件模型　64
3．4．1 選擇元素　64
3．4．2 定義依賴關(guān)系　67
3．4．3 定義函數(shù)形式　68
3．4．4 使用數(shù)值參數(shù)　71
3．4．5 使用輔助知識(shí)　73
3．5 構(gòu)建推理組件　74
3．6 創(chuàng)建學(xué)習(xí)組件　78
3．7 小結(jié)　81
3．8 練習(xí)　82
第2部分　編寫概率程序
第4章 概率模型和概率程序　85
4．1 概率模型定義　86
4．1．1 將一般知識(shí)表達(dá)為可能世界上的某種概率分布　86
4．1．2 進(jìn)一步探索概率分布　88
4．2 使用概率模型回答查詢　90
4．2．1 根據(jù)證據(jù)調(diào)節(jié)以產(chǎn)生后驗(yàn)概率分布　90
4．2．2 回答查詢　92
4．2．3 使用概率推理　94
4．3 概率模型的組成部分　94
4．3．1 變量　95
4．3．2 依賴性　96
4．3．3 函數(shù)形式　101
4．3．4 數(shù)值參數(shù)　104
4．4 生成過程　105
4．5 使用連續(xù)變量的模型　110
4．5．1 使用beta-二項(xiàng)式模型　110
4．5．2 連續(xù)變量的表示　111
4．6 小結(jié)　114
4．7 練習(xí)　114
第5章 用貝葉斯和馬爾科夫網(wǎng)絡(luò)建立依賴性模型　116
5．1 建立依賴性模型　117
5．1．1 有向依賴性　117
5．1．2 無向依賴性　122
5．1．3 直接和間接依賴性　124
5．2 使用貝葉斯網(wǎng)絡(luò)　126
5．2．1 貝葉斯網(wǎng)絡(luò)定義　126
5．2．2 貝葉斯網(wǎng)絡(luò)如何定義概率分布　127
5．2．3 用貝葉斯網(wǎng)絡(luò)進(jìn)行推理　128
5．3 探索貝葉斯網(wǎng)絡(luò)的一個(gè)示例　131
5．3．1 設(shè)計(jì)一個(gè)計(jì)算機(jī)系統(tǒng)診斷模型　131
5．3．2 用計(jì)算機(jī)系統(tǒng)診斷模型進(jìn)行推理　135
5．4 使用概率編程擴(kuò)展貝葉斯網(wǎng)絡(luò)：預(yù)測(cè)產(chǎn)品的成功　140
5．4．1 設(shè)計(jì)產(chǎn)品成功預(yù)測(cè)模型　140
5．4．2 用產(chǎn)品成功預(yù)測(cè)模型進(jìn)行推理　145
5．5 使用馬爾科夫網(wǎng)絡(luò)　147
5．5．1 馬爾科夫網(wǎng)絡(luò)定義　147
5．5．2 表示馬爾科夫網(wǎng)絡(luò)并用其進(jìn)行推理　150
5．6 小結(jié)　153
5．7 練習(xí)　153
第6章 使用Scala和Figaro集合構(gòu)建模型　156
6．1 使用Scala集合　157
6．1．1 為依賴于單一變量的多個(gè)變量建立模型　157
6．1．2 創(chuàng)建層次化模型　160
6．1．3 建立同時(shí)依賴兩個(gè)變量的模型　162
6．2 使用Figaro集合　165
6．2．1 理解Figaro集合的用途　165
6．2．2 用Figaro集合重新實(shí)現(xiàn)層次化模型　166
6．2．3 結(jié)合使用Scala和Figaro集合　168
6．3 建立對(duì)象數(shù)量未知情況的模型　171
6．3．1 開放宇宙中對(duì)象數(shù)量未知的情況　171
6．3．2 可變大小數(shù)組　172
6．3．3 可變大小數(shù)組上的操作　172
6．3．4 示例：預(yù)測(cè)數(shù)量未知的新產(chǎn)品銷售額　173
6．4 處理無限過程　174
6．4．1 Process特征　175
6．4．2 示例：一個(gè)健康時(shí)空過程　176
6．4．3 使用過程　178
6．5 小結(jié)　179
6．6 練習(xí)　180
第7章 面向?qū)ο蟾怕式！?82
7．1 使用面向?qū)ο蟾怕誓Ｐ汀?83
7．1．1 理解面向?qū)ο蠼５脑亍?83
7．1．2 重溫打印機(jī)模型　185
7．1．3 關(guān)于多臺(tái)打印機(jī)的推理　189
7．2 用關(guān)系擴(kuò)展OO概率模型　192
7．2．1 描述通用類級(jí)模型　192
7．2．2 描述某種情況　195
7．2．3 用Figaro表現(xiàn)社會(huì)化媒體模型　198
7．3 建立關(guān)系和類型不確定性的模型　200
7．3．1 元素集合和引用　200
7．3．2 具有關(guān)系不確定性的社會(huì)化媒體模型　202
7．3．3 具有類型不確定性的打印機(jī)模型　205
7．4 小結(jié)　207
7．5 練習(xí)　207
第8章 動(dòng)態(tài)系統(tǒng)建?！?09
8．1 動(dòng)態(tài)概率模型　210
8．2 動(dòng)態(tài)模型類型　211
8．2．1 馬爾科夫鏈　211
8．2．2 隱含馬爾科夫模型　214
8．2．3 動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)　216
8．2．4 結(jié)構(gòu)隨時(shí)間改變的模型　220
8．3 建立永續(xù)系統(tǒng)的模型　224
8．3．1 理解Figaro的宇宙概念　224
8．3．2 使用宇宙建立持續(xù)運(yùn)行系統(tǒng)的模型　225
8．3．3 運(yùn)行一個(gè)監(jiān)控應(yīng)用　227
8．4 小結(jié)　229
8．5 練習(xí)　230
第3部分　推 理
第9章 概率推理三原則　235
9．1 鏈?zhǔn)椒▌t：從條件概率分布構(gòu)建聯(lián)合分布　237
9．2 全概率公式：從聯(lián)合分布獲得簡(jiǎn)單查詢結(jié)果　240
9．3 貝葉斯法則：從結(jié)果推斷原因　243
9．3．1 理解、原因、結(jié)果和推理　243
9．3．2 實(shí)踐中的貝葉斯法則　245
9．4 貝葉斯建?！?47
9．4．1 估算硬幣的偏差　248
9．4．2 預(yù)測(cè)下一次擲幣結(jié)果　252
9．5 小結(jié)　256
9．6 練習(xí)　256
第10章 因子分解推理算法　258
10．1 因子　259
10．1．1 什么是因子　259
10．1．2 用鏈?zhǔn)椒▌t分解概率分布　261
10．1．3 使用全概率公式，定義包含因子的查詢　263
10．2 變量消除算法　267
10．2．1 VE的圖形解釋　267
10．2．2 VE代數(shù)運(yùn)算　271
10．3 VE的使用　273
10．3．1 Figaro特有的VE考慮因素　273
10．3．2 設(shè)計(jì)模型支持高效的VE　275
10．3．3 VE的應(yīng)用　278
10．4 置信傳播　281
10．4．1 BP基本原理　282
10．4．2 Loopy BP的屬性　282
10．5 BP的使用　284
10．5．1 Figaro特有的BP考慮因素　284
10．5．2 設(shè)計(jì)模型以支持高效的BP　285
10．5．3 BP的應(yīng)用　287
10．6 小結(jié)　288
10．7 練習(xí)　288
第11章 抽樣算法　291
11．1 抽樣的原理　292
11．1．1 前向抽樣　293
11．1．2 拒絕抽樣　297
11．2 重要性抽樣　299
11．2．1 重要性抽樣的工作方式　300
11．2．2 在Figaro中使用重要性抽樣　303
11．2．3 讓重要性抽樣為您工作　304
11．2．4 重要性抽樣的應(yīng)用　305
11．3 馬爾科夫鏈蒙特卡洛抽樣　307
11．3．1 MCMC的工作方式　308
11．3．2 Figaro的MCMC算法：Metropolis-Hastings算法　311
11．4 讓MH更好地工作　314
11．4．1 自定義提議　316
11．4．2 避免硬條件　319
11．4．3 MH的應(yīng)用　320
11．5 小結(jié)　321
11．6 練習(xí)　322
第12章 處理其他推理任務(wù)　324
12．1 計(jì)算聯(lián)合分布　325
12．2 計(jì)算最可能的解釋　326
12．2．1 在Figaro中計(jì)算和查詢MPE　329
12．2．2 MPE查詢算法的使用　331
12．2．3 探索MPE算法的應(yīng)用　336
12．3 計(jì)算證據(jù)的概率　337
12．3．1 觀察用于證據(jù)概率計(jì)算的證據(jù)　338
12．3．2 運(yùn)行證據(jù)概率算法　339
12．4 小結(jié)　341
12．5 練習(xí)　341
第13章 動(dòng)態(tài)推理和參數(shù)學(xué)習(xí)　342
13．1 監(jiān)控動(dòng)態(tài)系統(tǒng)的狀態(tài)　342
13．1．1 監(jiān)控機(jī)制　344
13．1．2 粒子過濾算法　345
13．1．3 過濾的應(yīng)用　348
13．2 學(xué)習(xí)模型參數(shù)　349
13．2．1 貝葉斯學(xué)習(xí)　349
13．2．2 最大似然和MAP學(xué)習(xí)　353
13．3 進(jìn)一步應(yīng)用Figaro　360
13．4 小結(jié)　361
13．5 練習(xí)　361
附錄A 獲取和安裝Scala和Figaro　364
A．1 使用sbt　364
A．2 在沒有sbt的情況下安裝和運(yùn)行Figaro　365
A．3 從源代碼編譯　366
附錄B 概率編程系統(tǒng)簡(jiǎn)況　367