模式識別與機器學習

目錄
第1章引言1
1.1基本概念1
1.1.1投票選舉2
1.1.2三個小皮匠勝過諸葛亮3
1.1.3主動學習4
1.2典型的機器學習系統(tǒng)5
1.2.1醫(yī)學圖像診斷5
1.2.2時間序列識別6
1.2.3對話系統(tǒng)7
1.2.4異常檢測8
1.3前沿研究方向舉例9
1.3.1多視圖機器學習9
1.3.2強化學習11
1.3.3可信人工智能11
1.4后續(xù)章節(jié)安排13
參考文獻13
第2章貝葉斯學習基礎15
2.1貝葉斯公式16
2.2貝葉斯決策18
2.2.1最小錯誤率貝葉斯決策18
2.2.2最小風險貝葉斯決策21
2.3分類器的相關概念23
2.3.1分類器、判別函數(shù)和決策面24
2.3.2分類器的錯誤率25
2.4基于高斯分布的貝葉斯分類器26
2.5樸素貝葉斯分類器32
2.6參數(shù)估計33
2.6.1最大似然估計33
2.6.2最大后驗估計35
2.6.3期望最大化算法36
2.6.4貝葉斯參數(shù)估計37
思考與計算38
參考文獻39
第3章邏輯回歸40
3.1線性回歸41
3.1.1最小二乘與最大似然44
3.1.2正則化最小二乘與最大后驗47
3.2貝葉斯線性回歸50
3.3邏輯回歸52
3.3.1二類邏輯回歸52
3.3.2多類邏輯回歸55
3.4貝葉斯邏輯回歸56
思考與計算60
參考文獻60
第4章概率圖模型基礎61
4.1有向圖模型63
4.1.1模型表示63
4.1.2條件獨立性65
4.1.3常見的有向圖模型71
4.2無向圖模型73
4.2.1模型表示73
4.2.2條件獨立性74
4.2.3常見的無向圖模型81
4.3圖模型中的推理82
4.3.1鏈式結構82
4.3.2樹結構84
4.3.3因子圖84
4.3.4和積算法85
4.3.5最大和算法92
思考與計算94
參考文獻95
第5章隱馬爾可夫模型96
5.1模型表示97
5.2模型推理100
5.2.1邊緣似然的推理101
5.2.2隱狀態(tài)序列的推理107
5.2.3隱狀態(tài)邊緣后驗的推理108
5.3參數(shù)學習109
5.4模型擴展111
思考與計算115
參考文獻116
第6章條件隨機場117
6.1模型表示118
6.1.1線性鏈條件隨機場120
6.1.2一般的條件隨機場121
6.1.3條件隨機場的特征函數(shù)122
6.2模型推理124
6.2.1前向—后向算法125
6.2.2維特比算法129
6.3參數(shù)學習130
6.4線性鏈條件隨機場與隱馬爾可夫模型132
6.5模型擴展133
思考與計算133
參考文獻134
第7章支持向量機135
7.1大間隔原理136
7.2基本分類模型137
7.3拉格朗日對偶優(yōu)化138
7.4線性不可分數(shù)據(jù)的分類140
7.4.1松弛變量140
7.4.2核方法142
7.5支持向量機回歸144
7.6模型擴展146
思考與計算146
參考文獻147
第8章人工神經(jīng)網(wǎng)絡與深度學習148
8.1感知機149
8.2多層神經(jīng)網(wǎng)絡151
8.2.1神經(jīng)元151
8.2.2多層神經(jīng)網(wǎng)絡模型153
8.2.3反向傳播算法155
8.3深度神經(jīng)網(wǎng)絡159
8.3.1淺層與深度神經(jīng)網(wǎng)絡159
8.3.2過擬合問題160
8.3.3局部極值問題162
8.3.4梯度消失問題163
8.4常用的深度神經(jīng)網(wǎng)絡166
8.4.1自編碼網(wǎng)絡166
8.4.2深度玻爾茲曼機168
8.4.3深度信念網(wǎng)絡169
8.4.4卷積神經(jīng)網(wǎng)絡170
8.4.5循環(huán)神經(jīng)網(wǎng)絡174
8.4.6Transformer177
思考與計算180
參考文獻181
第9章高斯過程183
9.1高斯過程的定義184
9.2高斯過程回歸模型185
9.2.1權重空間185
9.2.2函數(shù)空間189
9.3高斯過程分類模型192
9.3.1模型表示193
9.3.2近似推理方法195
9.4高斯過程與支持向量機199
9.5高斯過程與人工神經(jīng)網(wǎng)絡200
9.6模型擴展201
思考與計算203
參考文獻203
第10章聚類205
10.1K均值聚類206
10.1.1算法介紹206
10.1.2模糊K均值聚類209
10.2譜聚類210
10.3高斯混合模型聚類217
10.3.1模型表示217
10.3.2模型推理與參數(shù)估計218
10.3.3無限高斯混合模型219
思考與計算222
參考文獻223
第11章主成分分析與相關的譜方法224
11.1主成分分析225
11.1.1最大化方差225
11.1.2最小化誤差227
11.1.3主成分分析與KL變換229
11.2概率PCA230
11.3核PCA232
11.4相關的譜方法234
11.4.1線性判別分析234
11.4.2典型相關分析237
思考與計算242
參考文獻243
第12章確定性近似推理244
12.1近似推理的應用場景245
12.2拉普拉斯近似245
12.3變分平均場近似247
12.3.1基本理論247
12.3.2相關問題250
12.4期望傳播近似253
12.4.1基本理論253
12.4.2相關問題256
思考與計算259
參考文獻259
第13章隨機近似推理260
13.1采樣方法的評價標準261
13.2基本的采樣方法262
13.2.1均勻采樣變換263
13.2.2拒絕采樣264
13.2.3重要性采樣265
13.3馬爾可夫鏈蒙特卡洛267
13.3.1MetropolisHastings采樣267
13.3.2Gibbs采樣269
13.3.3切片采樣271
13.3.4哈密爾頓蒙特卡洛采樣274
思考與計算277
參考文獻278
第14章強化學習280
14.1基本概念與理論基礎281
14.2規(guī)劃: 有環(huán)境模型的預測與控制286
14.2.1策略迭代287
14.2.2值迭代288
14.3無環(huán)境模型的控制: 基于值函數(shù)290
14.3.1蒙特卡洛控制291
14.3.2時序差分控制: SARSA292
14.3.3基于Q學習的異策略控制293
14.3.4基于Q學習的深度Q網(wǎng)絡控制295
14.4無環(huán)境模型的控制: 基于策略296
14.4.1蒙特卡洛策略梯度法和REINFORCE算法297
14.4.2行動者—評論者算法299
思考與計算300
參考文獻301
附錄A近鄰法302
A.1最近鄰法302
A.2最近鄰法的錯誤率分析302
A.3k近鄰法305
參考文獻306
附錄B決策樹307
B.1基本原理307
B.2信息增益和信息增益比309
B.3代表性算法311
參考文獻313
附錄C向量微積分314
C.1向量微分314
C.1.1常用定義314
C.1.2求導規(guī)則316
C.2向量積分319
參考文獻322
附錄D隨機變量的變換323
D.1概率密度中的變量變換323
D.2期望中的變量變換326
參考文獻327