機(jī)器學(xué)習(xí)：基于約束的方法

譯者序
前言
練習(xí)說明
第1章整體情況
11為什么機(jī)器需要學(xué)習(xí)
111學(xué)習(xí)任務(wù)
112環(huán)境的符號和子符號表示
113生物和人工神經(jīng)網(wǎng)絡(luò)
114學(xué)習(xí)的協(xié)議
115基于約束的學(xué)習(xí)
12原則和實(shí)踐
121歸納的令人困惑的本質(zhì)
122學(xué)習(xí)原則
123時(shí)間在學(xué)習(xí)過程中的作用
124注意力機(jī)制的聚焦
13實(shí)踐經(jīng)驗(yàn)
131度量實(shí)驗(yàn)的成功
132手寫字符識別
133建立機(jī)器學(xué)習(xí)實(shí)驗(yàn)
134試驗(yàn)和實(shí)驗(yàn)備注
14機(jī)器學(xué)習(xí)面臨的挑戰(zhàn)
141學(xué)習(xí)觀察
142語言理解
143生活在自己環(huán)境中的代理
15注釋
第2章學(xué)習(xí)原則
21環(huán)境約束
211損失函數(shù)與風(fēng)險(xiǎn)函數(shù)
212約束引發(fā)的風(fēng)險(xiǎn)函數(shù)的病態(tài)
213風(fēng)險(xiǎn)最小化
214偏差——方差困境
22統(tǒng)計(jì)學(xué)習(xí)
221最大似然估計(jì)
222貝葉斯推理
223貝葉斯學(xué)習(xí)
224圖形模式
225頻率論和貝葉斯方法
23基于信息的學(xué)習(xí)
231一個(gè)啟發(fā)性的示例
232最大熵原理
233最大相互信息
24簡約原則下的學(xué)習(xí)
241簡約原則
242最小描述長度
243MDL與正則化
244正則化的統(tǒng)計(jì)解釋
25注釋
第3章線性閾值機(jī)
31線性機(jī)
311正規(guī)方程
312待定問題和廣義逆
313嶺回歸
314原始表示和對偶表示
32包含閾值單元的線性機(jī)
321謂詞階數(shù)和表示性問題
322線性可分示例的最優(yōu)性
323無法分離的線性可分
33統(tǒng)計(jì)視圖
331貝葉斯決策和線性判別分析
332邏輯回歸
333符合貝葉斯決策的獨(dú)立原則
334統(tǒng)計(jì)框架中的LMS
34算法問題
341梯度下降
342隨機(jī)梯度下降
343感知機(jī)算法
344復(fù)雜性問題
35注釋
第4章核方法
41特征空間
411多項(xiàng)式預(yù)處理
412布爾富集
413不變的特征匹配
414高維空間中的線性可分性
42最大邊際問題
421線性可分下的分類
422處理軟約束問題
423回歸
43核函數(shù)
431相似性與核技巧
432內(nèi)核表征
433再生核映射
434內(nèi)核類型
44正則化
441正則化的風(fēng)險(xiǎn)
442在RKHS上的正則化
443最小化正則化風(fēng)險(xiǎn)
444正則化算子
45注釋
第5章深層結(jié)構(gòu)
51結(jié)構(gòu)性問題
511有向圖及前饋神經(jīng)網(wǎng)絡(luò)
512深層路徑
513從深層結(jié)構(gòu)到松弛結(jié)構(gòu)
514分類器、回歸器和自動編碼器
52布爾函數(shù)的實(shí)現(xiàn)
521“與或”門的典型實(shí)現(xiàn)
522通用的“與非”實(shí)現(xiàn)
523淺層與深層實(shí)現(xiàn)
524基于LTU的實(shí)現(xiàn)和復(fù)雜性問題
53實(shí)值函數(shù)實(shí)現(xiàn)
531基于幾何的計(jì)算實(shí)現(xiàn)
532通用近似
533解空間及分離表面
534深層網(wǎng)絡(luò)和表征問題
54卷積網(wǎng)絡(luò)
541內(nèi)核、卷積和感受野
542合并不變性
543深度卷積網(wǎng)絡(luò)
55前饋神經(jīng)網(wǎng)絡(luò)上的學(xué)習(xí)
551監(jiān)督學(xué)習(xí)
552反向傳播
553符號微分以及自動求導(dǎo)法則
554正則化問題
56復(fù)雜度問題
561關(guān)于局部最小值的問題
562面臨飽和
563復(fù)雜性與數(shù)值問題
57注釋
第6章約束下的學(xué)習(xí)與推理
61約束機(jī)
611學(xué)習(xí)和推理
612約束環(huán)境的統(tǒng)一視圖
613學(xué)習(xí)任務(wù)的函數(shù)表示
614約束下的推理
62環(huán)境中的邏輯約束
621形式邏輯與推理的復(fù)雜度
622含符號和子符號的環(huán)境
623t范數(shù)
624ukasiewicz命題邏輯
63擴(kuò)散機(jī)
631數(shù)據(jù)模型
632時(shí)空環(huán)境中的擴(kuò)散
633循環(huán)神經(jīng)網(wǎng)絡(luò)
64算法問題
641基于內(nèi)容的逐點(diǎn)約束
642輸入空間中的命題約束
643線性約束的監(jiān)督學(xué)習(xí)
644擴(kuò)散約束下的學(xué)習(xí)
65終身學(xué)習(xí)代理
651認(rèn)知行為及時(shí)間流動
652能量平衡
653焦點(diǎn)關(guān)注、教學(xué)及主動學(xué)習(xí)
654發(fā)展學(xué)習(xí)
66注釋
第7章結(jié)語
第8章練習(xí)答案
附錄A有限維的約束優(yōu)化
附錄B正則算子
附錄C變分計(jì)算
附錄D符號索引