深度學習

第1章引言1
11本書面向的讀者7
12深度學習的歷史趨勢8
121神經網絡的眾多名稱和命運變遷8
122與日俱增的數據量12
123與日俱增的模型規(guī)模13
124與日俱增的精度、復雜度和對現實世界的沖擊15
第1部分應用數學與機器學習基礎
第2章線性代數19
21標量、向量、矩陣和張量19
22矩陣和向量相乘21
23單位矩陣和逆矩陣22
24線性相關和生成子空間23
25范數24
26特殊類型的矩陣和向量25
27特征分解26
28奇異值分解28
29Moore-Penrose偽逆28
210跡運算29
211行列式30
212實例：主成分分析30
第3章概率與信息論34
31為什么要使用概率34
32隨機變量35
33概率分布36
331離散型變量和概率質量函數36
332連續(xù)型變量和概率密度函數36
34邊緣概率37
35條件概率37
36條件概率的鏈式法則38
37獨立性和條件獨立性38
38期望、方差和協方差38
39常用概率分布39
391Bernoulli分布40
392Multinoulli分布40
393高斯分布40
394指數分布和Laplace分布41
395Dirac分布和經驗分布42
396分布的混合42
310常用函數的有用性質43
311貝葉斯規(guī)則45
312連續(xù)型變量的技術細節(jié)45
313信息論47
314結構化概率模型49
第4章數值計算52
41上溢和下溢52
42病態(tài)條件53
43基于梯度的優(yōu)化方法53
431梯度之上：Jacobian和Hessian矩陣56
44約束優(yōu)化60
45實例：線性最小二乘61
第5章機器學習基礎63
51學習算法63
511任務T63
512性能度量P66
513經驗E66
514示例：線性回歸68
52容量、過擬合和欠擬合70
521沒有免費午餐定理73
522正則化74
53超參數和驗證集76
531交叉驗證76
54估計、偏差和方差77
541點估計77
542偏差78
543方差和標準差80
544權衡偏差和方差以最小化均方誤差81
545一致性82
55最大似然估計82
551條件對數似然和均方誤差84
552最大似然的性質84
56貝葉斯統(tǒng)計85
561最大后驗(MAP)估計87
57監(jiān)督學習算法88
571概率監(jiān)督學習88
572支持向量機88
573其他簡單的監(jiān)督學習算法90
58無監(jiān)督學習算法91
581主成分分析92
582k-均值聚類94
59隨機梯度下降94
510構建機器學習算法96
511促使深度學習發(fā)展的挑戰(zhàn)96
5111維數災難97
5112局部不變性和平滑正則化97
5113流形學習99
第2部分深度網絡：現代實踐
第6章深度前饋網絡105
61實例：學習XOR107
62基于梯度的學習110
621代價函數111
622輸出單元113
63隱藏單元119
631整流線性單元及其擴展120
632logisticsigmoid與雙曲正切函數121
633其他隱藏單元122
64架構設計123
641萬能近似性質和深度123
642其他架構上的考慮126
65反向傳播和其他的微分算法126
651計算圖127
652微積分中的鏈式法則128
653遞歸地使用鏈式法則來實現反向傳播128
654全連接MLP中的反向傳播計算131
655符號到符號的導數131
656一般化的反向傳播133
657實例：用于MLP訓練的反向傳播135
658復雜化137
659深度學習界以外的微分137
6510高階微分138
66歷史小記139
第7章深度學習中的正則化141
71參數范數懲罰142
711L2參數正則化142
712L1正則化144
72作為約束的范數懲罰146
73正則化和欠約束問題147
74數據集增強148
75噪聲魯棒性149
751向輸出目標注入噪聲150
76半監(jiān)督學習150
77多任務學習150
78提前終止151
79參數綁定和參數共享156
791卷積神經網絡156
710稀疏表示157
711Bagging和其他集成方法158
712Dropout159
713對抗訓練165
714切面距離、正切傳播和流形正切分類器167
第8章深度模型中的優(yōu)化169
81學習和純優(yōu)化有什么不同169
811經驗風險最小化169
812代理損失函數和提前終止170
813批量算法和小批量算法170
82神經網絡優(yōu)化中的挑戰(zhàn)173
821病態(tài)173
822局部極小值174
823高原、鞍點和其他平坦區(qū)域175
824懸崖和梯度爆炸177
825長期依賴177
826非精確梯度178
827局部和全局結構間的弱對應178
828優(yōu)化的理論限制179
83基本算法180
831隨機梯度下降180
832動量181
833Nesterov動量183
84參數初始化策略184
85自適應學習率算法187
851AdaGrad187
852RMSProp188
853Adam189
854選擇正確的優(yōu)化算法190
86二階近似方法190
861牛頓法190
862共軛梯度191
863BFGS193
87優(yōu)化策略和元算法194
871批標準化194
872坐標下降196
873Polyak平均197
874監(jiān)督預訓練197
875設計有助于優(yōu)化的模型199
876延拓法和課程學習199
第9章卷積網絡201
91卷積運算201
92動機203
93池化207
94卷積與池化作為一種無限強的先驗210
95基本卷積函數的變體211
96結構化輸出218
97數據類型219
98高效的卷積算法220
99隨機或無監(jiān)督的特征220
910卷積網絡的神經科學基礎221
911卷積網絡與深度學習的歷史226
第10章序列建模：循環(huán)和遞歸網絡227
101展開計算圖228
102循環(huán)神經網絡230
1021導師驅動過程和輸出循環(huán)網絡232
1022計算循環(huán)神經網絡的梯度233
1023作為有向圖模型的循環(huán)網絡235
1024基于上下文的RNN序列建模237
103雙向RNN239
104基于編碼-解碼的序列到序列架構240
105深度循環(huán)網絡242
106遞歸神經網絡243
107長期依賴的挑戰(zhàn)244
108回聲狀態(tài)網絡245
109滲漏單元和其他多時間尺度的策略247
1091時間維度的跳躍連接247
1092滲漏單元和一系列不同時間尺度247
1093刪除連接248
1010長短期記憶和其他門控RNN248
10101LSTM248
10102其他門控RNN250
1011優(yōu)化長期依賴251
10111截斷梯度251
10112引導信息流的正則化252
1012外顯記憶253
第11章實踐方法論256
111性能度量256
112默認的基準模型258
113決定是否收集更多數據259
114選擇超參數259
1141手動調整超參數259
1142自動超參數優(yōu)化算法262
1143網格搜索262
1144隨機搜索263
1145基于模型的超參數優(yōu)化264
115調試策略264
116示例：多位數字識別267
第12章應用269
121大規(guī)模深度學習269
1211快速的CPU實現269
1212GPU實現269
1213大規(guī)模的分布式實現271
1214模型壓縮271
1215動態(tài)結構272
1216深度網絡的專用硬件實現273
122計算機視覺274
1221預處理275
1222數據集增強277
123語音識別278
124自然語言處理279
1241n-gram280
1242神經語言模型281
1243高維輸出282
1244結合n-gram和神經語言模型286
1245神經機器翻譯287
1246歷史展望289
125其他應用290
1251推薦系統(tǒng)290
1252知識表示、推理和回答292
第3部分深度學習研究
第13章線性因子模型297
131概率PCA和因子分析297
132獨立成分分析298
133慢特征分析300
134稀疏編碼301
135PCA的流形解釋304
第14章自編碼器306
141欠完備自編碼器306
142正則自編碼器307
1421稀疏自編碼器307
1422去噪自編碼器309
1423懲罰導數作為正則309
143表示能力、層的大小和深度310
144隨機編碼器和解碼器310
145去噪自編碼器詳解311
1451得分估計312
1452歷史展望314
146使用自編碼器學習流形314
147收縮自編碼器317
148預測稀疏分解319
149自編碼器的應用319
第15章表示學習321
151貪心逐層無監(jiān)督預訓練322
1511何時以及為何無監(jiān)督預訓練有效有效323
152遷移學習和領域自適應326
153半監(jiān)督解釋因果關系329
154分布式表示332
155得益于深度的指數增益336
156提供發(fā)現潛在原因的線索337
第16章深度學習中的結構化概率模型339
161非結構化建模的挑戰(zhàn)339
162使用圖描述模型結構342
1621有向模型342
1622無向模型344
1623配分函數345
1624基于能量的模型346
1625分離和d-分離347
1626在有向模型和無向模型中轉換350
1627因子圖352
163從圖模型中采樣353
164結構化建模的優(yōu)勢353
165學習依賴關系354
166推斷和近似推斷354
167結構化概率模型的深度學習方法355
1671實例：受限玻爾茲曼機356
第17章蒙特卡羅方法359
171采樣和蒙特卡羅方法359
1711為什么需要采樣359
1712蒙特卡羅采樣的基礎359
172重要采樣360
173馬爾可夫鏈蒙特卡羅方法362
174Gibbs采樣365
175不同的峰值之間的混合挑戰(zhàn)365
1751不同峰值之間通過回火來混合367
1752深度也許會有助于混合368
第18章直面配分函數369
181對數似然梯度369
182隨機最大似然和對比散度370
183偽似然375
184得分匹配和比率匹配376
185去噪得分匹配378
186噪聲對比估計378
187估計配分函數380
1871退火重要采樣382
1872橋式采樣384
第19章近似推斷385
191把推斷視作優(yōu)化問題385
192期望最大化386
193最大后驗推斷和稀疏編碼387
194變分推斷和變分學習389
1941離散型潛變量390
1942變分法394
1943連續(xù)型潛變量396
1944學習和推斷之間的相互作用397
195學成近似推斷397
1951醒眠算法398
1952學成推斷的其他形式398
第20章深度生成模型399
201玻爾茲曼機399
202受限玻爾茲曼機400
2021條件分布401
2022訓練受限玻爾茲曼機402
203深度信念網絡402
204深度玻爾茲曼機404
2041有趣的性質406
2042DBM均勻場推斷406
2043DBM的參數學習408
2044逐層預訓練408
2045聯合訓練深度玻爾茲曼機410
205實值數據上的玻爾茲曼機413
2051Gaussian-BernoulliRBM413
2052條件協方差的無向模型414
206卷積玻爾茲曼機417
207用于結構化或序列輸出的玻爾茲曼機418
208其他玻爾茲曼機419
209通過隨機操作的反向傳播419
2091通過離散隨機操作的反向傳播420
2010有向生成網絡422
20101sigmoid信念網絡422
20102可微生成器網絡423
20103變分自編碼器425
20104生成式對抗網絡427
20105生成矩匹配網絡429
20106卷積生成網絡430
20107自回歸網絡430
20108線性自回歸網絡430
20109神經自回歸網絡431
201010NADE432
2011從自編碼器采樣433
20111與任意去噪自編碼器相關的馬爾可夫鏈434
20112夾合與條件采樣434
20113回退訓練過程435
2012生成隨機網絡435
20121判別性GSN436
2013其他生成方案436
2014評估生成模型437
2015結論438
參考文獻439
索引486