神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)

序
前言
常用符號(hào)表
第1章 緒論3
1.1人工智能...............................4
1.2機(jī)器學(xué)習(xí)...............................7
1.3表示學(xué)習(xí)...............................8
1.4深度學(xué)習(xí)...............................11
1.5神經(jīng)網(wǎng)絡(luò)...............................13
1.6本書(shū)的知識(shí)體系...........................17
1.7常用的深度學(xué)習(xí)框架.........................18
1.8總結(jié)和深入閱讀...........................20
第2章 機(jī)器學(xué)習(xí)概述23
2.1基本概念...............................24
2.2機(jī)器學(xué)習(xí)的三個(gè)基本要素......................26
2.3機(jī)器學(xué)習(xí)的簡(jiǎn)單示例——線性回歸.................33
2.4偏差-方差分解............................38
2.5機(jī)器學(xué)習(xí)算法的類型.........................41
2.6數(shù)據(jù)的特征表示...........................43
2.7評(píng)價(jià)指標(biāo)...............................46
2.8理論和定理..............................49
2.9總結(jié)和深入閱讀...........................51
第3章 線性模型
3.1線性判別函數(shù)和決策邊界......................56
3.2Logistic回歸.............................59
3.3Softmax回歸.............................61
3.4感知器.................................64
3.5支持向量機(jī)..............................71
3.6損失函數(shù)對(duì)比.............................75
3.7總結(jié)和深入閱讀...........................76
第二部分 基礎(chǔ)模型
第4章 前饋神經(jīng)網(wǎng)絡(luò)81
4.1神經(jīng)元.................................82
4.1.1Sigmoid型函數(shù).......................83
4.1.2ReLU函數(shù)..........................86
4.1.3Swish函數(shù)..........................88
4.1.4GELU函數(shù)..........................89
4.1.5Maxout單元.........................89
4.2網(wǎng)絡(luò)結(jié)構(gòu)...............................90
4.3前饋神經(jīng)網(wǎng)絡(luò).............................91
4.4反向傳播算法.............................95
4.5自動(dòng)梯度計(jì)算.............................98
4.6優(yōu)化問(wèn)題...............................103
4.7總結(jié)和深入閱讀...........................104
第5章 卷積神經(jīng)網(wǎng)絡(luò)109
5.1卷積..................................110
5.2卷積神經(jīng)網(wǎng)絡(luò).............................115
5.3參數(shù)學(xué)習(xí)...............................120
5.4幾種典型的卷積神經(jīng)網(wǎng)絡(luò)......................121
5.5其他卷積方式.............................127
5.6總結(jié)和深入閱讀...........................130
第6章 循環(huán)神經(jīng)網(wǎng)絡(luò)133
6.1給網(wǎng)絡(luò)增加記憶能力.........................134
6.2簡(jiǎn)單循環(huán)網(wǎng)絡(luò).............................135
6.3應(yīng)用到機(jī)器學(xué)習(xí)...........................138
6.4參數(shù)學(xué)習(xí)...............................140
6.5長(zhǎng)程依賴問(wèn)題.............................143
6.5.1改進(jìn)方案...........................144
6.6基于門控的循環(huán)神經(jīng)網(wǎng)絡(luò)......................145
6.7深層循環(huán)神經(jīng)網(wǎng)絡(luò)..........................149
6.8擴(kuò)展到圖結(jié)構(gòu).............................151
6.9總結(jié)和深入閱讀...........................153
第7章 網(wǎng)絡(luò)優(yōu)化與正則化157
7.1網(wǎng)絡(luò)優(yōu)化...............................157
7.2優(yōu)化算法...............................160
7.3參數(shù)初始化..............................171
7.4數(shù)據(jù)預(yù)處理..............................176
7.5逐層歸一化..............................178
7.6超參數(shù)優(yōu)化..............................183
7.7網(wǎng)絡(luò)正則化..............................186
7.8總結(jié)和深入閱讀...........................192
第8章 注意力機(jī)制與外部記憶197
8.1認(rèn)知神經(jīng)學(xué)中的注意力.......................198
8.2注意力機(jī)制..............................199
8.3自注意力模型.............................203
8.4人腦中的記憶.............................205
8.5記憶增強(qiáng)神經(jīng)網(wǎng)絡(luò)..........................207
8.6基于神經(jīng)動(dòng)力學(xué)的聯(lián)想記憶.....................211
8.6.1Hopfiel網(wǎng)絡(luò)........................212
8.7總結(jié)和深入閱讀...........................215
第9章 無(wú)監(jiān)督學(xué)習(xí)219
9.1無(wú)監(jiān)督特征學(xué)習(xí)...........................220
9.2概率密度估計(jì).............................227
9.3總結(jié)和深入閱讀...........................232
第10章 模型獨(dú)立的學(xué)習(xí)方式235
10.1集成學(xué)習(xí)...............................235
10.1.1AdaBoost算法........................237
10.2自訓(xùn)練和協(xié)同訓(xùn)練..........................240
10.3多任務(wù)學(xué)習(xí)..............................242
10.4遷移學(xué)習(xí)...............................245
10.5終身學(xué)習(xí)...............................249
10.6元學(xué)習(xí).................................252
10.7總結(jié)和深入閱讀...........................255
第三部分 進(jìn)階模型
第11章 概率圖模型261
11.1模型表示...............................262
11.2學(xué)習(xí)..................................271
11.3推斷..................................279
11.4變分推斷...............................283
11.5基于采樣法的近似推斷.......................285
11.6總結(jié)和深入閱讀...........................292
第12章 深度信念網(wǎng)絡(luò)297
12.1玻爾茲曼機(jī)..............................297
12.2受限玻爾茲曼機(jī)...........................304
12.3深度信念網(wǎng)絡(luò).............................309
12.4總結(jié)和深入閱讀...........................313
第13章 深度生成模型317
13.1概率生成模型.............................318
13.2變分自編碼器.............................319
13.3生成對(duì)抗網(wǎng)絡(luò).............................327
13.3.1顯式密度模型和隱式密度模型...............327
13.3.2網(wǎng)絡(luò)分解...........................327
13.3.3訓(xùn)練..............................329
13.3.4一個(gè)生成對(duì)抗網(wǎng)絡(luò)的具體實(shí)現(xiàn)：DCGAN..........330
13.3.5模型分析...........................330
13.3.6改進(jìn)模型...........................333
13.4總結(jié)和深入閱讀...........................336
第14章 深度強(qiáng)化學(xué)習(xí)339
14.1強(qiáng)化學(xué)習(xí)問(wèn)題.............................340
14.1.1典型例子...........................340
14.1.2強(qiáng)化學(xué)習(xí)定義........................340
14.1.3馬爾可夫決策過(guò)程......................341
14.1.4強(qiáng)化學(xué)習(xí)的目標(biāo)函數(shù)....................343
14.1.5值函數(shù)............................344
14.1.6深度強(qiáng)化學(xué)習(xí)........................345
14.2基于值函數(shù)的學(xué)習(xí)方法.......................346
14.2.1動(dòng)態(tài)規(guī)劃算法........................346
14.2.2蒙特卡羅方法........................349
14.2.3時(shí)序差分學(xué)習(xí)方法......................350
14.2.4深度Q網(wǎng)絡(luò)..........................353
14.3基于策略函數(shù)的學(xué)習(xí)方法......................354
14.3.1REINFORCE算法......................356
14.3.2帶基準(zhǔn)線的REINFORCE算法...............356
14.4演員-評(píng)論員算法...........................358
14.5總結(jié)和深入閱讀...........................360
第15章 序列生成模型365
15.1序列概率模型.............................366
15.1.1序列生成...........................367
15.2N元統(tǒng)計(jì)模型.............................368
15.3深度序列模型.............................370
15.3.1模型結(jié)構(gòu)...........................370
15.3.2參數(shù)學(xué)習(xí)...........................373
15.4評(píng)價(jià)方法...............................373
15.4.1困惑度............................373
15.4.2BLEU算法..........................374
15.4.3ROUGE算法.........................375
15.5序列生成模型中的學(xué)習(xí)問(wèn)題.....................375
15.5.1曝光偏差問(wèn)題........................376
15.5.2訓(xùn)練目標(biāo)不一致問(wèn)題....................377
15.5.3計(jì)算效率問(wèn)題........................377
15.6序列到序列模型...........................385
15.6.1基于循環(huán)神經(jīng)網(wǎng)絡(luò)的序列到序列模型...........386
15.6.2基于注意力的序列到序列模型...............387
15.6.3基于自注意力的序列到序列模型..............388
15.7總結(jié)和深入閱讀...........................390
附錄數(shù)學(xué)基礎(chǔ) 393
附錄A 線性代數(shù) 394
附錄B 微積分 404
附錄C 數(shù)學(xué)優(yōu)化 413
附錄D 概率論 420
附錄E 信息論 433
索引 439