PaddlePaddle深度學(xué)習(xí)實(shí)戰(zhàn)

CONTENTS
目錄
序
前言
致謝
第1章數(shù)學(xué)基礎(chǔ)與Python庫1
1.1Python是進(jìn)行人工智能編程的
主要語言1
1.2數(shù)學(xué)基礎(chǔ)4
1.2.1線性代數(shù)基礎(chǔ)4
1.2.2微積分基礎(chǔ)8
1.3Python庫的操作17
1.3.1numpy操作17
1.3.2matplotlib操作23
本章小結(jié)27
第2章深度學(xué)習(xí)概論與PaddlePaddle入門28
2.1人工智能、機(jī)器學(xué)習(xí)與深度學(xué)習(xí)29
2.1.1人工智能30
2.1.2機(jī)器學(xué)習(xí)30
2.1.3深度學(xué)習(xí)31
2.2深度學(xué)習(xí)的發(fā)展歷程32
2.2.1神經(jīng)網(wǎng)絡(luò)的第一次高潮32
2.2.2神經(jīng)網(wǎng)絡(luò)的第一次寒冬33
2.2.3神經(jīng)網(wǎng)絡(luò)的第二次高潮34
2.2.4神經(jīng)網(wǎng)絡(luò)的第二次寒冬35
2.2.5深度學(xué)習(xí)的來臨35
2.2.6深度學(xué)習(xí)崛起的時(shí)代背景36
2.3深度學(xué)習(xí)的應(yīng)用場景36
2.3.1圖像與視覺37
2.3.2語音識別37
2.3.3自然語言處理38
2.3.4個(gè)性化推薦38
2.4常見的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)39
2.4.1全連接網(wǎng)絡(luò)結(jié)構(gòu)39
2.4.2卷積神經(jīng)網(wǎng)絡(luò)40
2.4.3循環(huán)神經(jīng)網(wǎng)絡(luò)41
2.5機(jī)器學(xué)習(xí)回顧41
2.5.1線性回歸的基本概念42
2.5.2數(shù)據(jù)處理44
2.5.3模型概覽45
2.5.4效果展示46
2.6深度學(xué)習(xí)框架簡介47
2.6.1深度學(xué)習(xí)框架的作用47
2.6.2常見的深度學(xué)習(xí)框架48
2.6.3PaddlePaddle簡介49
2.6.4PaddlePaddle使用49
2.7PaddlePaddle實(shí)現(xiàn)51
本章小結(jié)60
第3章深度學(xué)習(xí)的單層網(wǎng)絡(luò)61
3.1Logistic回歸模型62
3.1.1Logistic回歸概述62
3.1.2損失函數(shù)64
3.1.3Logistic回歸的梯度下降66
3.2實(shí)現(xiàn)Logistic回歸模型71
3.2.1Python版本72
3.2.2PaddlePaddle版本81
本章小結(jié)90
第4章淺層神經(jīng)網(wǎng)絡(luò)92
4.1神經(jīng)網(wǎng)絡(luò)92
4.1.1神經(jīng)網(wǎng)絡(luò)的定義及其結(jié)構(gòu)92
4.1.2神經(jīng)網(wǎng)絡(luò)的計(jì)算94
4.2BP算法100
4.2.1邏輯回歸與BP算法101
4.2.2單樣本雙層神經(jīng)網(wǎng)絡(luò)的BP算法101
4.2.3多個(gè)樣本神經(jīng)網(wǎng)絡(luò)BP算法105
4.3BP算法實(shí)踐108
4.3.1Python版本109
4.3.2PaddlePaddle版本116
本章小結(jié)122
第5章深層神經(jīng)網(wǎng)絡(luò)123
5.1深層網(wǎng)絡(luò)介紹123
5.1.1深度影響算法能力124
5.1.2網(wǎng)絡(luò)演化過程與常用符號125
5.2傳播過程127
5.2.1神經(jīng)網(wǎng)絡(luò)算法核心思想127
5.2.2深層網(wǎng)絡(luò)前向傳播過程128
5.2.3深層網(wǎng)絡(luò)后向傳播過程129
5.2.4傳播過程總結(jié)130
5.3網(wǎng)絡(luò)的參數(shù)132
5.4代碼實(shí)現(xiàn)133
5.4.1Python版本133
5.4.2PaddlePaddle版本136
本章小結(jié)140
第6章卷積神經(jīng)網(wǎng)絡(luò)141
6.1圖像分類問題描述141
6.2卷積神經(jīng)網(wǎng)絡(luò)介紹142
6.2.1卷積層142
6.2.2ReLU激活函數(shù)147
6.2.3池化層148
6.2.4Softmax分類層149
6.2.5主要特點(diǎn)151
6.2.6經(jīng)典神經(jīng)網(wǎng)絡(luò)架構(gòu)152
6.3PaddlePaddle實(shí)現(xiàn)159
6.3.1數(shù)據(jù)介紹159
6.3.2模型概覽160
6.3.3配置說明160
6.3.4應(yīng)用模型168
本章小結(jié)169
第7章個(gè)性化推薦170
7.1問題描述170
7.2傳統(tǒng)推薦方法171
7.2.1基于內(nèi)容的推薦172
7.2.2協(xié)同過濾推薦173
7.2.3混合推薦175
7.3深度學(xué)習(xí)推薦方法176
7.3.1YouTube的深度神經(jīng)網(wǎng)絡(luò)推薦系統(tǒng)176
7.3.2融合推薦系統(tǒng)178
7.4個(gè)性化推薦系統(tǒng)在PaddlePaddle上的實(shí)現(xiàn)180
7.4.1數(shù)據(jù)準(zhǔn)備180
7.4.2模型配置182
7.4.3模型訓(xùn)練184
7.4.4模型測試188
本章小結(jié)188
第8章個(gè)性化推薦的分布式實(shí)現(xiàn)190
8.1PaddlePaddleCloud介紹190
8.2PaddlePaddleCloud使用192
8.2.1創(chuàng)建集群192
8.2.2配置集群192
8.2.3配置客戶端193
8.3個(gè)性化推薦在PaddlePaddleCloud上的實(shí)現(xiàn)194
8.3.1提交單節(jié)點(diǎn)任務(wù)194
8.3.2個(gè)性化推薦在PaddlePaddleCloud上的實(shí)現(xiàn)196
本章小結(jié)199
第9章廣告CTR預(yù)估200
9.1CTR預(yù)估簡介200
9.1.1CTR定義201
9.1.2CTR與推薦算法的異同202
9.1.3CTR預(yù)估的評價(jià)指標(biāo)202
9.2CTR預(yù)估的基本過程205
9.2.1CTR預(yù)估的三個(gè)階段206
9.2.2CTR預(yù)估中的特征預(yù)處理206
9.3CTR預(yù)估的常見模型208
9.3.1LR模型208
9.3.2GBDT模型210
9.3.3GBDT+LR模型212
9.3.4FM+DNN模型214
9.3.5MLR模型215
9.4CTR預(yù)估在工業(yè)上的實(shí)現(xiàn)217
9.5CTR預(yù)估在PaddlePaddle上的實(shí)現(xiàn)218
9.5.1數(shù)據(jù)集218
9.5.2預(yù)測模型選擇和構(gòu)建219
9.5.3PaddlePaddle完整實(shí)現(xiàn)222
本章小結(jié)226
第10章算法優(yōu)化227
10.1基礎(chǔ)知識227
10.1.1訓(xùn)練、驗(yàn)證和測試集227
10.1.2偏差和方差228
10.2評估229
10.2.1選定評估目標(biāo)229
10.2.2迭代過程230
10.2.3欠擬合和過擬合230
10.3調(diào)優(yōu)策略231
10.3.1降低偏差231
10.3.2降低方差236
10.4超參數(shù)調(diào)優(yōu)242
10.4.1隨機(jī)搜索和網(wǎng)格搜索242
10.4.2超參數(shù)范圍243
10.4.3分階段搜索243
10.4.4例子：對學(xué)習(xí)率的調(diào)整244
本章小結(jié)245