深度學(xué)習(xí)與飛槳PaddlePaddle Fluid實(shí)戰(zhàn)

第　1章 飛槳PaddlePaddle簡介
與AI　Studio的使用　1
1．1　飛槳PaddlePaddle簡介　1
1．2　飛槳PaddlePaddle的工具組件　2
1．2．1　PaddleHub—簡明易用的
預(yù)訓(xùn)練模型管理框架　2
1．2．2　PARL—基于飛槳PaddlePaddle
的深度強(qiáng)化學(xué)習(xí)框架　3
1．2．3　AutoDL Design—讓深度學(xué)習(xí)
來設(shè)計(jì)深度學(xué)習(xí)　4
1．2．4　VisualDL—深度學(xué)習(xí)可視化
工具庫　5
1．2．5　模型轉(zhuǎn)換工具X2Paddle　5
1．3　飛槳PaddlePaddle在百度內(nèi)部
支持的案例　6
1．4　飛槳PaddlePaddle與TensorFlow的
對比　7
1．5　AI Studio簡介　8
1．6　在AI Studio中創(chuàng)建項(xiàng)目　9
1．6．1　用戶界面簡介　9
1．6．2　創(chuàng)建并運(yùn)行一個(gè)項(xiàng)目　10
1．7　AI Studio單機(jī)項(xiàng)目概述　11
1．7．1　頁面概覽　11
1．7．2　復(fù)制項(xiàng)目　12
1．7．3　VisualDL工具的使用　13
1．8　Notebook環(huán)境使用說明　14
1．8．1　Notebook頁面概覽　14
1．8．2　操作區(qū)　14
1．8．3　Notebook內(nèi)容編輯區(qū)　15
1．8．4　側(cè)邊欄　21
1．8．5　工具欄　23
1．9　AI Studio集群項(xiàng)目　23
1．9．1　集群項(xiàng)目說明　23
1．9．2　創(chuàng)建集群項(xiàng)目　24
1．9．3　頁面概覽　25
1．9．4　代碼編輯界面　25
1．9．5　文件管理和數(shù)據(jù)集區(qū)域　26
1．9．6　文件預(yù)覽編輯和提交任務(wù)
區(qū)域　27
1．9．7　PaddlePaddle集群訓(xùn)練說明　27
1．9．8　數(shù)據(jù)集與輸出文件路徑說明　28
1．9．9　提交任務(wù)　29
1．9．10　歷史任務(wù)　29
1．9．11　預(yù)安裝包說明　30
1．10　在線部署及預(yù)測　31
1．10．1　功能說明　31
1．10．2　通過訓(xùn)練任務(wù)生成模型文件　32
1．10．3　創(chuàng)建一個(gè)在線服務(wù)　34
1．10．4　測試沙盒服務(wù)　39
1．10．5　部署在線服務(wù)　40
1．10．6　調(diào)用在線服務(wù)　41
1．11　NumPy常規(guī)操作及使用　42
第　2章 PaddlePaddle Fluid的環(huán)境
搭建與安裝　50
2．1　在Linux系統(tǒng)中安裝
PaddlePaddle　50
2．1．1　租用百度BCC云服務(wù)器　50
2．1．2　安裝前的準(zhǔn)備工作　56
2．1．3　通過pip安裝PaddlePaddle　58
2．1．4　在Docker中安裝
PaddlePaddle　59
2．2　在Windows系統(tǒng)中安裝
PaddlePaddle　64
2．2．1　Windows GPU驅(qū)動(dòng)環(huán)境安裝　64
2．2．2　下載并安裝CUDA　65
2．2．3　安裝cuDNN　68
2．2．4　安裝PaddlePaddle　69
2．3　在macOS系統(tǒng)中安裝
PaddlePaddle　69
2．3．1　安裝Python 3　69
2．3．2　安裝PaddlePaddle　71
第3章　PaddlePaddle深度學(xué)習(xí)入門—
在MNIST上進(jìn)行手寫
數(shù)字識別　72
3．1　引言　72
3．2　模型概覽　73
3．2．1　Softmax回歸模型　73
3．2．2　多層感知器　74
3．2．3　卷積神經(jīng)網(wǎng)絡(luò)　75
3．3　數(shù)據(jù)介紹　78
3．4　PaddlePaddle的程序配置過程　79
3．4．1　程序說明　79
3．4．2　配置inference_program　79
3．4．3　配置train_program　81
3．4．4　配置optimizer_program　82
3．4．5　配置數(shù)據(jù)集reader　82
3．5　構(gòu)建訓(xùn)練過程　83
3．5．1　事件處理程序配置　83
3．5．2　開始訓(xùn)練　84
3．6　應(yīng)用模型　86
3．6．1　生成待預(yù)測的輸入數(shù)據(jù)　87
3．6．2　Inference創(chuàng)建及預(yù)測　87
3．6．3　預(yù)測結(jié)果　87
3．7　小結(jié)　88
第4章　PaddlePaddle設(shè)計(jì)思想與
核心技術(shù)　89
4．1　編譯時(shí)與運(yùn)行時(shí)的概念　89
4．2　Fluid內(nèi)部執(zhí)行流程　90
4．3　Program設(shè)計(jì)簡介　91
4．4　Block簡介　92
4．5　Block和Program的設(shè)計(jì)細(xì)節(jié)　93
4．6　框架執(zhí)行器設(shè)計(jì)思想　94
4．6．1　代碼示例　95
4．6．2　創(chuàng)建框架執(zhí)行器　95
4．6．3　運(yùn)行框架執(zhí)行器　96
4．7　示例　96
4．7．1　定義Program　96
4．7．2　創(chuàng)建框架執(zhí)行器　98
4．7．3　運(yùn)行框架執(zhí)行器　99
4．8　LoD Tensor數(shù)據(jù)結(jié)構(gòu)解讀　99
4．8．1　LoD索引　100
4．8．2　LoD Tensor在PaddlePaddle
中的表示方法　101
4．8．3　LoD Tensor的API　103
4．8．4　LoD Tensor的使用示例　105
4．9　動(dòng)態(tài)圖機(jī)制——DyGraph　107
4．9．1　動(dòng)態(tài)圖設(shè)置和基本用法　108
4．9．2　基于DyGraph構(gòu)建網(wǎng)絡(luò)　109
4．9．3　使用DyGraph訓(xùn)練模型　110
4．9．4　模型參數(shù)的保存　115
4．9．5　模型評估　116
4．9．6　編寫兼容的模型　118
第5章　獨(dú)孤九劍—經(jīng)典圖像分類
網(wǎng)絡(luò)實(shí)現(xiàn)　119
5．1　圖像分類網(wǎng)絡(luò)現(xiàn)狀　119
5．2　VGG16圖像分類任務(wù)　123
5．2．1　定義網(wǎng)絡(luò)結(jié)構(gòu)　124
5．2．2　定義推理程序　127
5．2．3　定義訓(xùn)練程序　127
5．2．4　實(shí)例化訓(xùn)練對象　128
5．2．5　讀取數(shù)據(jù)　128
5．2．6　編寫事件處理程序并
啟動(dòng)訓(xùn)練　129
5．2．7　執(zhí)行模型預(yù)測　130
5．3　模塊化設(shè)計(jì)GoogleNet　135
5．4　Alexnet模型實(shí)現(xiàn)　142
5．5　Resnet模型實(shí)現(xiàn)　146
5．6　MobileNet V2模型實(shí)現(xiàn)　149
5．7　ShuffleNet V2模型實(shí)現(xiàn)　154
第6章　“天網(wǎng)”系統(tǒng)基礎(chǔ)—
目標(biāo)檢測　159
6．1　目標(biāo)檢測簡介　160
6．2　對R-CNN系列算法的探索歷史　161
6．2．1　R-CNN算法：目標(biāo)檢測
開山之作　161
6．2．2　SPP網(wǎng)絡(luò)　164
6．2．3　Fast R-CNN　166
6．2．4　Faster R-CNN　167
6．3　單步目標(biāo)檢測算法　177
6．3．1　統(tǒng)一檢測算法YOLO　178
6．3．2　SSD基本原理　181
6．3．3　SSD在訓(xùn)練時(shí)的匹配策略　185
6．3．4　使用PaddlePaddle實(shí)現(xiàn)
SSD網(wǎng)絡(luò)　186
6．4　PyramidBox　203
6．4．1　提出PyramidBox方法的
背景　204
6．4．2　PyramidBox網(wǎng)絡(luò)結(jié)構(gòu)　205
6．4．3　PyramidBox的創(chuàng)新點(diǎn)　208
6．4．4　PyramidBox的PaddlePaddle
官方實(shí)現(xiàn)　210
第7章　“天網(wǎng)”系統(tǒng)進(jìn)階—像素級
物體分割　221
7．1　物體分割簡介　221
7．2　語義分割與實(shí)例分割的關(guān)系　222
7．3　語義分割　222
7．3．1　語義分割的任務(wù)描述　223
7．3．2　全卷積網(wǎng)絡(luò)　224
7．3．3　ParseNet　229
7．3．4　u-net　229
7．3．5　v-net　231
7．3．6　u-net變體網(wǎng)絡(luò)　231
7．3．7　PSPNet　233
7．3．8　ICNet　234
7．3．9　DeepLab v3+　241
7．4　實(shí)例分割　249
7．4．1　實(shí)例分割概述　249
7．4．2　Mask R-CNN　250
第8章　從零開始了解NLP
技術(shù)—word2vec　263
8．1　初識NLP　263
8．2　詞向量簡介　265
8．3　如何得到詞向量模型　268
8．4　詞向量模型概覽　269
8．4．1　語言模型　269
8．4．2　N-Gram模型　269
8．4．3　CBOW模型　270
8．4．4　Skip-Gram　271
8．4．5　詞ID　271
8．5　通過PaddlePaddle訓(xùn)練
CBOW模型　273
8．5．1　CBOW模型訓(xùn)練過程　273
8．5．2　數(shù)據(jù)預(yù)處理　274
8．5．3　編程實(shí)現(xiàn)　274
8．5．4　模型應(yīng)用　278
8．6　小結(jié)　280
第9章　feed流最懂你—
個(gè)性化推薦　282
9．1　引言　282
9．2　推薦網(wǎng)絡(luò)模型設(shè)計(jì)　283
9．2．1　YouTube的深度神經(jīng)網(wǎng)絡(luò)
個(gè)性化推薦系統(tǒng)　284
9．2．2　融合推薦模型　286
9．3　電影推薦實(shí)驗(yàn)　290
9．3．1　數(shù)據(jù)介紹與下載　290
9．3．2　模型配置說明　292
9．3．3　訓(xùn)練模型　295
9．3．4　應(yīng)用模型　298
9．4　小結(jié)　299
第　10章 讓機(jī)器讀懂你的心—
情感分析技術(shù)　300
10．1　情感分析及其作用　300
10．2　模型設(shè)計(jì)　303
10．3　情感分析實(shí)驗(yàn)　308
第　11章 NLP技術(shù)深入理解—
語義角色標(biāo)注　315
11．1　引言　315
11．2　模型概覽　317
11．2．1　棧式循環(huán)神經(jīng)網(wǎng)絡(luò)　317
11．2．2　雙向循環(huán)神經(jīng)單元　318
11．2．3　條件隨機(jī)場　319
11．2．4　深度雙向LSTM SRL模型　320
11．3　使用PaddlePaddle實(shí)現(xiàn)SRL
任務(wù)　322
11．3．1　數(shù)據(jù)預(yù)處理　322
11．3．2　進(jìn)行PaddlePaddle實(shí)驗(yàn)　324
11．4　小結(jié)　331
第　12章 NLP技術(shù)的應(yīng)用—
機(jī)器翻譯　332
12．1　引言　332
12．2　效果展示　333
12．3　模型概覽　333
12．3．1　時(shí)間步展開的雙向循環(huán)
神經(jīng)網(wǎng)絡(luò)　333
12．3．2　編碼器-解碼器框架　334
12．3．3　柱搜索算法　337
12．4　機(jī)器翻譯實(shí)戰(zhàn)　337
12．4．1　數(shù)據(jù)預(yù)處理　337
12．4．2　模型配置　338
12．4．3　訓(xùn)練模型　342
12．4．4　應(yīng)用模型　343
第　13章 PaddlePaddle移動(dòng)端及嵌入式
框架—Paddle-Mobile　345
13．1　Paddle-Mobile簡介　345
13．2　Paddle-Mobile優(yōu)化與適配　346
13．2．1　包壓縮　346
13．2．2　工程結(jié)構(gòu)編碼前重新設(shè)計(jì)　347
13．3　移動(dòng)端主體識別和分類　350
13．3．1　完全在云端的神經(jīng)網(wǎng)絡(luò)
技術(shù)應(yīng)用　352
13．3．2　移動(dòng)端業(yè)界案例　353
13．3．3　在移動(dòng)端應(yīng)用深度學(xué)習(xí)
技術(shù)的難點(diǎn)　355
13．3．4　AR實(shí)時(shí)翻譯問題的
解決方案　356
13．4　編譯與開發(fā)Paddle-Mobile
平臺庫　359
13．5　開發(fā)一個(gè)基于移動(dòng)端深度學(xué)習(xí)
框架的Android　APP　360
13．6　Paddle-Mobile設(shè)計(jì)思想　368
第　14章 百度開源高速推理引擎——
Anakin　374
14．1　Anakin架構(gòu)與性能　375
14．2　Anakin的特性　379
14．2．1　支持眾多異構(gòu)平臺　379
14．2．2　高性能　379
14．2．3　匯編級的kernel優(yōu)化　382
14．2．4　Anakin值得一提的
技術(shù)亮點(diǎn)　382
14．3　Anakin的使用方法　384
14．3．1　Anakin的工作原理　384
14．3．2　Anakin v2．0 API　385
14．4　示例程序　393
附錄A　TensorFlow與PaddlePaddle Fluid
接口中常用層對照表　394
附錄B　Caffe與PaddlePaddle Fluid
接口中常用層對照表　401