深度學(xué)習(xí)入門與TensorFlow實踐

目　　錄

第　1章 深度學(xué)習(xí)簡介　1
1．1　什么是深度學(xué)習(xí)　1
1．1．1　機器學(xué)習(xí)簡介　1
1．1．2　深度學(xué)習(xí)與傳統(tǒng)機器學(xué)習(xí)算法的區(qū)別　4
1．1．3　深度學(xué)習(xí)與人類神經(jīng)網(wǎng)絡(luò)的關(guān)系　4
1．2　為什么需要學(xué)習(xí)深度學(xué)習(xí)　5
1．3　誰需要學(xué)習(xí)深度學(xué)習(xí)　6
1．4　學(xué)深度學(xué)習(xí)之后，你可以做什么　6
1．5　本章小結(jié)　6
第　2章 數(shù)學(xué)和Python基礎(chǔ)知識　7
2．1　線性代數(shù)　7
2．1．1　數(shù)、向量、矩陣和張量　7
2．1．2　矩陣的轉(zhuǎn)置　8
2．1．3　矩陣的基本運算　9
2．1．4　向量和矩陣的范數(shù)　10
2．2　微積分　10
2．2．1　導(dǎo)數(shù)的概念　10
2．2．2　求導(dǎo)法則　11
2．3　概率論　11
2．3．1　隨機變量　12
2．3．2　隨機變量的分布　12
2．3．3　常見的概率分布　13
2．3．4　條件概率　14
2．4　Anaconda　14
2．4．1　安裝Anaconda　14
2．4．2　包的管理　15
2．4．3　環(huán)境的管理　15
2．5　Jupyter Notebook　16
2．5．1　安裝Jupyter Notebook　16
2．5．2　打開和關(guān)閉Jupyter Notebook　17
2．5．3　代碼框　18
2．5．4　標(biāo)記框　19
2．6　Python　22
2．6．1　Python基礎(chǔ)　22
2．6．2　Python基本數(shù)據(jù)結(jié)構(gòu)　23
2．6．3　控制結(jié)構(gòu)和函數(shù)　26
2．6．4　NumPy庫　28
2．6．5　Pandas　31
2．6．6　畫圖工具　32
2．7　本章小結(jié)　35
第3章　線性模型　36
3．1　線性回歸模型　36
3．1．1　線性回歸模型簡介　36
3．1．2　隨機梯度下降法　41
3．1．3　全數(shù)據(jù)梯度下降法　50
3．1．4　批量隨機梯度下降法　56
3．1．5　學(xué)習(xí)步長　59
3．1．6　標(biāo)準(zhǔn)化和中心化　61
3．1．7　3種梯度下降法的對比　62
3．2　logistic模型　63
3．2．1　logistic模型簡介　63
3．2．2　估計 和　66
3．3　本章小結(jié)　70
習(xí)題　70
第4章　深度神經(jīng)網(wǎng)絡(luò)　72
4．1　為什么需要深度神經(jīng)網(wǎng)絡(luò)　72
4．1．1　簡單神經(jīng)網(wǎng)絡(luò)　72
4．1．2　具有隱藏層的神經(jīng)網(wǎng)絡(luò)　78
4．2　正向傳播算法　83
4．3　反向傳播算法　87
4．4　深度神經(jīng)網(wǎng)絡(luò)的完整訓(xùn)練流程　96
4．4．1　隨機梯度下降法　96
4．4．2　批量隨機梯度下降法　98
4．5　本章小結(jié)　102
習(xí)題　103
第5章　激活函數(shù)　104
5．1　激活函數(shù)的基本要求　104
5．2　輸出層的激活函數(shù)　107
5．2．1　因變量為定量數(shù)據(jù)　107
5．2．2　因變量為二分類定性數(shù)據(jù)　108
5．2．3　因變量為多分類定性數(shù)據(jù)　108
5．2．4　識別MNIST數(shù)據(jù)集中的手寫數(shù)字　111
5．3　隱藏層的激活函數(shù)　116
5．3．1　sigmoid函數(shù)　116
5．3．2　tanh函數(shù)　118
5．3．3　ReLU函數(shù)　119
5．3．4　Leaky ReLU函數(shù)　121
5．4　本章小結(jié)　125
習(xí)題　126
第6章　模型評估和正則化　130
6．1　模型評估　130
6．2　欠擬合和過擬合　133
6．3　正則化　140
6．3．1　早停法　141
6．3．2　懲罰法　141
6．3．3　丟棄法　145
6．3．4　增加觀測點　151
6．4　本章小結(jié)　151
習(xí)題　152
第7章　基于TensorFlow 2建立深度學(xué)習(xí)模型　153
7．1　安裝TensorFlow　154
7．2　TensorFlow 2基本用法　154
7．2．1　tf．Tensor　154
7．2．2　TensorFlow 2和NumPy的兼容性　156
7．3　深度神經(jīng)網(wǎng)絡(luò)建模基本步驟　156
7．3．1　創(chuàng)建模型結(jié)構(gòu)　157
7．3．2　訓(xùn)練模型　159
7．3．3　評估和預(yù)測模型　160
7．4　基于TensorFlow 2建立線性回歸模型　161
7．5　基于TensorFlow 2建立神經(jīng)網(wǎng)絡(luò)分類模型　164
7．5．1　神經(jīng)網(wǎng)絡(luò)分類模型　164
7．5．2　神經(jīng)網(wǎng)絡(luò)模型的正則化　167
7．6　本章小結(jié)　169
習(xí)題　170
第8章　卷積神經(jīng)網(wǎng)絡(luò)　171
8．1　卷積層　172
8．1．1　卷積運算　172
8．1．2　卷積層運算　173
8．1．3　卷積運算的直觀理解　175
8．1．4　填充　177
8．1．5　卷積層求導(dǎo)　178
8．1．6　用Python實現(xiàn)卷積層的計算　180
8．2　池化層　183
8．2．1　池化運算　183
8．2．2　池化層求導(dǎo)　185
8．2．3　用Python實現(xiàn)池化層的計算　187
8．3　卷積神經(jīng)網(wǎng)絡(luò)　189
8．4　本章小結(jié)　196
習(xí)題　196
第9章　基于TensorFlow 2搭建卷積神經(jīng)網(wǎng)絡(luò)模型　198
9．1　卷積層和池化層　199
9．2　CNN實例——MNIST數(shù)據(jù)集和CIFAR-10數(shù)據(jù)集　201
9．2．1　關(guān)于MNIST數(shù)據(jù)集的實例　201
9．2．2　關(guān)于CIFAR-10數(shù)據(jù)集的實例　207
9．3　CNN建模技巧　214
9．3．1　卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)　214
9．3．2　卷積層和池化層的超參數(shù)選擇　215
9．3．3　經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)　216
9．4　本章小結(jié)　219
習(xí)題　219
第　10章 循環(huán)神經(jīng)網(wǎng)絡(luò)　221
10．1　分析IMDB的數(shù)據(jù)　221
10．1．1　IMDB的數(shù)據(jù)　221
10．1．2　神經(jīng)網(wǎng)絡(luò)模型（IMDB）　225
10．2　詞嵌入　229
10．3　循環(huán)神經(jīng)網(wǎng)絡(luò)　231
10．4　從零開始實現(xiàn)循環(huán)神經(jīng)網(wǎng)絡(luò)　236
10．4．1　莎士比亞作品應(yīng)用示例　236
10．4．2　正向傳播算法　239
10．4．3　反向傳播算法　241
10．5　本章小結(jié)　246
習(xí)題　247
第　11章 搭建深度學(xué)習(xí)框架　248
11．1　類Tensor和自動求導(dǎo)　248
11．1．1　類　248
11．1．2　類Tensor　250
11．1．3　自動求導(dǎo)　251
11．2　為Tensor類添加運算函數(shù)并建立神經(jīng)網(wǎng)絡(luò)模型　258
11．2．1　為Tensor類添加運算函數(shù)　258
11．2．2　使用Tensor類建立神經(jīng)網(wǎng)絡(luò)模型　264
11．3　類SGD、類Layer和激活函數(shù)　266
11．3．1　類SGD　266
11．3．2　類Layer　267
11．3．3　激活函數(shù)　270
11．4　詞嵌入和循環(huán)神經(jīng)網(wǎng)絡(luò)　278
11．4．1　詞嵌入　278
11．4．2　循環(huán)神經(jīng)網(wǎng)絡(luò)　285
11．5　本章小結(jié)　291
習(xí)題　291
第　12章 長短期記憶模型與門控循環(huán)單元模型　292
12．1　簡單循環(huán)神經(jīng)網(wǎng)絡(luò)的主要缺陷　292
12．2　長短期記憶模型　298
12．2．1　LSTM模型的核心思想　299
12．2．2　詳解LSTM模型　299
12．2．3　實現(xiàn)LSTM模型　301
12．3　門控循環(huán)單元模型　306
12．3．1　詳解GRU模型　307
12．3．2　實現(xiàn)GRU模型　308
12．4　本章小結(jié)　311
習(xí)題　311
第　13章 基于TensorFlow 2搭建循環(huán)神經(jīng)網(wǎng)絡(luò)模型　312
13．1　建立LSTM模型　312
13．1．1　預(yù)處理數(shù)據(jù)　313
13．1．2　基于TensorFlow建立LSTM模型　315
13．2　基于TensorFlow建立GRU模型　316
13．3　本章小結(jié)　325
習(xí)題　326