TensorFlow 2.0深度學(xué)習(xí)應(yīng)用實踐

第1章  星星之火 1
1.1  計算機視覺與深度學(xué)習(xí) 1
1.1.1  人類視覺神經(jīng)的啟迪 2
1.1.2  計算機視覺的難點與人工神經(jīng)網(wǎng)絡(luò) 3
1.1.3  應(yīng)用深度學(xué)習(xí)解決計算機視覺問題 4
1.2  計算機視覺學(xué)習(xí)的基礎(chǔ)與研究方向 5
1.2.1  學(xué)習(xí)計算機視覺結(jié)構(gòu)圖 5
1.2.2  計算機視覺的學(xué)習(xí)方式和未來趨勢 6
1.3  本章小結(jié) 7
第2章  Python的安裝與使用 8
2.1  Python基本安裝和用法 8
2.1.1  Anaconda的下載與安裝 8
2.1.2  Python編譯器PyCharm的安裝 11
2.1.3  使用Python計算softmax函數(shù) 13
2.2  Python常用類庫threading 15
2.2.1  threading庫的使用 15
2.2.2  threading模塊中重要的Thread類 16
2.2.3  threading中Lock類 17
2.2.4  threading中join類 18
2.3  本章小結(jié) 18
第3章  深度學(xué)習(xí)的理論基礎(chǔ)——機器學(xué)習(xí) 19
3.1  機器學(xué)習(xí)基本分類 19
3.1.1  應(yīng)用學(xué)科的分類 19
3.1.2  學(xué)習(xí)模式的分類 20
3.1.3  應(yīng)用領(lǐng)域的分類 20
3.2  機器學(xué)習(xí)基本算法 21
3.2.1  機器學(xué)習(xí)的算法流程 21
3.2.2  基本算法的分類 22
3.3  算法的理論基礎(chǔ) 23
3.3.1  小學(xué)生的故事——求圓的面積 23
3.3.2  機器學(xué)習(xí)基礎(chǔ)理論——函數(shù)逼近 24
3.4  回歸算法 25
3.4.1  函數(shù)逼近經(jīng)典算法——線性回歸算法 25
3.4.2  線性回歸的姐妹——邏輯回歸 27
3.5  本章小結(jié) 28
第4章  Python類庫的使用——數(shù)據(jù)處理及可視化展示 29
4.1  從小例子起步——NumPy的初步使用 29
4.1.1  數(shù)據(jù)的矩陣化 29
4.1.2  數(shù)據(jù)分析 30
4.1.3  基于統(tǒng)計分析的數(shù)據(jù)處理 32
4.2  圖形化數(shù)據(jù)處理——Matplotlib包使用 32
4.2.1  差異的可視化 33
4.2.2  坐標(biāo)圖的展示 34
4.2.3  玩?zhèn)€大的 35
4.3  深度學(xué)習(xí)理論方法——相似度計算 38
4.3.1  基于歐幾里得距離的相似度計算 38
4.3.2  基于余弦角度的相似度計算 39
4.3.3  歐幾里得相似度與余弦相似度的比較 40
4.4  數(shù)據(jù)的統(tǒng)計學(xué)可視化展示 40
4.4.1  數(shù)據(jù)的四分位 40
4.4.2  數(shù)據(jù)的四分位示例 41
4.4.3  數(shù)據(jù)的標(biāo)準化 45
4.4.4  數(shù)據(jù)的平行化處理 46
4.4.5  熱點圖-屬性相關(guān)性檢測 48
4.5  Python實戰(zhàn)——某地降雨的關(guān)系處理 49
4.5.1  不同年份的相同月份統(tǒng)計 49
4.5.2  不同月份之間的增減程度比較 51
4.5.3  每月降雨不相關(guān)嗎 52
4.6  本章小結(jié) 53
第5章  OpenCV的基礎(chǔ)使用 54
5.1  OpenCV基本的圖片讀取 54
5.1.1  基本的圖片存儲格式 54
5.1.2  圖像的讀取與存儲 56
5.1.3  圖像的轉(zhuǎn)換 56
5.1.4  使用NumPy模塊對圖像進行編輯 58
5.2  OpenCV的卷積核處理 59
5.2.1  計算機視覺的三種不同色彩空間 59
5.2.2  卷積核與圖像特征提取 60
5.2.3  卷積核進階 62
5.3  本章小結(jié) 63
第6章  OpenCV與TensorFlow的融合 64
6.1  圖片的自由縮放以及邊緣裁剪 64
6.1.1  圖像的擴縮裁挖 64
6.1.2  圖像色調(diào)的調(diào)整 65
6.1.3  圖像的旋轉(zhuǎn)、平移和翻轉(zhuǎn) 67
6.2  使用OpenCV擴大圖像數(shù)據(jù)庫 68
6.2.1  圖像的隨機裁剪 68
6.2.2  圖像的隨機旋轉(zhuǎn)變換 69
6.2.3  圖像色彩的隨機變換 70
6.2.4  對鼠標(biāo)的監(jiān)控 70
6.3  本章小結(jié) 71
第7章  Let’s play TensorFlow 72
7.1  TensorFlow游樂場 72
7.1.1  I want to play a game 72
7.1.2  TensorFlow游樂場背后的故事 75
7.1.3  如何訓(xùn)練神經(jīng)網(wǎng)絡(luò) 76
7.2  Hello TensorFlow 77
7.2.1  TensorFlow名稱的解釋 77
7.2.2  TensorFlow基本概念 78
7.3  本章小結(jié) 80
第8章  Hello TensorFlow，從0到1 81
8.1  TensorFlow的安裝 81
8.2.1  檢測Anaconda中的TensorFlow版本 81
8.2.2  TensorFlow 2.0 GPU版本基礎(chǔ)顯卡推薦和前置軟件安裝 82
8.2.3  個Hello TensorFlow小程序 84
8.2  TensorFlow常量、變量和數(shù)據(jù)類型 86
8.3  TensorFlow矩陣計算 88
8.4  Hello TensorFlow 89
8.5  本章小結(jié) 92
第9章  TensorFlow重要算法基礎(chǔ) 93
9.1  BP神經(jīng)網(wǎng)絡(luò)簡介 93
9.2  BP神經(jīng)網(wǎng)絡(luò)兩個基礎(chǔ)算法詳解 95
9.2.1  小二乘法（LS算法）詳解 95
9.2.2  道士下山的故事——梯度下降算法 98
9.3  反饋神經(jīng)網(wǎng)絡(luò)反向傳播算法介紹 101
9.3.1  深度學(xué)習(xí)基礎(chǔ) 101
9.3.2  鏈式求導(dǎo)法則 102
9.3.3  反饋神經(jīng)網(wǎng)絡(luò)原理與公式推導(dǎo) 103
9.3.4  反饋神經(jīng)網(wǎng)絡(luò)原理的激活函數(shù) 108
9.3.5  反饋神經(jīng)網(wǎng)絡(luò)原理的Python實現(xiàn) 109
9.4  本章小結(jié) 115
第10章  Hello TensorFlow & Keras 116
10.1  MODEL！MODEL！還是MODEL 116
10.2  使用Keras API實現(xiàn)鳶尾花分類的例子（順序模式） 117
10.2.1  數(shù)據(jù)的準備 118
10.2.2  數(shù)據(jù)的處理 118
10.2.3  梯度更新函數(shù)的寫法 119
10.3  使用Keras函數(shù)式編程實現(xiàn)鳶尾花分類的例子（重點） 120
10.4  使用保存的Keras模式對模型進行復(fù)用 123
10.5  使用TensorFlow 2.0標(biāo)準化編譯對Iris模型進行擬合 124
10.6  多輸入單輸出TensorFlow 2.0編譯方法（選學(xué)） 128
10.7  多輸入多輸出TensorFlow 2.0編譯
方法（選學(xué)） 132
10.8  全連接層詳解 133
10.8.1  全連接層的定義與實現(xiàn) 133
10.8.2  使用TensorFlow 2.0自帶的
API實現(xiàn)全連接層 135
10.8.3  打印顯示TensorFlow 2.0設(shè)計的
Model結(jié)構(gòu)和參數(shù) 138
10.9  本章小結(jié) 140
第11章  卷積層詳解與MNIST實戰(zhàn) 141
11.1  卷積運算基本概念 141
11.1.1  卷積運算 142
11.1.2  TensorFlow 2.0中卷積函數(shù)實現(xiàn)詳解 143
11.1.3  池化運算 145
11.1.4  softmax激活函數(shù) 146
11.1.5  卷積神經(jīng)網(wǎng)絡(luò)原理 147
11.2  TensorFlow 2.0編程實戰(zhàn)：MNIST手寫體識別 150
11.2.1  MNIST數(shù)據(jù)集 150
11.2.2  MNIST數(shù)據(jù)集特征和標(biāo)簽介紹 151
11.2.3  TensorFlow 2.0編程實戰(zhàn)MNIST數(shù)據(jù)集 153
11.2.4  使用自定義的卷積層實現(xiàn)MNIST識別 157
11.3  本章小結(jié) 161
第12章  卷積神經(jīng)網(wǎng)絡(luò)公式推導(dǎo)與應(yīng)用 162
12.1  反饋神經(jīng)網(wǎng)絡(luò)算法 162
12.1.1  經(jīng)典反饋神經(jīng)網(wǎng)絡(luò)正向與反向傳播公式推導(dǎo) 162
12.1.2  卷積神經(jīng)網(wǎng)絡(luò)正向與反向傳播公式推導(dǎo) 165
12.2  使用卷積神經(jīng)網(wǎng)絡(luò)分辨CIFAR-10數(shù)據(jù)集 171
12.2.1  CIFAR-10數(shù)據(jù)集下載與介紹 172
12.2.2  CIFAR-10模型的構(gòu)建與數(shù)據(jù)處理 174
12.2.3  CIFAR-10模型的細節(jié)描述與參數(shù)重構(gòu) 181
12.3  本章小結(jié) 183
第13章  TensorFlow Datasets和TensorBoard詳解 184
13.1  TensorFlow Datasets簡介 184
13.2  Datasets 數(shù)據(jù)集的基本使用 186
13.3  Datasets 數(shù)據(jù)集的使用——Fashion-MNIST 188
13.3.1  Fashion-MNIST數(shù)據(jù)集下載與展示 189
13.3.2  模型的建立與訓(xùn)練 191
13.4  使用Keras對Fashion-MNIST數(shù)據(jù)集進行處理 193
13.5  使用TensorBoard可視化訓(xùn)練過程 199
13.5.1  TensorBoard文件夾的設(shè)置 199
13.5.2  TensorBoard的顯式調(diào)用 200
13.5.3  TensorBoard的使用 202
13.6  本章小結(jié) 206
第14章  從冠軍開始：ResNet 207
14.1  ResNet基礎(chǔ)原理與程序設(shè)計基礎(chǔ) 207
14.1.1  ResNet誕生的背景 208
14.1.2  模塊工具的TensorFlow實現(xiàn)——不要重復(fù)造輪子 211
14.1.3  TensorFlow高級模塊layers用法簡介 211
14.2  ResNet實戰(zhàn)CIFAR-100數(shù)據(jù)集分類 219
14.2.1  CIFAR-100數(shù)據(jù)集簡介 219
14.2.2  ResNet殘差模塊的實現(xiàn) 222
14.2.3  ResNet網(wǎng)絡(luò)的實現(xiàn) 224
14.2.4  使用ResNet對CIFAR-100進行分類 227
14.3  ResNet的兄弟——ResNeXt 228
14.3.1  ResNeXt誕生的背景 229
14.3.2  ResNeXt殘差模塊的實現(xiàn) 230
14.3.3  ResNeXt網(wǎng)絡(luò)的實現(xiàn) 231
14.3.4  ResNeXt和ResNet的比較 233
14.4  本章小結(jié) 234
第15章  Attention is all we need 235
15.1  簡單的理解注意力機制 235
15.1.1  何為注意力 235
15.1.2  hard or soft——注意力機制的兩種常見形式 237
15.1.3  Spatial and Channel——注意力機制的兩種實現(xiàn)形式 237
15.2  SENet or CBAM注意力機制的經(jīng)典模型 240
15.2.1  后的冠軍——SENet 240
15.2.2  結(jié)合了Spatial and Channel的CBAM模型 243
15.2.3  注意力的前沿研究——基于細粒度的圖像注意力機制 248
15.3  本章小結(jié) 249
第16章  開始找工作吧——深度學(xué)習(xí)常用面試問題答疑 250
16.1  深度學(xué)習(xí)面試常用問題答疑 250
16.1.1  如何降低過擬合（Overfitting） 251
16.1.2  全連接層詳解 254
16.1.3  激活函數(shù)起作用的原因 255
16.1.4  卷積后的圖像大小 255
16.1.5  池化層的作用 255
16.1.6  為什么在后分類時使用softmax而不是傳統(tǒng)的SVM 256
16.2  卷積神經(jīng)網(wǎng)絡(luò)調(diào)優(yōu)面試問答匯總 256
16.2.1  數(shù)據(jù)集的注意事項 256
16.2.2  卷積模型訓(xùn)練的注意事項 256
16.3  NIN模型介紹 25716.3.1  NIN（Network In Network）模型簡介 257
16.3.2  貓狗大戰(zhàn)——NIN的代碼實現(xiàn) 258
16.4  deeper is better——GoogLeNet模型介紹 260
16.4.1  GoogLeNet模型的介紹 261
16.4.2  GoogLeNet模型單元的
TensorFlow實現(xiàn) 263
16.4.3  GoogLeNet模型一些注意事項 266
16.5  本章小結(jié) 267
第17章  不服就是GAN——對抗生成網(wǎng)絡(luò) 268
17.1  一個悲慘的故事 268
17.2  GAN基本原理簡介 269
17.3  GAN實戰(zhàn)——手寫體數(shù)字的生成 272
17.3.1  MNIST數(shù)據(jù)集和GAN模型實現(xiàn) 272
17.3.2  訓(xùn)練參數(shù)的定義和實現(xiàn) 275
17.4  本章小結(jié) 278
第18章  未來的趨勢——圖卷積神經(jīng)網(wǎng)絡(luò)初步 279
18.1  圖卷積神經(jīng)網(wǎng)絡(luò)的誕生背景 279
18.1.1  圖卷積基本原理介紹 279
18.1.2  圖卷積基本原理和公式介紹 281
18.1.3  圖卷積需要的基本概念 282
18.2  實戰(zhàn)圖卷積神經(jīng)網(wǎng)絡(luò) 283
18.2.1  cora數(shù)據(jù)集簡介 283
18.2.2  圖卷積模型的建立 286
18.3  本章小結(jié) 288