TensorFlow 2.x深度學習從入門到實戰(zhàn)

第1篇 TensorFlow基礎

第1章 安裝TensorFlow 2

1.1 TensorFlow的安裝流程 2

1.2 運行TensorFlow的第一個程序 3

第2章 張量及其運算 4

2.1 常量張量的創(chuàng)建 4

2.2 張量維度的轉換 9

2.3 張量的運算 12

第3章 運算圖和會話管理 15

3.1 運算圖的形成 15

3.2 運算圖的數(shù)據(jù)結構 17

3.3 使用會話對象執(zhí)行運算圖 19

3.3.1 交互式會話執(zhí)行流程 19

3.3.2 使用會話日志 20

3.4 使用TensorBoard實現(xiàn)數(shù)據(jù)可視化 20

3.4.1 啟動TensorBoard組件 21

3.4.2 顯示TensorBoard中的數(shù)據(jù) 22

第4章 模型訓練 24

4.1 變量張量 24

4.2 損失函數(shù) 25

4.3 漸進下降法 26

4.3.1 如何將數(shù)據(jù)讀入模型 27

4.3.2 模型訓練的基本流程 28

4.3.3 漸進下降法運行實例 29

4.3.4 漸進下降法的缺陷和應對 30

4.4 運算圖的存儲和加載 32

第2篇 TensorFlow進階

第5章 機器學習的基本概念 34

5.1 使用TensorFlow實現(xiàn)線性回歸 34

5.2 使用TensorFlow實現(xiàn)多項式回歸 36

5.3 使用邏輯回歸實現(xiàn)數(shù)據(jù)二元分類 38

5.3.1 邏輯函數(shù) 38

5.3.2 最大概率估計 39

5.3.3 用代碼實現(xiàn)邏輯回歸 40

5.4 使用多元邏輯回歸實現(xiàn)數(shù)據(jù)的多種分類 41

5.4.1 多元分類示例——識別手寫數(shù)字圖像 41

5.4.2 多元交叉熵 41

5.4.3 多元回歸模型代碼示例 43

第6章 使用TensorFlow開發(fā)神經網(wǎng)絡 44

6.1 神經元和感知器 44

6.1.1 神經元的基本原理 44

6.1.2 感知器的基本原理 45

6.1.3 鏈路權重 46

6.1.4 激活函數(shù) 46

6.2 神經網(wǎng)絡的運行原理 47

6.2.1 神經網(wǎng)絡層 47

6.2.2 誤差反向傳播 48

6.3 構造神經網(wǎng)絡識別手寫數(shù)字圖像 50

第7章 使用TensorFlow實現(xiàn)卷積網(wǎng)絡 53

7.1 卷積運算 53

7.2 卷積運算的本質 54

7.3 卷積運算的相關參數(shù)和操作說明 55

7.4 使用TensorFlow開發(fā)卷積網(wǎng)絡實例 56

7.5 卷積網(wǎng)絡的訓練與應用 59

第8章 構造重定向網(wǎng)絡 61

8.1 什么是重定向網(wǎng)絡 61

8.1.1 重定向網(wǎng)絡的基本結構 61

8.1.2 cell部件的運算原理 62

8.2 使用TensorFlow構建RNN層 63

8.2.1 cell組件類簡介 63

8.2.2 創(chuàng)建RNN層接口調用簡介 64

8.3 使用RNN實現(xiàn)文本識別 65

8.3.1 文本數(shù)據(jù)預處理 65

8.3.2 網(wǎng)絡模型的構建和訓練 66

8.4 長短程記憶組件 68

8.4.1 長短程記憶組件的內部原理 68

8.4.2 使用接口創(chuàng)建LSTM節(jié)點 70

8.4.3 使用LSTM網(wǎng)絡實現(xiàn)文本識別 72

第9章 數(shù)據(jù)集的讀取與操作 74

9.1 TensorFlow的數(shù)據(jù)集對象 74

9.1.1 創(chuàng)建數(shù)值型數(shù)據(jù)集 74

9.1.2 數(shù)據(jù)生成器 75

9.1.3 從文本中讀入數(shù)據(jù)集 76

9.2 數(shù)據(jù)集的處理和加工 77

9.2.1 數(shù)據(jù)集的分批處理 77

9.2.2 基于數(shù)據(jù)集的若干操作 78

9.2.3 數(shù)據(jù)集條目的遍歷訪問 80

第10章 使用多線程、多設備和機器集群 84

10.1 多線程的配置 84

10.2 多處理器分發(fā)執(zhí)行 85

10.3 集群分發(fā)控制 86

第11章 TensorFlow的高級接口Estimator 88

11.1 運行Estimator的基本流程 88

11.2 Estimator的初始化配置 90

11.3 Estimator導出模型應用實例 91

11.3.1 使用線性模型實例 91

11.3.2 使用神經網(wǎng)絡分類器 93

11.3.3 使用線性回歸——深度網(wǎng)絡混合模型 94

11.3.4 給Estimator添加自己的網(wǎng)絡模型 99

第3篇 TensorFlow實戰(zhàn)

第12章 實現(xiàn)編解碼器網(wǎng)絡 104

12.1 自動編解碼器的原理 104

12.2 一個簡單的編解碼器網(wǎng)絡 105

12.3 使用多層編解碼器實現(xiàn)圖像重構 107

12.4 使用編解碼網(wǎng)絡實現(xiàn)圖像去噪 112

12.5 可變編解碼器 115

12.5.1 可變編解碼器的基本原理 115

12.5.2 編解碼器的數(shù)學原理 117

12.5.3 用代碼實現(xiàn)編解碼網(wǎng)絡 123

第13章 使用TensorFlow實現(xiàn)增強學習 127

13.1 搭建開發(fā)環(huán)境 127

13.2 增強學習的基本概念 129

13.3 馬爾可夫過程 132

13.4 馬爾可夫決策模型 133

13.5 開發(fā)一個增強學習示例 135

13.5.1 示例簡介 135

13.5.2 使用神經網(wǎng)絡實現(xiàn)最優(yōu)策略 136

13.6 冰凍湖問題 139

13.6.1 狀態(tài)值優(yōu)化 141

13.6.2 貝爾曼函數(shù) 142

13.6.3 編碼解決冰凍湖問題 145

第14章 使用TensorFlow實現(xiàn)深Q網(wǎng)絡 148

14.1 深Q算法的基本原理 149

14.2 深Q算法項目實踐 150

14.2.1 算法的基本原則 151

14.2.2 深Q網(wǎng)絡模型 155

第15章 TensorFlow與策略下降法 163

15.1 策略導數(shù) 164

15.1.1 策略導數(shù)的底層原理 164

15.1.2 策略導數(shù)算法應用實例 166

15.1.3 策略導數(shù)的缺點 169

15.2 Actor-Critic算法 169

15.2.1 Actor-Critic算法的底層原理 169

15.2.2 Actor-Critic算法的實現(xiàn) 171

15.3 A3C算法原理 173

15.3.1 改變量回傳模式的代碼實現(xiàn) 175

15.3.2 訓練數(shù)據(jù)回傳模式的代碼實現(xiàn) 187

15.4 使用PPO算法玩轉《超級瑪麗》 192

15.4.1 PPO算法簡介 192

15.4.2 PPO算法的數(shù)學原理 193

15.4.3 PPO算法的代碼實現(xiàn) 194

第16章 使用TensorFlow 2.x的Eager模式開發(fā)高級增強學習算法 201

16.1 TensorFlow 2.x Eager模式簡介 201

16.2 使用Eager模式快速構建神經網(wǎng)絡 202

16.3 在Eager模式下使用DDPG算法實現(xiàn)機械模擬控制 204

16.3.1 DDPG算法的基本原理 204

16.3.2 DDPG算法的代碼實現(xiàn) 206

16.4 DDPG算法改進——TD3算法的原理與實現(xiàn) 211

16.4.1 TD3算法的基本原理 212

16.4.2 TD3算法的代碼實現(xiàn) 213

16.5 TD3算法的升級版——SAC算法 218

16.5.1 SAC算法的基本原理 218

16.5.2 SAC算法的代碼實現(xiàn) 221

16.6 概率化深Q網(wǎng)絡算法 226

16.6.1 連續(xù)概率函數(shù)的離散化表示 226

16.6.2 算法的基本原理 228

16.6.3 讓算法玩轉《雷神之錘》 229

16.7 D4PG——概率化升級的DDPG算法 236

16.7.1 D4PG算法的基本原理 236

16.7.2 通過代碼實現(xiàn)D4GP算法 237

第17章 使用TensorFlow 2.x實現(xiàn)生成型對抗性網(wǎng)絡 245

17.1 生成型對抗性網(wǎng)絡的基本原理與代碼實戰(zhàn) 245

17.2 WGAN——讓對抗性網(wǎng)絡生成更復雜的圖像 253

17.2.1 推土距離 253

17.2.2 WGAN算法的基本原理 255

17.2.3 WGAN算法的代碼實現(xiàn) 256

17.3 WGAN_PG——讓網(wǎng)絡生成細膩的人臉圖像 262

17.3.1 WGAN_PG算法的基本原理 262

17.3.2 WGAN_GP算法的代碼實現(xiàn) 263

17.4 使用CycleGAN實現(xiàn)“指鹿為馬” 269

17.4.1 CycleGAN技術的基本原理 269

17.4.2 用代碼實現(xiàn)CycleGAN 272

17.5 使用CycleGAN實現(xiàn)“無痛變性” 284

17.5.1 TensorFlow 2.x的數(shù)據(jù)集接口 284

17.5.2 網(wǎng)絡代碼的實現(xiàn) 290

17.6 利用Attention機制實現(xiàn)自動譜曲 297

17.6.1 樂理的基本知識 298

17.6.2 網(wǎng)絡訓練的數(shù)據(jù)準備 299

17.6.3 Attention網(wǎng)絡結構說明 302

17.6.4 用代碼實現(xiàn)預測網(wǎng)絡 304

17.7 使用MuseGAN生成多聲道音樂 310

17.7.1 樂理的基本知識補充 310

17.7.2 曲譜與圖像的共性 311

17.7.3 MuseGAN的基本原理 313

17.7.4 MuseGAN的代碼實現(xiàn) 314

17.8 使用自關注機制提升網(wǎng)絡人臉的生成能力 322

17.8.1 Self-Attention機制的算法原理 322

17.8.2 引入spectral norm以保證訓練的穩(wěn)定性 324

17.8.3 用代碼實現(xiàn)自關注網(wǎng)絡 330

17.9 實現(xiàn)黑白圖像自動上色 338

17.9.1 算法的基本原理 338

17.9.2 網(wǎng)絡內部結構設計 339

17.9.3 代碼實現(xiàn) 340