TensorFlow神經網絡編程

譯者序

作者簡介

審校者簡介

前言

第1 章　神經網絡的數(shù)學原理 1

1.1　理解線性代數(shù) 1

1.1.1　環(huán)境設置 2

1.1.2　線性代數(shù)的數(shù)據(jù)結構 3

1.1.3　線性代數(shù)運算 4

1.1.4　求解線性方程 · 9

1.1.5　奇異值分解 11

1.1.6　特征值分解 14

1.1.7　主成分分析 14

1.2　微積分 15

1.2.1　梯度 16

1.2.2　Hessian 矩陣 23

1.2.3　行列式 24

1.3　最優(yōu)化 25

1.4　總結 28

第2 章　深度前饋神經網絡 29

2.1　定義前饋神經網絡 29

2.2　理解反向傳播 30

2.3　在TensorFlow 中實現(xiàn)前饋神經網絡 · 31

2.4　分析Iris 數(shù)據(jù)集 · 34

2.5　使用前饋網絡進行圖像分類 40

2.6　總結 54

第3 章　神經網絡的優(yōu)化 · 55

3.1　什么是優(yōu)化 55

3.2　優(yōu)化器的類型 56

3.3　梯度下降 57

3.3.1　梯度下降的變體 58

3.3.2　優(yōu)化梯度下降的算法 59

3.4　優(yōu)化器的選擇 61

3.5　總結 64

第4 章　卷積神經網絡 · 65

4.1　卷積神經網絡概述和直觀理解 66

4.1.1　單個卷積層的計算 66

4.1.2　TensorFlow 中的CNN 70

4.2　卷積操作 · 72

4.2.1　對圖像進行卷積 73

4.2.2　步長 75

4.3　池化 · 76

4.3.1　最大池化 77

4.3.2　示例代碼 78

4.4　使用卷積網絡進行圖像分類 80

4.5　總結 · 102

第5 章　遞歸神經網絡 · 103

5.1　遞歸神經網絡介紹 103

5.1.1　RNN 實現(xiàn) 105

5.1.2　TensorFlow RNN 實現(xiàn) 110

5.2　長短期記憶網絡簡介 114

5.2.1　LSTM 的生命周期 115

5.2.2　LSTM 實現(xiàn) 117

5.3　情感分析 122

5.3.1　詞嵌入 122

5.3.2　使用RNN 進行情感分析 · 128

5.4　總結 134

第6 章　生成模型 135

6.1　生成模型簡介 135

6.1.1　判別模型對生成模型 136

6.1.2　生成模型的類型 137

6.2　GAN · 140

6.2.1　GAN 示例 141

6.2.2　GAN 的種類 150

6.3　總結 · 152

第7 章　深度信念網絡 · 153

7.1　理解深度信念網絡 154

7.2　訓練模型 161

7.3　標簽預測 162

7.4　探索模型的準確度 162

7.5　DBN 在MNIST 數(shù)據(jù)集上的應用 · 163

7.5.1　加載數(shù)據(jù)集 163

7.5.2　具有256 個神經元的RBM層的DBN 的輸入參數(shù) · 163

7.5.3　具有256 個神經元的RBM層的DBN 的輸出 · 165

7.6　DBN 中RBM 層的神經元數(shù)量的影響 · 165

7.6.1　具有512 個神經元的RBM 層 · 165

7.6.2　具有128 個神經元的RBM 層 · 166

7.6.3　準確度指標對比 166

7.7　具有兩個RBM 層的DBN 167

7.8　用DBN 對NotMNIST 數(shù)據(jù)集進行分類 · 169

7.9　總結 172

第8 章　自編碼器 173

8.1　自編碼算法 174

8.2　欠完備自編碼器 175

8.3　數(shù)據(jù)集 · 175

8.4　基本自編碼器 177

8.4.1　自編碼器的初始化 177

8.4.2　AutoEncoder 類 178

8.4.3　應用于MNIST 數(shù)據(jù)集的基本自編碼器 180

8.4.4　基本自編碼器的完整代碼 · 184

8.4.5　基本自編碼器小結 186

8.5　加性高斯噪聲自編碼器 186

8.5.1　自編碼器類 187

8.5.2　應用于MNIST 數(shù)據(jù)集的加性高斯自編碼器 188

8.5.3　繪制重建的圖像 191

8.5.4　加性高斯自編碼器的完整代碼 · 192

8.5.5　比較基本自編碼器和加性高斯噪聲自編碼器 193

8.5.6　加性高斯噪聲自編碼器小結 · 194

8.6　稀疏自編碼器 194

8.6.1　KL 散度 194

8.6.2　稀疏自編碼器的完整代碼 · 196

8.6.3　應用于MNIST 數(shù)據(jù)集的稀疏自編碼器 198

8.6.4　比較稀疏自編碼器和加性高斯噪聲自編碼器 200

8.7　總結 200

第9 章　神經網絡研究 · 201

9.1　神經網絡中避免過擬合 201

9.1.1　過擬合問題闡述 201

9.1.2　過擬合解決方案 202

9.1.3　影響效果 203

9.2　使用神經網絡進行大規(guī)模視頻處理 204

9.2.1　分辨率改進方案 204

9.2.2　特征直方圖基線 205

9.2.3　定量結果 205

9.3　使用雙分支互向神經網絡進行命名實體識別 206

9.3.1　命名實體識別的例子 206

9.3.2　定義Twinet 207

9.3.3　結果 208

9.4　雙向遞歸神經網絡 208

9.5　總結 209

第10 章　開始使用TensorFlow 211

10.1　環(huán)境搭建 211

10.2　比較TensorFlow 和Numpy 212

10.3　計算圖 213

10.3.1　圖 213

10.3.2　會話對象 214

10.3.3　變量 215

10.3.4　域 216

10.3.5　數(shù)據(jù)輸入 217

10.3.6　占位符和輸入字典 217

10.4　自動微分 218

10.5　TensorBoard · 219

......