深度學習原理與TensorFlow實踐

1 深度學習簡介 1
1.1 深度學習介紹 1
1.2 深度學習的趨勢 7
1.3 參考資料 10
2 TensorFlow系統(tǒng)介紹 12
2.1 TensorFlow誕生的動機 12
2.2 TensorFlow系統(tǒng)簡介 14
2.3 TensorFlow基礎概念 16
2.3.1 計算圖 16
2.3.2 Session會話 18
2.4 系統(tǒng)架構 19
2.5 源碼結構 21
2.5.1 后端執(zhí)行引擎 22
2.5.2 前端語言接口 24
2.6 小結 24
2.7 參考資料 25
3 Hello TensorFlow 26
3.1 環(huán)境準備 26
3.1.1 Mac OS安裝 27
3.1.2 Linux GPU服務器安裝 28
3.1.3 常用Python庫 32
3.2 Titanic題目實戰(zhàn) 34
3.2.1 Kaggle平臺介紹 34
3.2.2 Titanic題目介紹 35
3.2.3 數(shù)據(jù)讀入及預處理 38
3.2.4 構建計算圖 40
3.2.5 構建訓練迭代過程 44
3.2.6 執(zhí)行訓練 46
3.2.7 存儲和加載模型參數(shù) 47
3.2.8 預測測試數(shù)據(jù)結果 50
3.3 數(shù)據(jù)挖掘的技巧 51
3.3.1 數(shù)據(jù)可視化 52
3.3.2 特征工程 54
3.3.3 多種算法模型 57
3.4 TensorBoard可視化 58
3.4.1 記錄事件數(shù)據(jù) 58
3.4.2 啟動TensorBorad服務 60
3.5 數(shù)據(jù)讀取 62
3.5.1 數(shù)據(jù)文件格式 63
3.5.2 TFRecord 63
3.6 SkFlow、TFLearn與TF-Slim 67
3.7 小結 69
3.8 參考資料 69
4 CNN“看懂”世界 71
4.1 圖像識別的難題 72
4.2 CNNs的基本原理 74
4.2.1 卷積的數(shù)學意義 75
4.2.2 卷積濾波 77
4.2.3 CNNs中的卷積層 81
4.2.4 池化（Pooling） 83
4.2.5 ReLU 84
4.2.6 多層卷積 86
4.2.7 Dropout 86
4.3 經(jīng)典CNN模型 87
4.3.1 AlexNet 88
4.3.2 VGGNets 95
4.3.3 GoogLeNet & Inception 98
4.3.4 ResNets 106
4.4 圖像風格轉換 109
4.4.1 量化的風格 109
4.4.2 風格的濾鏡 116
4.5 小結 120
4.6 參考資料 121
5 RNN“能說會道” 123
5.1 文本理解和文本生成問題 124
5.2 標準RNN模型 128
5.2.1 RNN模型介紹 128
5.2.2 BPTT算法 130
5.2.3 靈活的RNN結構 132
5.2.4 TensorFlow實現(xiàn)正弦序列預測 135
5.3 LSTM模型 138
5.3.1 長期依賴的難題 138
5.3.2 LSTM基本原理 139
5.3.3 TensorFlow構建LSTM模型 142
5.4 更多RNN的變體 144
5.5 語言模型 146
5.5.1 NGram語言模型 146
5.5.2 神經(jīng)網(wǎng)絡語言模型 148
5.5.3 循環(huán)神經(jīng)網(wǎng)絡語言模型 150
5.5.4 語言模型也能寫代碼 152
5.5.5 改進方向 163
5.6 對話機器人 164
5.6.1 對話機器人的發(fā)展 165
5.6.2 基于seq2seq的對話機器人 169
5.7 小結 181
5.8 參考資料 182
6 CNN+LSTM看圖說話 183
6.1 CNN+LSTM網(wǎng)絡模型與圖像檢測問題 184
6.1.1 OverFeat和Faster R-CNN圖像檢測算法介紹 185
6.1.2 遮擋目標圖像檢測方法 187
6.1.3 ReInspect算法實現(xiàn)及模塊說明 188
6.1.4 ReInspect算法的實驗數(shù)據(jù)與結論 204
6.2 CNN+LSTM網(wǎng)絡模型與圖像摘要問題 207
6.2.1 圖像摘要問題 208
6.2.2 NIC圖像摘要生成算法 209
6.2.3 NIC圖像摘要生成算法實現(xiàn)說明 214
6.2.4 NIC算法的實驗數(shù)據(jù)與結論 243
6.3 小結 249
6.4 參考資料 250
7 損失函數(shù)與優(yōu)化算法 253
7.1 目標函數(shù)優(yōu)化策略 254
7.1.1 梯度下降算法 254
7.1.2 RMSProp優(yōu)化算法 256
7.1.3 Adam優(yōu)化算法 257
7.1.4 目標函數(shù)優(yōu)化算法小結 258
7.2 類別采樣（Candidate Sampling）損失函數(shù) 259
7.2.1 softmax類別采樣損失函數(shù) 261
7.2.2 噪聲對比估計類別采樣損失函數(shù) 281
7.2.3 負樣本估計類別采樣損失函數(shù) 286
7.2.4 類別采樣logistic損失函數(shù) 286
7.3 小結 287
7.4 參考資料 288
結語 289