深度學習算法實踐（基于Theano和TensorFlow）

目 錄
第一部分 深度學習算法概述
第1章 深度學習算法簡介 2
1．1 神經(jīng)網(wǎng)絡(luò)發(fā)展簡史 2
1．1．1 神經(jīng)網(wǎng)絡(luò)第一次興起 3
1．1．2 神經(jīng)網(wǎng)絡(luò)沉寂期（20世紀80年代―21世紀） 4
1．1．3 神經(jīng)網(wǎng)絡(luò)技術(shù)積累期（20世紀90年代―2006年） 5
1．1．4 深度學習算法崛起（2006年至今） 8
1．2 深度學習現(xiàn)狀 10
1．2．1 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)困境 10
1．2．2 深度多層感知器 12
1．2．3 深度卷積神經(jīng)網(wǎng)絡(luò) 14
1．2．4 深度遞歸神經(jīng)網(wǎng)絡(luò) 15
1．3 深度學習研究前瞻 16
1．3．1 自動編碼機 17
1．3．2 深度信念網(wǎng)絡(luò) 18
1．3．3 生成式網(wǎng)絡(luò)最新進展 19
1．4 深度學習框架比較 20
1．4．1 TensorFlow 20
1．4．2 Theano 21
1．4．3 Torch 22
1．4．4 DeepLearning4J 23
1．4．5 Caffe 23
1．4．6 MXNet 24
1．4．7 CNTK 27
1．4．8 深度學習框架造型指導(dǎo)原則 27
1．5 深度學習入門路徑 28
1．5．1 運行MNIST 28
1．5．2 深度學習框架的選擇 29
1．5．3 小型試驗網(wǎng)絡(luò) 33
1．5．4 訓練生產(chǎn)網(wǎng)絡(luò) 33
1．5．5 搭建生產(chǎn)環(huán)境 34
1．5．6 持續(xù)改進 35
第二部分 深度學習算法基礎(chǔ)
第2章 搭建深度學習開發(fā)環(huán)境 38
2．1 安裝Python開發(fā)環(huán)境 38
2．1．1 安裝最新版本Python 38
2．1．2 Python虛擬環(huán)境配置 39
2．1．3 安裝科學計算庫 40
2．1．4 安裝最新版本Theano 40
2．1．5 圖形繪制 40
2．2 NumPy簡易教程 43
2．2．1 Python基礎(chǔ) 43
2．2．2 多維數(shù)組的使用 51
2．2．3 向量運算 58
2．2．4 矩陣運算 60
2．2．5 線性代數(shù) 62
2．3 TensorFlow簡易教程 68
2．3．1 張量定義 69
2．3．2 變量和placeholder 69
2．3．3 神經(jīng)元激活函數(shù) 71
2．3．4 線性代數(shù)運算 72
2．3．5 操作數(shù)據(jù)集 74
2．4 Theano簡易教程 77
2．4．1 安裝Theano 77
2．4．2 Theano入門 78
2．4．3 Theano矩陣相加 79
2．4．4 變量和共享變量 80
2．4．5 隨機數(shù)的使用 84
2．4．6 Theano求導(dǎo) 84
2．5 線性回歸 86
2．5．1 問題描述 86
2．5．2 線性模型 88
2．5．3 線性回歸學習算法 89
2．5．4 解析法 90
2．5．5 Theano實現(xiàn) 93
第3章 邏輯回歸 100
3．1 邏輯回歸數(shù)學基礎(chǔ) 100
3．1．1 邏輯回歸算法的直觀解釋 100
3．1．2 邏輯回歸算法數(shù)學推導(dǎo) 101
3．1．3 牛頓法解邏輯回歸問題 103
3．1．4 通用學習模型 106
3．2 邏輯回歸算法簡單應(yīng)用 113
3．3 MNIST手寫數(shù)字識別庫簡介 124
3．4 邏輯回歸MNIST手寫數(shù)字識別 126
第4章 感知器模型和MLP 139
4．1 感知器模型 139
4．1．1 神經(jīng)元模型 139
4．1．2 神經(jīng)網(wǎng)絡(luò)架構(gòu) 143
4．2 數(shù)值計算形式 144
4．2．1 前向傳播 144
4．2．2 誤差反向傳播 145
4．2．3 算法推導(dǎo) 147
4．3 向量化表示形式 152
4．4 應(yīng)用要點 153
4．4．1 輸入信號模型 154
4．4．2 權(quán)值初始化 155
4．4．3 早期停止 155
4．4．4 輸入信號調(diào)整 156
4．5 TensorFlow實現(xiàn)MLP 156
第5章 卷積神經(jīng)網(wǎng)絡(luò) 174
5．1 卷積神經(jīng)網(wǎng)絡(luò)原理 174
5．1．1 卷積神經(jīng)網(wǎng)絡(luò)的直觀理解 174
5．1．2 卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成 177
5．1．3 卷積神經(jīng)網(wǎng)絡(luò)設(shè)計 191
5．1．4 遷移學習和網(wǎng)絡(luò)微調(diào) 193
5．2 卷積神經(jīng)網(wǎng)絡(luò)的TensorFlow實現(xiàn) 195
5．2．1 模型搭建 197
5．2．2 訓練方法 203
5．2．3 運行方法 208
第6章 遞歸神經(jīng)網(wǎng)絡(luò) 212
6．1 遞歸神經(jīng)網(wǎng)絡(luò)原理 212
6．1．1 遞歸神經(jīng)網(wǎng)絡(luò)表示方法 213
6．1．2 數(shù)學原理 214
6．1．3 簡單遞歸神經(jīng)網(wǎng)絡(luò)應(yīng)用示例 219
6．2 圖像標記 226
6．2．1 建立開發(fā)環(huán)境 226
6．2．2 圖像標記數(shù)據(jù)集處理 227
6．2．3 單步前向傳播 229
6．2．4 單步反向傳播 231
6．2．5 完整前向傳播 234
6．2．6 完整反向傳播 236
6．2．7 單詞嵌入前向傳播 239
6．2．8 單詞嵌入反向傳播 241
6．2．9 輸出層前向/反向傳播 243
6．2．10 輸出層代價函數(shù)計算 245
6．2．11 圖像標注網(wǎng)絡(luò)整體架構(gòu) 248
6．2．12 代價函數(shù)計算 249
6．2．13 生成圖像標記 255
6．2．14 網(wǎng)絡(luò)訓練過程 258
6．2．15 網(wǎng)絡(luò)持久化 265
第7章 長短時記憶網(wǎng)絡(luò) 269
7．1 長短時記憶網(wǎng)絡(luò)原理 269
7．1．1 網(wǎng)絡(luò)架構(gòu) 269
7．1．2 數(shù)學公式 272
7．2 MNIST手寫數(shù)字識別 274
第三部分 深度學習算法進階
第8章 自動編碼機 286
8．1 自動編碼機概述 286
8．1．1 自動編碼機原理 287
8．1．2 去噪自動編碼機 287
8．1．3 稀疏自動編碼機 288
8．2 去噪自動編碼機TensorFlow實現(xiàn) 291
8．3 去噪自動編碼機的Theano實現(xiàn) 298
第9章 堆疊自動編碼機 307
9．1 堆疊去噪自動編碼機 308
9．2 TensorFlow實現(xiàn) 322
9．3 Theano實現(xiàn) 341
第10章 受限玻爾茲曼機 344
10．1 受限玻爾茲曼機原理 344
10．1．1 網(wǎng)絡(luò)架構(gòu) 344
10．1．2 能量模型 346
10．1．3 CD-K算法 351
10．2 受限玻爾茲曼機TensorFlow實現(xiàn) 353
10．3 受限玻爾茲曼機Theano實現(xiàn) 362
第11章 深度信念網(wǎng)絡(luò) 381
11．1 深度信念網(wǎng)絡(luò)原理 381
11．2 深度信念網(wǎng)絡(luò)TensorFlow實現(xiàn) 382
11．3 深度信念網(wǎng)絡(luò)Theano實現(xiàn) 403
第四部分 機器學習基礎(chǔ)
第12章 生成式學習 420
12．1 高斯判別分析 422
12．1．1 多變量高斯分布 422
12．1．2 高斯判決分析公式 423
12．2 樸素貝葉斯 436
12．2．1 樸素貝葉斯分類器 436
12．2．2 拉普拉斯平滑 439
12．2．3 多項式事件模型 441
第13章 支撐向量機 444
13．1 支撐向量機概述 444
13．1．1 函數(shù)間隔和幾何間隔 445
13．1．2 最優(yōu)距離分類器 448
13．2 拉格朗日對偶 448
13．3 最優(yōu)分類器算法 450
13．4 核方法 453
13．5 非線性可分問題 455
13．6 SMO算法 457
13．6．1 坐標上升算法 458
13．6．2 SMO算法詳解 458
第五部分 深度學習平臺API
第14章 Python Web編程 462
14．1 Python Web開發(fā)環(huán)境搭建 462
14．1．1 CherryPy框架 463
14．1．2 CherryPy安裝 463
14．1．3 測試CherryPy安裝是否成功 464
14．2 最簡Web服務(wù)器 465
14．2．1 程序啟動 465
14．2．2 顯示HTML文件 466
14．2．3 靜態(tài)內(nèi)容處理 468
14．3 用戶認證系統(tǒng) 471
14．4 AJAX請求詳解 473
14．4．1 添加數(shù)據(jù) 474
14．4．2 修改數(shù)據(jù) 476
14．4．3 刪除數(shù)據(jù) 478
14．4．4 REST服務(wù)實現(xiàn) 479
14．5 數(shù)據(jù)持久化技術(shù) 487
14．5．1 環(huán)境搭建 487
14．5．2 數(shù)據(jù)庫添加操作 488
14．5．3 數(shù)據(jù)庫修改操作 489
14．5．4 數(shù)據(jù)庫刪除操作 490
14．5．5 數(shù)據(jù)庫查詢操作 491
14．5．6 數(shù)據(jù)庫事務(wù)操作 492
14．5．7 數(shù)據(jù)庫連接池 494
14．6 任務(wù)隊列 499
14．7 媒體文件上傳 502
14．8 Redis操作 504
14．8．1 Redis安裝配置 504
14．8．2 Redis使用例程 505
第15章 深度學習云平臺 506
15．1 神經(jīng)網(wǎng)絡(luò)持久化 506
15．1．1 數(shù)據(jù)庫表設(shè)計 506
15．1．2 整體目錄結(jié)構(gòu) 511
15．1．3 訓練過程及模型文件保存 512
15．2 神經(jīng)網(wǎng)絡(luò)運行模式 528
15．3 AJAX請求調(diào)用神經(jīng)網(wǎng)絡(luò) 531
15．3．1 顯示靜態(tài)網(wǎng)頁 531
15．3．2 上傳圖片文件 540
15．3．3 AJAX接口 543
15．4 請求合法性驗證 545
15．4．1 用戶注冊和登錄 546
15．4．2 客戶端生成請求 553
15．4．3 服務(wù)器端驗證請求 555
15．5 異步結(jié)果處理 557
15．5．1 網(wǎng)頁異步提交 557
15．5．2 應(yīng)用隊列管理模塊 559
15．5．3 任務(wù)隊列 560
15．5．4 結(jié)果隊列 561
15．5．5 異步請求處理流程 562
15．6 神經(jīng)網(wǎng)絡(luò)持續(xù)改進 563
15．6．1 應(yīng)用遺傳算法 563
15．6．2 重新訓練 564
15．6．3 生成式對抗網(wǎng)絡(luò) 565
后 記 567
參考文獻 568