深度學(xué)習(xí)與TensorFlow實(shí)戰(zhàn)

前言?、?br />第1章　深度學(xué)習(xí)概述　1
1．1　人類的人工智能之夢(mèng)　1
1．2　從遙想到實(shí)踐　3
1．3　三大人工智能學(xué)派　3
1．3．1　符號(hào)學(xué)派　3
1．3．2　行為學(xué)派　3
1．3．3　連接學(xué)派　4
1．4　連接學(xué)派中的神經(jīng)網(wǎng)絡(luò)　4
1．5　神經(jīng)網(wǎng)絡(luò)的“新稱謂”—深度學(xué)習(xí)　7
1．6　深度學(xué)習(xí)的生產(chǎn)力實(shí)現(xiàn)—
TensorFlow　8
1．6．1　TensorFlow之Tensor　9
1．6．2　TensorFlow之Flow　10
1．6．3　TensorFlow之簡單的
數(shù)據(jù)模型　11
1．7　TensorFlow項(xiàng)目介紹　13
1．8　TensorFlow工作環(huán)境的安裝和運(yùn)行　14
1．8．1　Ubuntu環(huán)境下基于Virtualenv的
安裝方法　15
1．8．2　基于Mac OS的安裝方法　16
1．8．3　簡單運(yùn)行一下TensorFlow　16
第2章　機(jī)器學(xué)習(xí)概述　18
2．1　什么是機(jī)器學(xué)習(xí)　18
2．1．1　機(jī)器學(xué)習(xí)的定義　18
2．1．2　任務(wù)　19
2．1．3　性能　20
2．1．4　經(jīng)驗(yàn)　24
2．2　學(xué)習(xí)算法　24
2．2．1　表示　25
2．2．2　評(píng)價(jià)　25
2．2．3　優(yōu)化　27
2．3　以線性回歸為例　28
2．3．1　線性回歸的任務(wù)T　28
2．3．2　線性回歸的經(jīng)驗(yàn)E　28
2．3．3　線性回歸的表示R　30
2．3．4　線性回歸的評(píng)價(jià)E　30
2．3．5　線性回歸的優(yōu)化O　31
2．3．6　小結(jié)　32
2．3．7　TensorFlow的完整運(yùn)行腳本　33
2．4　本章小結(jié)　35
第3章　從生物神經(jīng)元到感知器　36
3．1　感知器的前身　36
3．1．1　生物神經(jīng)元　36
3．1．2　一個(gè)基礎(chǔ)的神經(jīng)元—
McCulloch-Pitts　Units　37
3．1．3　基于MCP神經(jīng)元實(shí)現(xiàn)
布爾邏輯　37
3．1．4　帶有權(quán)值的MCP神經(jīng)元　39
3．1．5　通過帶有權(quán)值的MCP神經(jīng)元對(duì)
空間進(jìn)行線性劃分　40
3．2　感知器　41
3．2．1　感知器簡介　41
3．2．2　感知器的激活函數(shù)　42
3．3　使用感知器分類　43
3．3．1　感知器的二分類　43
3．3．2　經(jīng)驗(yàn)E—Iris鳶尾花數(shù)據(jù)集　44
3．3．3　感知器的表示R　45
3．3．4　感知器的評(píng)價(jià)E　45
3．3．5　感知器的優(yōu)化O　46
3．3．6　實(shí)踐感知器　47
3．4　本章小結(jié)　49
第4章　人工神經(jīng)網(wǎng)絡(luò)　50
4．1　從感知器到多層感知器　50
4．1．1　再次回到MCP神經(jīng)元　50
4．1．2　帶有權(quán)值的MCP神經(jīng)元—
感知器　57
4．1．3　兩層感知器形成“凸域”問題　61
4．1．4　非凸域優(yōu)化　64
4．2　反向傳播神經(jīng)網(wǎng)絡(luò)　65
4．2．1　一個(gè)生動(dòng)的比喻　65
4．2．2　計(jì)算圖基礎(chǔ)—前向傳播　66
4．2．3　計(jì)算圖—帶有參數(shù)w、b的
前向傳播　68
4．2．4　計(jì)算圖—帶有參數(shù)w、b的
反向傳播　69
4．3　使用人工神經(jīng)網(wǎng)絡(luò)對(duì)mnist數(shù)據(jù)進(jìn)行
分類　71
4．4　本章小結(jié)　73
第5章　Logistic回歸與Softmax回歸　74
5．1　信息論　74
5．1．1　編碼　74
5．1．2　編碼效率　74
5．1．3　編碼代價(jià)　75
5．1．4　最優(yōu)編碼　77
5．1．5　信息量和熵　78
5．1．6　交叉熵　80
5．2　Logistic回歸　81
5．2．1　線性回歸回顧　81
5．2．2　Logistic回歸回顧　84
5．2．3　Logistic人工神經(jīng)網(wǎng)絡(luò)稀疏化
表征　87
5．2．4　sigmoid激活函數(shù)與信息熵　90
5．2．5　最大熵模型　91
5．3　Softmax回歸　96
5．3．1　從Logistic回歸到Softmax
回歸　96
5．3．2　Softmax回歸的參數(shù)冗余　96
5．3．3　Softmax回歸與Logistic回歸的
關(guān)系　97
5．3．4　Softmax回歸與k個(gè)二元
分類器　98
5．4　本章小結(jié)　98
第6章　卷積神經(jīng)網(wǎng)絡(luò)　99
6．1　感知器模式識(shí)別　99
6．1．1　通過感知器識(shí)別一幅簡單的
圖像　99
6．1．2　感知器的魯棒性　101
6．1．3　生物視神經(jīng)與感受野　103
6．1．4　Minsky感知器與
局部感受野　105
6．1．5　從魯賓杯角度理解
局部感受野　108
6．1．6　單個(gè)感知器模式識(shí)別的
局限性　110
6．1．7　多層感知器的模式識(shí)別　112
6．2　卷積操作　116
6．2．1　卷積的數(shù)學(xué)定義　116
6．2．2　局部感受野與卷積　116
6．2．3　卷積操作的用途　118
6．3　卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)　119
6．3．1　卷積操作中局部感受野的
跨度　120
6．3．2　白邊　122
6．3．3　池化操作　123
6．3．4　卷積神經(jīng)網(wǎng)絡(luò)的層級(jí)結(jié)構(gòu)　124
6．3．5　通過卷積神經(jīng)網(wǎng)絡(luò)處理彩色
圖像的模型　126
6．4　使用TensorFlow實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的
小例子　129
6．5　本章小結(jié)　131
第7章　循環(huán)神經(jīng)網(wǎng)絡(luò)　132
7．1　循環(huán)神經(jīng)網(wǎng)絡(luò)：一種循環(huán)的人工
神經(jīng)網(wǎng)絡(luò)　132
7．1．1　回到黑箱模型　132
7．1．2　時(shí)間序列性　134
7．2　有限狀態(tài)機(jī)　135
7．2．1　有限狀態(tài)機(jī)的布爾邏輯　135
7．2．2　有限狀態(tài)機(jī)的結(jié)構(gòu)　136
7．3　從MCP神經(jīng)網(wǎng)絡(luò)到循環(huán)神經(jīng)網(wǎng)絡(luò)　138
7．3．1　MCP神經(jīng)網(wǎng)絡(luò)與有限
狀態(tài)機(jī)的等效性　138
7．3．2　前饋神經(jīng)網(wǎng)絡(luò)與MCP
神經(jīng)網(wǎng)絡(luò)的等效性　140
7．3．3　循環(huán)神經(jīng)網(wǎng)絡(luò)與前饋
神經(jīng)網(wǎng)絡(luò)的等效性　142
7．3．4　循環(huán)神經(jīng)網(wǎng)絡(luò)的描述　145
7．3．5　循環(huán)神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)—
BPTT　147
7．4　本章小結(jié)　151
第8章　LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)　152
8．1　梯度彌散現(xiàn)象　152
8．1．1　梯度彌散的緣由　152
8．1．2　梯度彌散帶來的“健忘”　155
8．2　長短期記憶網(wǎng)絡(luò)　157
8．2．1　LSTM的結(jié)構(gòu)　157
8．2．2　LSTM單元如何緩解
梯度彌散　161
8．3　通過TensorFlow實(shí)現(xiàn)一個(gè)
簡單的LSTM　162
8．4　本章小結(jié)　165
第9章　深入TensorFlow　166
9．1　機(jī)器學(xué)習(xí)框架回顧　166
9．2　計(jì)算圖　167
9．2．1　計(jì)算圖的前饋計(jì)算　167
9．2．2　計(jì)算圖的反饋計(jì)算　168
9．3　神經(jīng)網(wǎng)絡(luò)與計(jì)算圖　170
9．3．1　神經(jīng)網(wǎng)絡(luò)與計(jì)算圖的轉(zhuǎn)換　170
9．3．2　神經(jīng)網(wǎng)絡(luò)計(jì)算圖的前饋計(jì)算與
反饋計(jì)算　172
9．4　TensorFlow中的數(shù)據(jù)流圖　176
9．4．1　張量　176
9．4．2　操作　177
9．4．3　變量和占位符　178
9．4．4　三段式編程　179
9．4．5　會(huì)話　180
9．5　使用GPU　183
9．5．1　單機(jī)CPU+GPU　183
9．5．2　單機(jī)CPU+多GPU　184
9．5．3　分布式計(jì)算　185
9．6　數(shù)據(jù)可視化工具TensorBoard　188
9．6．1　生成靜態(tài)計(jì)算圖　188
9．6．2　統(tǒng)計(jì)動(dòng)態(tài)數(shù)據(jù)流　190
9．6．3　使用TensorBoard實(shí)現(xiàn)訓(xùn)練
可視化　190
9．7　本章小結(jié)　193
第10章　TensorFlow案例實(shí)踐　194
10．1　構(gòu)建TensorFlow的圖片分類系統(tǒng)　194
10．2　準(zhǔn)備代碼和訓(xùn)練集　195
10．3　構(gòu)造模型計(jì)算圖　199
10．4　訓(xùn)練模型　207
10．5　評(píng)估模型的性能　210
10．6　多GPU訓(xùn)練　213
10．7　本章小結(jié)　218