第 1 章 神經網絡基礎 1
1．1 神經元和層 2
1．2 神經元的類型 5
1．2．1 輸入和輸出神經元 6
1．2．2 隱藏神經元 7
1．2．3 偏置神經元 7
1．2．4 上下文神經元 8
1．2．5 其他神經元類型 10
1．3 激活函數 10
1．3．1 線性激活函數 10
1．3．2 階躍激活函數 11
1．3．3 S 型激活函數12
1．3．4 雙曲正切激活函數 13
1．4 修正線性單元（ReLU）13
1．4．1 Softmax 激活函數 14
1．4．2 偏置扮演什么角色？ 17
1．5 神經網絡邏輯 19
1．6 本章小結 22
第 2 章 自組織映射 23
2．1 自組織映射 24
2．1．1 理解鄰域函數 27
2．1．2 墨西哥帽鄰域函數 30
2．1．3 計算 SOM 誤差 32
2．2 本章小結 33
第 3 章 Hopfield 網絡和玻爾茲曼機34
3．1 Hopfield 神經網絡 34
3．1．1 訓練 Hopfield 網絡 37
3．2 Hopfield-Tank 網絡 41
3．3 玻爾茲曼機 42
3．3．1 玻爾茲曼機概率 44
3．4 應用玻爾茲曼機 45
3．4．1 旅行商問題 45
3．4．2 優(yōu)化問題 48
3．4．3 玻爾茲曼機訓練 51
3．5 本章小結 51
第 4 章 前饋神經網絡 53
4．1 前饋神經網絡結構 54
4．1．1 用于回歸的單輸出神經網絡 54
4．2 計算輸出 56
4．3 初始化權重 60
4．4 徑向基函數網絡 63
4．4．1 徑向基函數 64
4．4．2 徑向基函數網絡 65
4．5 規(guī)范化數據 67
4．5．1 1-of-N 編碼 68
4．5．2 范圍規(guī)范化 69
4．5．3 Z 分數規(guī)范化70
4．5．4 復雜規(guī)范化 73
4．6 本章小結 75
第 5 章 訓練與評估 77
5．1 評估分類 78
5．1．1 二值分類 79
5．1．2 多類分類 84
5．1．3 對數損失 86
5．1．4 多類對數損失 88
5．2 評估回歸 88
5．3 模擬退火訓練 89
5．4 本章小結 92
第 6 章 反向傳播訓練 93
6．1 理解梯度 93
6．1．1 什么是梯度 94
6．1．2 計算梯度 96
6．2 計算輸出節(jié)點增量 98
6．2．1 二次誤差函數 98
6．2．2 交叉熵誤差函數 99
6．3 計算剩余節(jié)點增量 99
6．4 激活函數的導數 100
6．4．1 線性激活函數的導數 100
6．4．2 Softmax 激活函數的導數 100
6．4．3 S 型激活函數的導數 101
6．4．4 雙曲正切激活函數的導數 102
6．4．5 ReLU 激活函數的導數 102
6．5 應用反向傳播 103
6．5．1 批量訓練和在線訓練 104
6．5．2 隨機梯度下降 105
6．5．3 反向傳播權重更新 105
6．5．4 選擇學習率和動量 106
6．5．5 Nesterov 動量 107
6．6 本章小結 108
第 7 章 其他傳播訓練 110
7．1 彈性傳播 110
7．2 RPROP 參數 111
7．3 數據結構 113
7．4 理解 RPROP 114
7．4．1 確定梯度的符號變化 114
7．4．2 計算權重變化 115
7．4．3 修改更新值 115
7．5 Levenberg-Marquardt 算法 116
7．6 Hessian 矩陣的計算 119
7．7 具有多個輸出的 LMA 120
7．8 LMA 過程概述 122
7．9 本章小結 122
第 8 章 NEAT，CPPN 和 HyperNEAT 124
8．1 NEAT 網絡 125
8．1．1 NEAT 突變 128
8．1．2 NEAT 交叉 129
8．1．3 NEAT 物種形成 133
8．2 CPPN 網絡 134
8．2．1 CPPN 表型 135
8．3 HyperNEAT 網絡 138
8．3．1 HyperNEAT 基板 139
8．3．2 HyperNEAT 計算機視覺 140
8．4 本章小結 142
第 9 章 深度學習 143
9．1 深度學習組件 143
9．2 部分標記的數據 144
9．3 修正線性單元 145
9．4 卷積神經網絡 145
9．5 神經元 Dropout 146
9．6 GPU 訓練 147
9．7 深度學習工具 149
9．7．1 H2O 149
9．7．2 Theano 150
9．7．3 Lasagne 和 NoLearn 150
9．7．4 ConvNetJS 152
9．8 深度信念神經網絡 152
9．8．1 受限玻爾茲曼機 154
9．8．2 訓練 DBNN 155
9．8．3 逐層采樣 157
9．8．4 計算正梯度 157
9．8．5 吉布斯采樣 159
9．8．6 更新權重和偏置 160
9．8．7 DBNN 反向傳播 161
9．8．8 深度信念應用 162
9．9 本章小結 164
第 10 章 卷積神經網絡 165
10．1 LeNET-5 166
10．2 卷積層 168
10．3 最大池層 170
10．4 稠密層 172
10．5 針對 MNIST 數據集的 ConvNets 172
10．6 本章小結 174
第 11 章 剪枝和模型選擇 175
11．1 理解剪枝 176
11．1．1 剪枝連接 176
11．1．2 剪枝神經元 176
11．1．3 改善或降低表現 177
11．2 剪枝算法 177
11．3 模型選擇 179
11．3．1 網格搜索模型選擇 180
11．3．2 隨機搜索模型選擇 183
11．3．3 其他模型選擇技術 184
11．4 本章小結 185
第 12 章 Dropout 和正則化 186
12．1 L1 和 L2 正則化 187
12．1．1 理解 L1 正則化 188
12．1．2 理解 L2 正則化 189
12．2 Dropout 層 190
12．2．1 Dropout 層 191
12．2．2 實現 Dropout 層 191
12．3 使用 Dropout 194
12．4 本章小結 195
第 13 章 時間序列和循環(huán)網絡 197
13．1 時間序列編碼 198
13．1．1 為輸入和輸出神經元編碼數據 199
13．1．2 預測正弦波 200
13．2 簡單循環(huán)神經網絡 204
13．2．1 Elman 神經網絡 206
13．2．2 Jordan 神經網絡 207
13．2．3 通過時間的反向傳播 208
13．2．4 門控循環(huán)單元 211
13．3 本章小結 213
第 14 章 架構神經網絡 214
14．1 評估神經網絡 215
14．2 訓練參數 215
14．2．1 學習率 216
14．2．2 動量 218
14．2．3 批次大小 219
14．3 常規(guī)超參數 220
14．3．1 激活函數 220
14．3．2 隱藏神經元的配置 222
14．4 LeNet-5 超參數 223
14．5 本章小結 224
第 15 章 可視化 226
15．1 混淆矩陣 227
15．1．1 讀取混淆矩陣 227
15．1．2 生成混淆矩陣 228
15．2 t-SNE 降維 229
15．2．1 t-SNE 可視化 231
15．2．2 超越可視化的 t-SNE 235
15．3 本章小結 236
第 16 章 用神經網絡建模 237
16．0．1 挑戰(zhàn)賽的經驗 241
16．0．2 挑戰(zhàn)賽取勝的方法 242
16．0．3 我們在挑戰(zhàn)賽中的方法 244
16．1 用深度學習建模 245
16．1．1 神經網絡結構 245
16．1．2 裝袋多個神經網絡 249
16．2 本章小結 250
附錄 A 示例代碼使用說明 252
A．1 系列圖書簡介 252
A．2 保持更新 252
A．3 獲取示例代碼 253
A．3．1 下載壓縮文件 253
A．3．2 克隆 Git 倉庫 254
A．4 示例代碼的內容 255
A．5 如何為項目做貢獻 257
參考資料 259
鄂公網安備 42010302001612號 