神經(jīng)網(wǎng)絡與深度學習應用實戰(zhàn)

基礎篇
第1章 時代崛起 2
1．1 概要 2
1．1．1 基本概念 2
1．1．2 深度學習與機器學習的關(guān)系 4
1．1．3 深度學習與人工智能的關(guān)系 5
1．2 歷史發(fā)展 5
1．2．1 神經(jīng)網(wǎng)絡發(fā)展歷史 5
1．2．2 人工智能發(fā)展歷史 7
1．3 應用領域 8
1．3．1 智能個人助理 8
1．3．2 智能安防 9
1．3．3 無人駕駛 9
1．3．4 電商零售 11
1．3．5 智慧醫(yī)療 11
1．3．6 金融服務 12
1．3．7 智能教育 13
1．4 未來猜想 14
1．4．1 人文的快速發(fā)展 14
1．4．2 人類也是“機器人” 14
1．4．3 新的不平等現(xiàn)象 15
1．5 本章小結(jié) 16
第2章 數(shù)學理論基礎 17
2．1 向量 17
2．1．1 相關(guān)概念 17
2．1．2 向量的線性相關(guān)性 18
2．1．3 向量的外積 18
2．1．4 向量夾角與余弦相似性 18
2．1．5 實例：基于向量夾角的文本相似性分析 19
2．2 矩陣 20
2．2．1 矩陣乘法 20
2．2．2 克羅內(nèi)克積 21
2．3 導數(shù) 22
2．3．1 概述 22
2．3．2 一般運算法則 22
2．3．3 鏈式求導法則 23
2．4 數(shù)值計算 23
2．4．1 誤差 23
2．4．2 距離 24
2．4．3 數(shù)值歸一化 26
2．5 概率分布 26
2．5．1 二項分布 26
2．5．2 超幾何分布 27
2．5．3 泊松分布 27
2．5．4 指數(shù)分布 28
2．5．5 正態(tài)分布 29
2．6 參數(shù)估計 29
2．6．1 概率 29
2．6．2 貝葉斯估計 30
2．6．3 最大似然估計 31
2．6．4 最大后驗估計 32
2．7 回歸分析 33
2．7．1 線性回歸 33
2．7．2 邏輯回歸 36
2．8 判定問題 39
2．8．1 P問題 39
2．8．2 NP問題 39
2．8．3 NP-Complete問題 40
2．8．4 NP-Hard問題 40
2．9 本章小結(jié) 41
第3章 機器學習概要 42
3．1 機器學習的類型 42
3．1．1 有監(jiān)督學習 42
3．1．2 無監(jiān)督學習 43
3．1．3 強化學習 43
3．2 機器學習中常見的函數(shù) 44
3．2．1 激活函數(shù) 44
3．2．2 損失函數(shù) 47
3．2．3 核函數(shù) 48
3．3 機器學習中的重要參數(shù) 49
3．3．1 學習速率 49
3．3．2 動量系數(shù) 50
3．3．3 偏置項 50
3．4 擬合問題 51
3．4．1 過擬合現(xiàn)象 51
3．4．2 欠擬合現(xiàn)象 52
3．4．3 解決過擬合問題的一般方法 52
3．4．4 實例：擬合與二元一次方程求解 55
3．5 交叉檢驗 55
3．5．1 數(shù)據(jù)類型種類 55
3．5．2 留一交叉驗證 57
3．5．3 K折交叉驗證 57
3．6 線性可分與不可分 58
3．7 機器學習的學習特征 59
3．8 產(chǎn)生式模型與判別式模型 60
3．9 機器學習效果的一般評價指標 61
3．10 本章小結(jié) 63
第4章 神經(jīng)網(wǎng)絡基礎 64
4．1 概述 64
4．1．1 神經(jīng)網(wǎng)絡模型 64
4．1．2 經(jīng)典的神經(jīng)網(wǎng)絡結(jié)構(gòu) 65
4．1．3 一般業(yè)務場景中神經(jīng)網(wǎng)絡適應性 66
4．1．4 神經(jīng)網(wǎng)絡的深度 67
4．2 常見學習方法 67
4．2．1 誤差修正學習 67
4．2．2 赫布學習規(guī)則 68
4．2．3 最小均方規(guī)則 69
4．2．4 競爭學習規(guī)則 70
4．2．5 其他學習規(guī)則 71
4．3 優(yōu)化方法：梯度下降 72
4．3．1 概述 72
4．3．2 梯度下降法 72
4．3．3 梯度下降的優(yōu)化算法 74
4．3．4 梯度消失問題 76
4．3．5 示例：利用梯度下降法求函數(shù)極值 77
4．4 常見的神經(jīng)網(wǎng)絡類型 78
4．4．1 前饋型神經(jīng)網(wǎng)絡 78
4．4．2 反饋型神經(jīng)網(wǎng)絡 79
4．4．3 自組織競爭型神經(jīng)網(wǎng)絡 79
4．5 深度學習中常見的網(wǎng)絡類型 80
4．5．1 卷積神經(jīng)網(wǎng)絡 80
4．5．2 循環(huán)神經(jīng)網(wǎng)絡 80
4．5．3 深度信念網(wǎng)絡 80
4．5．4 生成對抗網(wǎng)絡 81
4．5．5 深度強化學習 81
4．6 其他神經(jīng)網(wǎng)絡與深度學習 82
4．6．1 隨機神經(jīng)網(wǎng)絡 82
4．6．2 量子神經(jīng)網(wǎng)絡 82
4．6．3 遷移學習 82
4．7 深度學習與多層神經(jīng)網(wǎng)絡的關(guān)系 83
4．8 調(diào)參技巧 84
4．9 本章小結(jié) 85
進階篇
第5章 前饋型神經(jīng)網(wǎng)絡 88
5．1 概述 88
5．2 常見結(jié)構(gòu) 88
5．3 單層感知器網(wǎng)絡 89
5．3．1 原理 89
5．3．2 網(wǎng)絡結(jié)構(gòu) 90
5．3．3 實例一：基于單層感知器“與”運算 90
5．3．4 實例二：利用感知器判定零件是否合格 91
5．4 BP神經(jīng)網(wǎng)絡 93
5．4．1 概述 93
5．4．2 反向傳播算法 93
5．4．3 異或問題的解決 96
5．4．4 避免病態(tài)結(jié)果 98
5．4．5 實例：基于多層感知器的手寫體數(shù)字識別 99
5．5 徑向基函數(shù)神經(jīng)網(wǎng)絡 101
5．5．1 原理介紹 101
5．5．2 中心選擇方法 102
5．5．3 訓練過程 103
5．5．4 徑向基函數(shù)神經(jīng)網(wǎng)絡與BP神經(jīng)網(wǎng)絡的差異 104
5．6 本章小結(jié) 105
第6章 反饋型神經(jīng)網(wǎng)絡 107
6．1 概述 107
6．1．1 基本原理 107
6．1．2 與前饋型神經(jīng)網(wǎng)絡的差異 108
6．2 Hopfield神經(jīng)網(wǎng)絡 109
6．3 Elman神經(jīng)網(wǎng)絡 112
6．3．1 結(jié)構(gòu)組成 112
6．3．2 學習算法 112
6．4 遞歸神經(jīng)網(wǎng)絡 113
6．4．1 產(chǎn)生背景 114
6．4．2 基本結(jié)構(gòu) 115
6．4．3 前向計算過程 116
6．4．4 反向傳播：BPTS算法 117
6．4．5 應用場景 118
6．4．6 遞歸神經(jīng)網(wǎng)絡的結(jié)構(gòu)改進 118
6．4．7 應用實例 121
6．5 本章小結(jié) 124
第7章 自組織競爭型神經(jīng)網(wǎng)絡 125
7．1 概述 125
7．1．1 一般網(wǎng)絡模型 125
7．1．2 工作原理 126
7．1．3 實例：用競爭學習規(guī)則進行模式分類 127
7．2 常見的聚類方法 129
7．2．1 系統(tǒng)聚類法 129
7．2．2 基于劃分的聚類算法 130
7．2．3 基于密度的聚類算法 131
7．2．4 基于層次的聚類算法 132
7．3 自組織映射網(wǎng)絡 134
7．3．1 概述 134
7．3．2 訓練算法 134
7．3．3 實例：利用自組織映射網(wǎng)絡劃分城市群 135
7．3．4 優(yōu)劣勢分析 136
7．4 其他自組織競爭型神經(jīng)網(wǎng)絡 137
7．4．1 自適應共振理論 137
7．4．2 對偶傳播神經(jīng)網(wǎng)絡 138
7．5 本章小結(jié) 139
高階篇
第8章 卷積神經(jīng)網(wǎng)絡 142
8．1 概述 142
8．1．1 發(fā)展背景 142
8．1．2 基本概念 143
8．1．3 基本網(wǎng)絡結(jié)構(gòu) 144
8．2 卷積 145
8．2．1 卷積的物理意義 145
8．2．2 卷積的理解 145
8．2．3 卷積的實例 147
8．3 卷積核 148
8．3．1 卷積核的含義 148
8．3．2 卷積操作 150
8．3．3 卷積核的特征 150
8．4 卷積神經(jīng)網(wǎng)絡中各層工作原理 151
8．4．1 卷積層 151
8．4．2 下采樣層 151
8．4．3 Softmax層 152
8．5 卷積神經(jīng)網(wǎng)絡的逆向過程 153
8．6 常見卷積神經(jīng)網(wǎng)絡結(jié)構(gòu) 154
8．6．1 LeNet-5 154
8．6．2 AlexNet 155
8．7 應用場景與效果評估 157
8．7．1 場景1：圖像分類 157
8．7．2 場景2：目標檢測 158
8．7．3 場景3：實例分割 159
8．8 Maxout Networks 160
8．9 本章小結(jié) 162
第9章 循環(huán)神經(jīng)網(wǎng)絡 163
9．1 概述 163
9．2 一般循環(huán)神經(jīng)網(wǎng)絡 164
9．2．1 概述 164
9．2．2 單向循環(huán)神經(jīng)網(wǎng)絡 165
9．2．3 雙向循環(huán)神經(jīng)網(wǎng)絡 166
9．2．4 深度循環(huán)神經(jīng)網(wǎng)絡 167
9．3 訓練算法：BPTT算法 168
9．3．1 前向計算 168
9．3．2 誤差項計算 169
9．3．3 權(quán)值梯度計算 169
9．3．4 梯度爆炸與梯度消失問題 170
9．4 長短時記憶網(wǎng)絡 170
9．4．1 背景 170
9．4．2 核心思想 171
9．4．3 詳細結(jié)構(gòu) 172
9．4．4 訓練過程 176
9．4．5 相關(guān)變種簡介 181
9．5 常見循環(huán)神經(jīng)網(wǎng)絡結(jié)構(gòu) 182
9．5．1 N比N結(jié)構(gòu) 182
9．5．2 N比1結(jié)構(gòu) 183
9．5．3 1比N結(jié)構(gòu) 183
9．5．4 N比M結(jié)構(gòu) 184
9．6 與自然語言處理結(jié)合 185
9．7 實例：文本自動生成 186
9．8 本章小結(jié) 187
第10章 深度信念網(wǎng)絡 188
10．1 概要 188
10．1．1 背景 188
10．1．2 基本結(jié)構(gòu) 188
10．2 受限玻爾茲曼機 190
10．2．1 概述 190
10．2．2 邏輯結(jié)構(gòu) 192
10．2．3 對比分歧算法 194
10．3 訓練過程 194
10．3．1 工作流程 194
10．3．2 調(diào)優(yōu)過程 195
10．4 本章小結(jié) 196
第11章 生成對抗網(wǎng)絡 197
11．1 概述 197
11．1．1 背景概要 197
11．1．2 核心思想 198
11．1．3 基本工作流程 199
11．2 樸素生成對抗網(wǎng)絡 201
11．2．1 網(wǎng)絡結(jié)構(gòu) 201
11．2．2 實例：基于樸素生成對抗網(wǎng)絡生成手寫體數(shù)字 203
11．3 深度卷積生成對抗網(wǎng)絡 206
11．3．1 產(chǎn)生背景 206
11．3．2 模型改進 206
11．3．3 網(wǎng)絡結(jié)構(gòu) 207
11．3．4 實例：基于深度卷積對抗網(wǎng)絡生成手寫體數(shù)字 208
11．4 條件生成對抗網(wǎng)絡 212
11．4．1 網(wǎng)絡結(jié)構(gòu) 212
11．4．2 實例：CGAN結(jié)合DCGAN生成手寫體數(shù)字 213
11．5 瓦瑟斯坦生成對抗網(wǎng)絡 214
11．5．1 概述 214
11．5．2 差異化 215
11．5．3 實例：WGAN結(jié)合DCGAN生成手寫體數(shù)字 216
11．6 生成對抗網(wǎng)絡的探索 217
11．6．1 價值與意義 217
11．6．2 面臨的問題 218
11．6．3 應用場景示例 218
11．6．4 未來探索 220
11．7 本章小結(jié) 220

第12章 深度強化學習 221
12．1 概述 221
12．1．1 概要 221
12．1．2 基本原理 222
12．2 馬爾科夫決策過程 223
12．2．1 馬爾科夫過程 223
12．2．2 隱馬爾科夫模型 224
12．2．3 馬爾科夫決策過程 225
12．3 深度強化學習算法 229
12．3．1 DQN算法 229
12．3．2 A3C算法 231
12．3．3 UNREAL算法 231
12．4 強化學習的探索 232
12．4．1 應用場景探索 232
12．4．2 面臨的問題 233
12．5 本章小結(jié) 234