深入理解神經(jīng)網(wǎng)絡(luò)：從邏輯回歸到CNN

第 一部分　線性模型
第 1章　邏輯回歸 2
1．1　作為一個(gè)神經(jīng)元的邏輯回歸 2
1．2　基礎(chǔ)向量幾何 4
1．2．1　向量 4
1．2．2　向量的和、數(shù)乘與零向量 6
1．2．3　向量的內(nèi)積、模與投影 8
1．2．4　線性空間、基與線性函數(shù) 11
1．2．5　直線、超平面與仿射函數(shù) 14
1．3　從幾何角度理解邏輯回歸的能力 和局限 17
1．4　實(shí)例：根據(jù)鳥類骨骼判斷生態(tài)類群 20
1．5　小結(jié) 24
第 2章　模型評(píng)價(jià)與損失函數(shù) 25
2．1　訓(xùn)練集與測(cè)試集 25
2．2　分類模型的評(píng)價(jià) 26
2．2．1　混淆矩陣 26
2．2．2　正確率 27
2．2．3　查準(zhǔn)率 27
2．2．4　查全率 27
2．2．5　ROC曲線 28
2．3　損失函數(shù) 29
2．3．1　K-L散度與交叉熵 29
2．3．2　最大似然估計(jì) 31
2．3．3　從幾何角度理解交叉熵?fù)p失 33
2．4　小結(jié) 35
第3章　梯度下降法 36
3．1　多元函數(shù)的微分 36
3．1．1　梯度 37
3．1．2　方向?qū)?shù) 40
3．1．3　偏導(dǎo)數(shù) 43
3．1．4　駐點(diǎn) 43
3．1．5　局部極小點(diǎn) 44
3．2　梯度下降法 46
3．2．1　反梯度場(chǎng) 47
3．2．2　梯度下降法 49
3．2．3　梯度下降法的問(wèn)題 50
3．3　梯度下降法的改進(jìn) 52
3．3．1　學(xué)習(xí)率調(diào)度 52
3．3．2　沖量法 54
3．3．3　AdaGrad 55
3．3．4　RMSProp 56
3．3．5　Adam 57
3．4　運(yùn)用梯度下降法訓(xùn)練邏輯回歸 59
3．5　梯度下降法訓(xùn)練邏輯回歸的Python 實(shí)現(xiàn) 61
3．6　小結(jié) 67
第4章　超越梯度下降 68
4．1　矩陣 68
4．1．1　矩陣基礎(chǔ) 68
4．1．2　矩陣的逆 71
4．1．3　特征值與特征向量 73
4．1．4　對(duì)稱矩陣的譜分解 74
4．1．5　奇異值分解 76
4．1．6　二次型 77
4．2　多元函數(shù)的局部二階特性 79
4．2．1　赫森矩陣 79
4．2．2　二階泰勒展開 79
4．2．3　駐點(diǎn)的類型 82
4．2．4　赫森矩陣的條件數(shù) 84
4．3　基于二階特性的優(yōu)化 87
4．3．1　牛頓法 87
4．3．2　共軛方向法 92
4．4　運(yùn)用牛頓法訓(xùn)練邏輯回歸 95
4．5　牛頓法訓(xùn)練邏輯回歸的Python實(shí)現(xiàn) 98
4．6　小結(jié) 100
第5章　正則化 102
5．1　概率論回顧 102
5．1．1　隨機(jī)變量 102
5．1．2　多元隨機(jī)變量 105
5．1．3　多元隨機(jī)變量的期望和協(xié)方差 矩陣 106
5．1．4　樣本均值和樣本協(xié)方差矩陣 106
5．1．5　主成分 108
5．1．6　正態(tài)分布 111
5．2　模型自由度與偏置 方差權(quán)衡 115
5．2．1　最小二乘線性回歸 116
5．2．2　模型自由度 118
5．2．3　偏置 方差權(quán)衡 119
5．3　正則化 122
5．3．1　嶺回歸與L2正則化 122
5．3．2　L2正則化的貝葉斯視角 125
5．3．3　L1正則化 126
5．4　過(guò)擬合與欠擬合 127
5．5　運(yùn)用L2正則化訓(xùn)練邏輯回歸 130
5．6　運(yùn)用L2正則化訓(xùn)練邏輯回歸的 Python實(shí)現(xiàn) 132
5．7　小結(jié) 135
第二部分　神經(jīng)網(wǎng)絡(luò)
第6章　神經(jīng)網(wǎng)絡(luò) 138
6．1　合作的神經(jīng)元 138
6．2　多層全連接神經(jīng)網(wǎng)絡(luò) 142
6．3　激活函數(shù) 145
6．3．1　Linear 145
6．3．2　Logistic 146
6．3．3　Tanh 148
6．3．4　ReLU 150
6．3．5　Leaky ReLU以及PReLU 151
6．3．6　SoftPlus 153
6．4　多分類與SoftMax 154
6．5　小結(jié) 157
第7章　反向傳播 158
7．1　映射 158
7．1．1　仿射映射 158
7．1．2　雅可比矩陣 159
7．1．3　鏈?zhǔn)椒▌t 160
7．2　反向傳播 162
7．2．1　網(wǎng)絡(luò)的符號(hào)表示 162
7．2．2　原理 163
7．2．3　實(shí)現(xiàn) 166
7．3　相關(guān)問(wèn)題 169
7．3．1　計(jì)算量 169
7．3．2　梯度消失 170
7．3．3　正則化 170
7．3．4　權(quán)值初始化 171
7．3．5　提前停止 171
7．4　多層全連接神經(jīng)網(wǎng)絡(luò)的Python實(shí)現(xiàn) 173
7．5　小結(jié) 182
第8章　計(jì)算圖 183
8．1　計(jì)算圖模型 183
8．1．1　簡(jiǎn)介 183
8．1．2　多層全連接神經(jīng)網(wǎng)絡(luò)的計(jì)算 圖 187
8．1．3　其他神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的計(jì)算圖 188
8．2　自動(dòng)求導(dǎo) 190
8．3　自動(dòng)求導(dǎo)的實(shí)現(xiàn) 192
8．4　計(jì)算圖的Python實(shí)現(xiàn) 195
8．5　小結(jié) 214
第9章　卷積神經(jīng)網(wǎng)絡(luò) 215
9．1　卷積 215
9．1．1　一元函數(shù)的卷積 215
9．1．2　多元函數(shù)的卷積 219
9．1．3　濾波器 223
9．2　卷積神經(jīng)網(wǎng)絡(luò)的組件 228
9．2．1　卷積層 228
9．2．2　激活層 230
9．2．3　池化層 231
9．2．4　全連接層 233
9．2．5　跳躍連接 234
9．3　深度學(xué)習(xí)的正則化方法 236
9．3．1　權(quán)值衰減 236
9．3．2　Dropout 237
9．3．3　權(quán)值初始化 237
9．3．4　批標(biāo)準(zhǔn)化 238
9．3．5　數(shù)據(jù)增強(qiáng) 239
9．4　小結(jié) 239
第 10章　經(jīng)典CNN 241
10．1　LeNet-5 241
10．2　AlexNet 245
10．3　VGGNet 248
10．4　GoogLeNet 251
10．5　ResNet 255
10．6　小結(jié) 257
第 11章　TensorFlow實(shí)例 258
11．1　多分類邏輯回歸 258
11．2　多層全連接神經(jīng)網(wǎng)絡(luò) 266
11．3　LeNet-5 269
11．4　AlexNet 273
11．5　VGG16 277
11．4　小結(jié) 280
附錄A　CNN與元胞自動(dòng)機(jī) 281
參考文獻(xiàn) 311