PyTorch深度學(xué)習(xí)實(shí)戰(zhàn)：從新手小白到數(shù)據(jù)科學(xué)家（博文視點(diǎn)出品）

目錄
第1章 初識(shí)PyTorch 1
1．1 神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史 1
1．1．1 神經(jīng)網(wǎng)絡(luò)的前世今生 1
1．1．2 深度學(xué)習(xí)框架對(duì)比 3
1．2 環(huán)境安裝 6
1．2．1 Python環(huán)境的選擇及安裝 6
1．2．2 PyTorch 1．2的安裝 8
1．2．3 開(kāi)發(fā)環(huán)境IDE 10
1．3 PyTorch的核心概念 11
1．3．1 PyTorch的基本概念 11
1．3．2 自動(dòng)微分 16
1．3．3 PyTorch的核心模塊 19
1．4 實(shí)驗(yàn)室小試牛刀 20
1．4．1 塔珀自指公式 20
1．4．2 看看你畢業(yè)了能拿多少 22
1．5 加油站之高等數(shù)學(xué)知識(shí)回顧 39
1．5．1 函數(shù)基礎(chǔ)知識(shí) 39
1．5．2 常見(jiàn)的導(dǎo)數(shù)公式 45
第2章 機(jī)器學(xué)習(xí)快速入門 49
2．1 機(jī)器學(xué)習(xí)的分類 49
2．1．1 監(jiān)督學(xué)習(xí) 49
2．1．2 半監(jiān)督學(xué)習(xí) 51
2．1．3 無(wú)監(jiān)督學(xué)習(xí) 51
2．1．4 強(qiáng)化學(xué)習(xí) 52
2．2 機(jī)器學(xué)習(xí)的常見(jiàn)概念 54
2．2．1 缺失值處理 54
2．2．2 數(shù)據(jù)標(biāo)準(zhǔn)化與數(shù)據(jù)正則化 56
2．2．3 交叉驗(yàn)證 59
2．2．4 過(guò)擬合與欠擬合 61
2．3 神經(jīng)網(wǎng)絡(luò) 62
2．3．1 神經(jīng)網(wǎng)絡(luò)的生物學(xué)發(fā)現(xiàn)與編程模擬 62
2．3．2 人工神經(jīng)網(wǎng)絡(luò)的核心思想 69
2．4 實(shí)現(xiàn)線性回歸、多項(xiàng)式回歸和邏輯回歸 70
2．4．1 PyTorch實(shí)現(xiàn)線性回歸 70
2．4．2 PyTorch實(shí)現(xiàn)多項(xiàng)式回歸 73
2．4．3 PyTorch實(shí)現(xiàn)邏輯回歸 77
2．5 加油站之高等數(shù)學(xué)知識(shí)回顧 82
2．5．1 方向?qū)?shù)和梯度 82
2．5．2 微分及積分 84
2．5．3 牛頓-萊布尼茲公式 87
第3章 PyTorch與科學(xué)計(jì)算 89
3．1 算子字典 89
3．1．1 基本方法 89
3．1．2 索引、切片、連接和換位 91
3．1．3 隨機(jī)抽樣 95
3．1．4 數(shù)據(jù)持久化與高并發(fā) 97
3．1．5 元素級(jí)別的數(shù)學(xué)計(jì)算 98
3．1．6 規(guī)約計(jì)算 102
3．1．7 數(shù)值比較運(yùn)算 104
3．1．8 矩陣運(yùn)算 106
3．2 廣播機(jī)制 110
3．2．1 自動(dòng)廣播規(guī)則 110
3．2．2 廣播計(jì)算規(guī)則 111
3．3 GPU設(shè)備及并行編程 112
3．3．1 device和cuda．device的基本用法 112
3．3．2 CPU設(shè)備到GPU設(shè)備 113
3．3．3 固定緩沖區(qū) 115
3．3．4 自動(dòng)設(shè)備感知 117
3．3．5 并發(fā)編程 118
3．4 實(shí)驗(yàn)室小試牛刀之輕松搞定圖片分類 121
3．4．1 softmax分類簡(jiǎn)介 123
3．4．2 定義網(wǎng)絡(luò)結(jié)構(gòu) 126
3．5 加油站之高等數(shù)學(xué)知識(shí)回顧 133
3．5．1 泰勒公式及其思想 133
3．5．2 拉格朗日乘子法及其思想 138
第4章 激活函數(shù)、損失函數(shù)、優(yōu)化器及數(shù)據(jù)加載 140
4．1 激活函數(shù) 140
4．1．1 Sigmoid 141
4．1．2 tanh 143
4．1．3 ReLU及其變形 145
4．1．4 MaxOut 148
4．2 損失函數(shù) 150
4．2．1 L1范數(shù)損失 150
4．2．2 均方誤差損失 151
4．2．3 二分類交叉熵?fù)p失 152
4．2．4 CrossEntropyLoss和NLLLoss計(jì)算交叉熵?fù)p失 152
4．2．5 KL散度損失 154
4．2．6 余弦相似度損失 155
4．2．7 多分類多標(biāo)簽損失 156
4．3 優(yōu)化器 157
4．3．1 BGD 157
4．3．2 SGD 158
4．3．3 MBGD 159
4．3．4 Momentum 160
4．3．5 NAG 161
4．3．6 Adagrad 161
4．3．7 Adadelta 162
4．3．8 Adam 163
4．4 數(shù)據(jù)加載 164
4．4．1 Dataset數(shù)據(jù)集 164
4．4．2 DataLoader數(shù)據(jù)加載 167
4．5 初探卷積神經(jīng)網(wǎng)絡(luò) 169
4．5．1 知識(shí)科普：卷積過(guò)程及物理意義 169
4．5．2 卷積神經(jīng)網(wǎng)絡(luò) 173
4．5．3 stride和padding 179
4．5．4 膨脹卷積神經(jīng)網(wǎng)絡(luò) 180
4．5．5 池化 182
4．6 實(shí)驗(yàn)室小試牛刀 184
4．6．1 設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò) 184
4．6．2 定義卷積神經(jīng)網(wǎng)絡(luò) 185
4．6．3 模型訓(xùn)練 186
4．6．4 理解卷積神經(jīng)網(wǎng)絡(luò)在學(xué)什么 189
第5章 PyTorch深度神經(jīng)網(wǎng)絡(luò) 201
5．1 計(jì)算機(jī)視覺(jué)工具包 201
5．2 訓(xùn)練過(guò)程的可視化 204
5．2．1 TensorBoard 204
5．2．2 Visdom 210
5．3 深度神經(jīng)網(wǎng)絡(luò) 212
5．3．1 LeNet 212
5．3．2 AlexNet 214
5．3．3 ZF-Net 217
5．3．4 VGG-Nets 219
5．3．5 GoogLeNet 222
5．3．6 ResNet 224
5．3．7 DenseNet 226
5．4 循環(huán)神經(jīng)網(wǎng)絡(luò) 228
5．4．1 循環(huán)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)模型 229
5．4．2 LSTM 233
5．4．3 GRU 238
5．5 實(shí)驗(yàn)室小試牛刀 240
5．5．1 數(shù)據(jù)準(zhǔn)備 241
5．5．2 GRU網(wǎng)絡(luò)設(shè)計(jì) 242
5．5．3 模型訓(xùn)練 244
5．5．4 模型預(yù)測(cè) 245
5．6 加油站之概率論基礎(chǔ)知識(shí)回顧 246
5．6．1 離散型隨機(jī)變量和連續(xù)型隨機(jī)變量 246
5．6．2 概率論常用概念 251
5．6．3 二維隨機(jī)變量 253
5．6．4 邊緣分布 255
5．6．5 期望和方差 257
5．6．6 大數(shù)定理 258
5．6．7 馬爾可夫不等式及切比雪夫不等式 259
5．6．8 中心極限定理 260
第6章 自然語(yǔ)言處理 261
6．1 自然語(yǔ)言基礎(chǔ) 261
6．1．1 自然語(yǔ)言發(fā)展史 261
6．1．2 自然語(yǔ)言處理中的常見(jiàn)任務(wù) 264
6．1．3 統(tǒng)計(jì)自然語(yǔ)言理論 266
6．1．4 使用隱馬爾可夫模型實(shí)現(xiàn)中文分詞 278
6．2 提取關(guān)鍵字 281
6．2．1 TF-IDF 281
6．2．2 TextRank 283
6．2．3 主題模型 284
6．3 Word2vec和詞嵌入 285
6．3．1 N-Gram模型 286
6．3．2 詞袋模型 287
6．3．3 Word2vec詞向量的密集表示 288
6．3．4 使用Word2vec生成詞向量 297
6．3．5 Word2vec源碼調(diào)試 299
6．3．6 在PyTorch中使用詞向量 300
6．4 變長(zhǎng)序列處理 302
6．4．1 pack_padded_sequence壓縮 304
6．4．2 pad_packed_sequence解壓縮 306
6．5 Encoder-Decoder框架和注意力機(jī)制 307
6．5．1 Encoder-Decoder框架 308
6．5．2 注意力機(jī)制 309
6．6 實(shí)驗(yàn)室小試牛刀之對(duì)話機(jī)器人 312
6．6．1 中文對(duì)話語(yǔ)料 313
6．6．2 構(gòu)建問(wèn)答詞典 313
6．6．3 DataLoader數(shù)據(jù)加載 315
6．6．4 Encoder雙向多層GRU 318
6．6．5 運(yùn)用注意力機(jī)制 320
6．6．6 Decoder多層GRU 321
6．6．7 模型訓(xùn)練 323
6．6．8 答案搜索及效果展示 324
6．7 加油站之常見(jiàn)的幾種概率分布 326
6．7．1 二項(xiàng)分布 326
6．7．2 正態(tài)分布 327
6．7．3 均勻分布 328
6．7．4 泊松分布 330
6．7．5 卡方分布 332
6．7．6 Beta分布 333
第7章 自然語(yǔ)言的曙光：預(yù)訓(xùn)練模型 336
7．1 預(yù)訓(xùn)練模型的應(yīng)用 336
7．2 從詞嵌入到ELMo 337
7．2．1 詞嵌入頭上的烏云 337
7．2．2 ELMo 338
7．3 從ELMo模型到GPT模型 341
7．3．1 GPT模型 341
7．3．2 使用GPT模型 342
7．4 從GPT模型到BERT模型 344
第8章 自然語(yǔ)言處理利器：AllenNLP 349
8．1 中文詞性標(biāo)注 349
8．1．1 DatasetReader數(shù)據(jù)讀取 350
8．1．2 定義Model模型 352
8．1．3 模型訓(xùn)練 354
8．1．4 模型預(yù)測(cè) 355
8．1．5 模型保存和加載 356
8．2 AllenNLP 使用Config Files 356
8．2．1 參數(shù)解析 357
8．2．2 注冊(cè)數(shù)據(jù)讀取器和模型 357
8．2．3 定義Jsonnet配置文件 357
8．2．4 命令行工具 359
8．2．5 特征融合 360
8．2．6 制作在線Demo 362
第9章 FastAI高層深度學(xué)習(xí)框架 364
9．1 FastAI框架中的原語(yǔ) 364
9．2 在FastAI框架中使用BERT模型完成中文分類 365
9．2．1 分詞器 365
9．2．2 定義字典 368
9．2．3 數(shù)據(jù)準(zhǔn)備 368
9．2．4 構(gòu)建Databunch和Learner 370
9．2．5 模型訓(xùn)練 371
9．2．6 模型保存和加載 371
9．2．7 模型預(yù)測(cè) 372
9．2．8 制作Rest接口提供服務(wù) 372
第10章 PyTorch Big Graph嵌入 374
10．1 PyTorch Big Graph簡(jiǎn)介 374
10．1．1 PBG模型 375
10．1．2 模型的表示 376
10．1．3 正樣本、負(fù)樣本及損失函數(shù) 377
10．1．4 分布式訓(xùn)練 377
10．1．5 批量負(fù)采樣 379
10．2 PBG實(shí)踐應(yīng)用 379
10．2．1 模型配置文件 380
10．2．2 劃分訓(xùn)練集和測(cè)試集 381
10．2．3 模型訓(xùn)練和驗(yàn)證 382
10．2．4 圖嵌入向量及應(yīng)用 384