基于GPT-3、ChatGPT、GPT-4等Transformer架構(gòu)的自然語言處理

第1 章 Transformer 模型介紹 1
1.1 Transformer 的生態(tài)系統(tǒng) 2
1.1.1 工業(yè)4.0      2
1.1.2 基礎(chǔ)模型     3
1.2 使用Transformer 優(yōu)化NLP模型     6
1.3 我們應(yīng)該使用哪些資源 8
1.3.1 Transformer 4.0 無縫API 的崛起    9
1.3.2 選擇即用型API驅(qū)動庫    11
1.3.3 選擇Transformer模型    11
1.3.4 工業(yè)4.0 AI 專家的技能要求    12
1.4 本章小結(jié)     13
1.5 練習(xí)題     14
第2 章 Transformer 模型架構(gòu)入門      15
2.1 Transformer 的崛起：注意力就是一切     16
2.1.1 編碼器堆疊   17
2.1.2 解碼器堆疊   37
2.2 訓(xùn)練和性能    40
2.3 Hugging Face 的Transformer模型      40
2.4 本章小結(jié)     41
2.5 練習(xí)題     42
第3 章 微調(diào)BERT 模型    43
3.1 BERT 的架構(gòu)    44
3.2 微調(diào)BERT     50
3.2.1 選擇硬件   50
3.2.2 安裝使用BERT 模型必需的Hugging Face PyTorch接口    50
3.2.3 導(dǎo)入模塊   50
3.2.4 指定Torch 使用CUDA     51
3.2.5 加載數(shù)據(jù)集   51
3.2.6 創(chuàng)建句子、標(biāo)注列表以及添加[CLS]和[SEP]詞元    53
3.2.7 激活BERT 詞元分析器    53
3.2.8 處理數(shù)據(jù)   54
3.2.9 防止模型對填充詞元進(jìn)行注意力計(jì)算  54
3.2.10 將數(shù)據(jù)拆分為訓(xùn)練集和驗(yàn)證集    54
3.2.11 將所有數(shù)據(jù)轉(zhuǎn)換為torch張量    55
3.2.12 選擇批量大小并創(chuàng)建迭代器    55
3.2.13 BERT 模型配置  56
3.2.14 加載Hugging Face BERTuncased base 模型 57
3.2.15 優(yōu)化器分組參數(shù)  59
3.2.16 訓(xùn)練循環(huán)的超參數(shù) 59
3.2.17 訓(xùn)練循環(huán)   60
3.2.18 對訓(xùn)練進(jìn)行評估  61
3.2.19 使用測試數(shù)據(jù)集進(jìn)行預(yù)測和評估   62
3.2.20 使用馬修斯相關(guān)系數(shù)進(jìn)行評估   63
3.2.21 各批量的分?jǐn)?shù)  63
3.2.22 整個(gè)數(shù)據(jù)集的馬修斯評估    64
3.3 本章小結(jié)     64
3.4 練習(xí)題     65
第4 章 從頭開始預(yù)訓(xùn)練RoBERTa模型      66
4.1 訓(xùn)練詞元分析器和預(yù)訓(xùn)練Transformer     67
4.2 從頭開始構(gòu)建Kantai BERT     68
4.2.1 步驟1：加載數(shù)據(jù)集  68
4.2.2 步驟2：安裝HuggingFace transformers 庫  69
4.2.3 步驟3：訓(xùn)練詞元分析器     70
4.2.4 步驟4：將詞元化結(jié)果保存到磁盤上   72
4.2.5 步驟5：加載預(yù)訓(xùn)練詞元分析器文件    73
4.2.6 步驟6：檢查訓(xùn)練用機(jī)器的配置：GPU 和CUDA  74
4.2.7 步驟7：定義模型的配置     75
4.2.8 步驟8：為Transformer模型加載詞元分析器  75
4.2.9 步驟9：從頭開始初始化模型     75
4.2.10 步驟10：構(gòu)建數(shù)據(jù)集     79
4.2.11 步驟11：定義數(shù)據(jù)整理器     80
4.2.12 步驟12：初始化訓(xùn)練器     80
4.2.13 步驟13：預(yù)訓(xùn)練模型     81
4.2.14 步驟14：將最終模型( 詞元分析器 配置)保存到磁盤   81
4.2.15 步驟15：使用FillMask-Pipeline 進(jìn)行語言建模     82
4.3 后續(xù)步驟     83
4.4 本章小結(jié)     83
4.5 練習(xí)題     84
第5 章 使用Transformer 處理下游NLP 任務(wù)    85
5.1 Transformer 的轉(zhuǎn)導(dǎo)與感知      86
5.1.1 人類智能棧    86
5.1.2 機(jī)器智能棧    88
5.2 Transformer 性能與人類基準(zhǔn)      89
5.2.1 評估模型性能的度量指標(biāo)     89
5.2.2 基準(zhǔn)任務(wù)和數(shù)據(jù)集  90
5.2.3 定義SuperGLUE 基準(zhǔn)任務(wù)     94
5.3 執(zhí)行下游任務(wù)    99
5.3.1 語言學(xué)可接受性語料庫(CoLA)    99
5.3.2 斯坦福情緒樹庫(SST-2)   100
5.3.3 Microsoft 研究釋義語料庫(MRPC)   101
5.3.4 Winograd 模式  102
5.4 本章小結(jié)     102
5.5 練習(xí)題     103
第6 章 機(jī)器翻譯    104
6.1 什么是機(jī)器翻譯   105
6.1.1 人類轉(zhuǎn)導(dǎo)和翻譯 105
6.1.2 機(jī)器轉(zhuǎn)導(dǎo)和翻譯 106
6.2 對WMT 數(shù)據(jù)集進(jìn)行預(yù)處理     106
6.2.1 對原始數(shù)據(jù)進(jìn)行預(yù)處理    107
6.2.2 完成剩余的預(yù)處理工作    109
6.3 用BLEU 評估機(jī)器翻譯     112
6.3.1 幾何評估   112
6.3.2 平滑技術(shù)   114
6.4 Google 翻譯    115
6.5 使用Trax 進(jìn)行翻譯  116
6.5.1 安裝Trax    116
6.5.2 創(chuàng)建原始Transformer模型    117
6.5.3 使用預(yù)訓(xùn)練權(quán)重初始化模型    117
6.5.4 對句子詞元化  117
6.5.5 從Transformer解碼    118
6.5.6 對翻譯結(jié)果去詞元化并展示    118
6.6 本章小結(jié)     119
6.7 練習(xí)題     119
第7 章 GPT-3      120
7.1 具有GPT-3 Transformer模型的超人類NLP   121
7.2 OpenAI GPT Transformer模型的架構(gòu)    122
7.2.1 10 億參數(shù)Transformer模型的興起   122
7.2.2 Transformer 模型擴(kuò)大的歷史    123
7.2.3 從微調(diào)到零樣本  125
7.2.4 解碼器堆疊   126
7.2.5 GPT 引擎   127
7.3 使用GPT-2 進(jìn)行文本補(bǔ)全     127
7.4 訓(xùn)練自定義GPT-2 語言模型     129
7.5 使用OpenAI GPT-3   131
7.5.1 在線運(yùn)行NLP 任務(wù) 131
7.5.2 GPT-3 引擎入門  133
7.6 比較GPT-2 和GPT-3 的輸出     138
7.7 微調(diào)GPT-3    139
7.7.1 準(zhǔn)備數(shù)據(jù)   139
7.7.2 微調(diào)GPT-3   140
7.8 工業(yè)4.0 AI 專家所需的技能     141
7.9 本章小結(jié)     142
7.10 練習(xí)題     143
第8 章 文本摘要(以法律和財(cái)務(wù)文檔為例)     144
8.1 文本到文本模型   145
8.1.1 文本到文本Transformer模型的興起  145
8.1.2 使用前綴而不是任務(wù)格式    146
8.1.3 T5 模型   147
8.2 使用T5 進(jìn)行文本摘要  149
8.2.1 Hugging Face  149
8.2.2 初始化T5-large模型    150
8.2.3 使用T5-large 進(jìn)行文本摘要    153
8.3 使用GPT-3 進(jìn)行文本摘要     158
8.4 本章小結(jié)     159
8.5 練習(xí)題     160
第9 章 數(shù)據(jù)集預(yù)處理和詞元分析器     161
9.1 對數(shù)據(jù)集進(jìn)行預(yù)處理和詞元分析器    162
9.1.1 最佳實(shí)踐   162
9.1.2 Word2Vec 詞元化 165
9.2 深入探討場景4 和場景5      174
9.2.1 使用GPT-2 生成無條件樣本    174
9.2.2 生成條件樣本  176
9.2.3 控制詞元化數(shù)據(jù) 177
9.3 GPT-3 的NLU 能力  180
9.4 本章小結(jié)     181
9.5 練習(xí)題     181
第10 章 基于BERT 的語義角色標(biāo)注     183
10.1 SRL 入門    184
10.1.1 語義角色標(biāo)注的定義   184
10.1.2 使用基于BERT 的預(yù)訓(xùn)練模型進(jìn)行SRL    185
10.2 基于BERT 模型的SRL
實(shí)驗(yàn)     186
10.3 基本示例    187
10.3.1 示例1   187
10.3.2 示例2   189
10.3.3 示例3   191
10.4 復(fù)雜示例    193
10.4.1 示例4   193
10.4.2 示例5   195
10.4.3 示例6   196
10.5 SRL 的能力范圍   197
10.5.1 謂語分析的局限性   198
10.5.2 SRL 局限性的根本原因   199
10.6 本章小結(jié)    200
10.7 練習(xí)題     201
第11 章 使用Transformer 進(jìn)行問答     202
11.1 方法論     203
11.2 方法0：試錯(cuò)法   204
11.3 方法1：NER    206
11.4 方法2：SRL    211
11.4.1 使用ELECTRA 進(jìn)行問答   213
11.4.2 項(xiàng)目管理約束 214
11.4.3 通過SRL 查找問題   215
11.5 后續(xù)步驟    219
11.5.1 使用RoBERTa 模型探索Haystack 220
11.5.2 使用GTP-3 引擎探索問答   221
11.6 本章小結(jié)    222
11.7 練習(xí)題     222
第12 章 情緒分析    224
12.1 入門：使用Transformer進(jìn)行情緒分析   225
12.2 斯坦福情緒樹庫(SST)  225
12.3 通過情緒分析預(yù)測客戶行為     229
12.3.1 使用DistilBERT 進(jìn)行情緒分析  229
12.3.2 使用Hugging Face 的其他模型進(jìn)行情緒分析   231
12.4 使用GPT-3 進(jìn)行情緒分析     235
12.5 工業(yè)4.0 依然需要人類     236
12.5.1 使用SRL 進(jìn)行調(diào)查    237
12.5.2 使用Hugging Face進(jìn)行調(diào)查  238
12.5.3 使用GPT-3 playground進(jìn)行調(diào)查  240
12.6 本章小結(jié)    242
12.7 練習(xí)題     243
第13 章 使用Transformer 分析假新聞    244
13.1 對假新聞的情緒反應(yīng)  245
13.2 理性處理假新聞的方法     250
13.2.1 定義假新聞解決路線圖   251
13.2.2 槍支管控辯論 252
13.2.3 美國前總統(tǒng)特朗普的推文   260
13.3 在我們繼續(xù)之前   262
13.4 本章小結(jié)    262
13.5 練習(xí)題     263
第14 章 可解釋AI     264
14.1 使用BertViz 可視化Transformer    265
14.2 LIT      268
14.2.1 PCA    269
14.2.2 運(yùn)行LIT   269
14.3 使用字典學(xué)習(xí)可視化Transformer    271
14.3.1 Transformer 因子 271
14.3.2 LIME   272
14.3.3 可視化界面  273
14.4 探索我們無法訪問的模型     276
14.5 本章小結(jié)    277
14.6 練習(xí)題     278
第15 章 從NLP 到計(jì)算機(jī)視覺 279
15.1 選擇模型和生態(tài)系統(tǒng)  280
15.2 Reformer    281
15.3 DeBERTa    283
15.4 Transformer 視覺模型  285
15.4.1 ViT – Vision Transformer  285
15.4.2 CLIP    289
15.4.3 DALL-E    294
15.5 不斷擴(kuò)大的模型宇宙  297
15.6 本章小結(jié)    298
15.7 練習(xí)題     299
第16 章 AI 助理    300
16.1 提示工程    301
16.1.1 具有有意義上下文的非正式英語  302
16.1.2 轉(zhuǎn)喻和多義  303
16.1.3 省略   303
16.1.4 模糊上下文  304
16.1.5 引入傳感器  305
16.1.6 有傳感器但沒有可見上下文   305
16.1.7 沒有上下文的正式英語會話  306
16.1.8 提示工程訓(xùn)練 306
16.2 Copilot      307
16.3 可以執(zhí)行領(lǐng)域特定任務(wù)的GPT-3 引擎   309
16.3.1 為ML 算法提供嵌入   309
16.3.2 生成一系列操作指示   315
16.3.3 內(nèi)容過濾器  316
16.4 基于Transformer 的推薦系統(tǒng)     317
16.4.1 通用序列  317
16.4.2 使用MDP 和RL 生成的數(shù)據(jù)集模擬消費(fèi)者行為   319
16.5 計(jì)算機(jī)視覺    323
16.6 數(shù)字人和元宇宙   325
16.7 本章小結(jié)    326
16.8 練習(xí)題     326
第17 章 ChatGPT 和GPT-4 327
17.1 超越人類NLP 水平的Transformer 模型：ChatGPT和GPT-4     328
17.1.1 如何充分理解本章   328
17.1.2 誰擁有AI 生成內(nèi)容的版權(quán)   329
17.2 ChatGPT API    332
17.3 使用ChatGPT Plus 編寫程序并添加注釋   334
17.3.1 設(shè)計(jì)提示  334
17.3.2 使用ChatGPT Plus編寫代碼  335
17.3.3 ChatGPT Plus 繪制輸出結(jié)果  336
17.4 GPT-4 API     337
17.4.1 示例1：使用GPT-4幫助解釋如何編寫代碼   337
17.4.2 示例2：GPT-4 創(chuàng)建一個(gè)函數(shù)來展示Greg Brockman 于2023 年3月14 日的GPT-4 的YouTube 演示 338
17.4.3 示例3：GPT-4 創(chuàng)建一個(gè)用于展示W(wǎng)ikiArt 圖像的應(yīng)用程序  338
17.4.4 示例4：GPT-4 創(chuàng)建一個(gè)用于展示IMDb 評論的應(yīng)用程序  339
17.4.5 示例5：GPT-4 創(chuàng)建一個(gè)用于展示新聞源的應(yīng)用程序  340
17.4.6 示例6：GPT-4 創(chuàng)建一個(gè)k-means 聚類(kmc)算法  341
17.4.7 示例7：GPT-4 關(guān)于GPT-4 和GPT 模型架構(gòu)的對話  341
17.5 高級示例    342
17.5.1 步驟1：為ChatGPT和GPT-4 構(gòu)建知識庫   343
17.5.2 步驟2：添加關(guān)鍵詞和解析用戶請求 343
17.5.3 步驟3：構(gòu)建引導(dǎo)ChatGPT 的提示 344
17.5.4 步驟4：內(nèi)容審核和質(zhì)量控制  344
17.6 可解釋AI(XAI)和Whisper語音模型    345
17.7 使用DALL-E 2 API入門     349
17.7.1 創(chuàng)建新圖像  349
17.7.2 創(chuàng)建圖像的變體 350
17.8 將所有內(nèi)容整合在一起     351
17.9 本章小結(jié)    352
17.10 練習(xí)題     353
——以下資源可掃描封底二維碼下載——
附錄A Transformer 模型術(shù)語  354
附錄B Transformer 模型的硬件約束       356
附錄C 使用GPT-2 進(jìn)行文本補(bǔ)全       362
附錄D 使用自定義數(shù)據(jù)集訓(xùn)練GPT-2 模型     371
附錄E 練習(xí)題答案     380
參考資料        392