神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯技術(shù)及產(chǎn)業(yè)應(yīng)用

第1章 緒論 1
1.1 機(jī)器翻譯發(fā)展簡(jiǎn)介 3
1.2 機(jī)器翻譯代表性方法 6
1.2.1 基于規(guī)則的機(jī)器翻譯 6
1.2.2 統(tǒng)計(jì)機(jī)器翻譯 8
1.2.3 神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯 11
1.3 發(fā)展現(xiàn)狀 13
1.4 產(chǎn)業(yè)應(yīng)用需求特點(diǎn)及挑戰(zhàn) 15
1.4.1 高翻譯質(zhì)量 15
1.4.2 高系統(tǒng)性能 17
1.4.3 多語言翻譯 18
1.4.4 領(lǐng)域自適應(yīng) 19
1.4.5 跨模態(tài)翻譯 20
1.5 本書結(jié)構(gòu) 21
參考文獻(xiàn) 24
第2章 翻譯語料獲取與譯文質(zhì)量評(píng)價(jià) 27
2.1 概述 28
2.2 機(jī)器翻譯語料庫類型 31
2.2.1 雙語語料庫 31
2.2.2 單語語料庫 33
2.3 公開語料庫及系統(tǒng)評(píng)測(cè) 34
2.3.1 語言數(shù)據(jù)聯(lián)盟與NIST評(píng)測(cè) 34
2.3.2 歐洲議會(huì)語料庫與WMT評(píng)測(cè) 35
2.3.3 語音翻譯語料庫與IWSLT評(píng)測(cè) 35
2.3.4 中文語言資源聯(lián)盟與CCMT評(píng)測(cè) 36
2.4 從互聯(lián)網(wǎng)獲取機(jī)器翻譯語料 36
2.4.1 互聯(lián)網(wǎng)雙語語料存在形式 37
2.4.2 互聯(lián)網(wǎng)語料常見問題 39
2.4.3 雙語語料挖掘與加工 40
2.5 機(jī)器翻譯質(zhì)量評(píng)價(jià) 44
2.5.1 人工評(píng)價(jià) 44
2.5.2 自動(dòng)評(píng)價(jià) 46
2.5.3 面向產(chǎn)業(yè)應(yīng)用的評(píng)價(jià) 53
參考文獻(xiàn) 55
第3章 神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯 57
3.1 概述 59
3.2 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的模型 62
3.2.1 基本模型 63
3.2.2 雙向編碼 65
3.2.3 注意力機(jī)制 66
3.2.4 長(zhǎng)短時(shí)記憶與門控循環(huán)單元 68
3.3 基于卷積神經(jīng)網(wǎng)絡(luò)的翻譯模型 71
3.4 全注意力模型 75
3.4.1 基本思想 76
3.4.2 模型結(jié)構(gòu) 78
3.4.3 性能分析 79
3.5 非自回歸翻譯模型 80
3.6 搭建一個(gè)神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯系統(tǒng) 85
3.6.1 環(huán)境準(zhǔn)備 85
3.6.2 模型訓(xùn)練 86
3.6.3 解碼 88
3.6.4 效果評(píng)估 88
參考文獻(xiàn) 89
第4章 高性能機(jī)器翻譯 93
4.1 概述 94
4.2 早期產(chǎn)業(yè)化神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯系統(tǒng) 96
4.2.1 百度神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯系統(tǒng) 97
4.2.2 谷歌神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯系統(tǒng) 101
4.3 Transformer模型優(yōu)化 104
4.3.1 高效Transformer 105
4.3.2 針對(duì)機(jī)器翻譯的優(yōu)化 109
4.4 模型壓縮 112
4.4.1 剪枝 112
4.4.2 量化 115
4.4.3 知識(shí)蒸餾 119
4.5 系統(tǒng)部署 121
4.5.1 分布式系統(tǒng)部署 121
4.5.2 智能硬件設(shè)備 122
4.6 開源工具 123
參考文獻(xiàn) 124
第5章 多語言機(jī)器翻譯 131
5.1 概述 133
5.2 數(shù)據(jù)增強(qiáng) 134
5.2.1 基于樞軸語言的合成語料庫方法 134
5.2.2 回譯技術(shù) 136
5.3 無監(jiān)督機(jī)器翻譯 138
5.3.1 基本原理 139
5.3.2 跨語言向量映射 140
5.3.3 基于去噪自編碼器和回譯技術(shù)的翻譯模型 142
5.3.4 基于對(duì)偶學(xué)習(xí)的機(jī)器翻譯模型 144
5.4 多語言翻譯統(tǒng)一建模 145
5.4.1 基于多任務(wù)學(xué)習(xí)的翻譯模型 146
5.4.2 基于語言標(biāo)簽的多語言翻譯模型 148
5.5 多語言預(yù)訓(xùn)練 151
5.5.1 預(yù)訓(xùn)練技術(shù)簡(jiǎn)介 152
5.5.2 多語言預(yù)訓(xùn)練模型 158
5.5.3 方法比較 163
5.6 多語言機(jī)器翻譯系統(tǒng) 165
5.6.1 百度多語言機(jī)器翻譯 165
5.6.2 谷歌多語言機(jī)器翻譯 166
5.6.3 臉書多語言機(jī)器翻譯 168
參考文獻(xiàn) 169
第6章 領(lǐng)域自適應(yīng) 177
6.1 概述 179
6.2 領(lǐng)域數(shù)據(jù)增強(qiáng) 180
6.2.1 領(lǐng)域數(shù)據(jù)聚類 180
6.2.2 領(lǐng)域數(shù)據(jù)篩選 182
6.2.3 領(lǐng)域數(shù)據(jù)擴(kuò)充 184
6.3 模型訓(xùn)練及優(yōu)化 184
6.3.1 預(yù)訓(xùn)練加微調(diào)技術(shù) 185
6.3.2 領(lǐng)域數(shù)據(jù)加權(quán)訓(xùn)練 186
6.3.3 模型參數(shù)部分調(diào)優(yōu) 187
6.3.4 基于知識(shí)蒸餾的領(lǐng)域自適應(yīng) 188
6.3.5 基于課程表學(xué)習(xí)的領(lǐng)域自適應(yīng) 189
6.4 專有名詞和術(shù)語的翻譯 190
6.4.1 前處理技術(shù) 191
6.4.2 后處理技術(shù) 193
6.4.3 融合專名/術(shù)語翻譯的解碼算法 193
6.5 翻譯記憶庫 195
6.5.1 基于記憶庫的數(shù)據(jù)增強(qiáng) 196
6.5.2 融合記憶庫的翻譯模型 197
6.5.3 k-近鄰翻譯模型 198
6.6 面向產(chǎn)業(yè)應(yīng)用的領(lǐng)域自適應(yīng)解決方案 199
參考文獻(xiàn) 200
第7章 機(jī)器同聲傳譯 207
7.1 概述 209
7.2 主要挑戰(zhàn) 211
7.2.1 技術(shù)挑戰(zhàn) 211
7.2.2 數(shù)據(jù)挑戰(zhàn) 213
7.2.3 評(píng)價(jià)挑戰(zhàn) 214
7.3 級(jí)聯(lián)同傳模型 216
7.3.1 wait-k模型 216
7.3.2 語義單元驅(qū)動(dòng)的同傳模型 220
7.3.3 基于強(qiáng)化學(xué)習(xí)的同傳模型 224
7.3.4 基于單調(diào)無限回溯注意力機(jī)制的同傳模型 226
7.4 端到端語音翻譯及同傳模型 228
7.4.1 從級(jí)聯(lián)模型至端到端模型的過渡 229
7.4.2 基于多任務(wù)學(xué)習(xí)的端到端模型 231
7.4.3 語音識(shí)別與翻譯交互解碼模型 234
7.4.4 端到端同傳模型 236
7.5 同傳模型魯棒性 241
7.5.1 融合音節(jié)信息的翻譯模型 241
7.5.2 語音識(shí)別糾錯(cuò) 242
7.5.3 魯棒性翻譯模型 244
7.6 同傳數(shù)據(jù) 245
7.6.1 歐洲語言同傳語料庫 246
7.6.2 日英同傳語料庫 247
7.6.3 中英同傳語料庫 247
7.7 同傳評(píng)價(jià) 249
7.7.1 基于閱讀理解的翻譯質(zhì)量評(píng)價(jià) 249
7.7.2 基于平均延遲的同傳時(shí)延評(píng)價(jià) 250
7.7.3 綜合翻譯質(zhì)量和同傳時(shí)延的評(píng)價(jià) 252
7.8 機(jī)器同傳系統(tǒng)及產(chǎn)品 252
7.8.1 機(jī)器同傳系統(tǒng) 253
7.8.2 機(jī)器同傳產(chǎn)品形式 254
7.8.3 機(jī)器輔助同傳 254
7.9 搭建一個(gè)機(jī)器同傳系統(tǒng) 256
7.9.1 數(shù)據(jù)準(zhǔn)備 256
7.9.2 訓(xùn)練 257
7.9.3 解碼 257
參考文獻(xiàn) 258
第