聽覺信息處理研究前沿

1　言語產(chǎn)生和聽覺的機(jī)理及其研究／黨建武　趙　彬　魏建國 ………… 1
　 1.1　言語產(chǎn)生和感知的機(jī)理 ………………………………………………… ３
1.1.1　有聲語言產(chǎn)生的條件 …………………………………………… ３
1.1.2　語音產(chǎn)生的機(jī)理 ………………………………………………… ５
1.1.3　語音感知的機(jī)理 ………………………………………………… ７
　 1.2　聲源的產(chǎn)生與聲道的調(diào)制 …………………………………………… 13
1.2.1　聲源產(chǎn)生機(jī)理與感知 ………………………………………… 13
1.2.2　聲道的調(diào)制機(jī)理 ……………………………………………… 18
　 1.3　言語產(chǎn)生與感知的相互作用 ………………………………………… 24
1.3.1　言語鏈 ………………………………………………………… 24
1.3.2　言語感知運(yùn)動(dòng)理論 …………………………………………… 26
1.3.3　言語感知機(jī)理研究的發(fā)展與挑戰(zhàn) …………………………… 27
1.3.4　鏡像神經(jīng)元和言語聽覺 運(yùn)動(dòng)整合 …………………………… 28
　 1.4　言語的腦功能研究 …………………………………………………… 30
1.4.1　言語的腦認(rèn)知研究發(fā)展 ……………………………………… 30
1.4.2　言語的認(rèn)知神經(jīng)機(jī)理 ………………………………………… 33
1.4.3　言語功能障礙及康復(fù)訓(xùn)練 …………………………………… 42
 1.５　語音信號(hào)處理方法簡介 ……………………………………………… 47
1.5.1　基于產(chǎn)生機(jī)理的信號(hào)處理方法 ……………………………… 48
1.5.2　基于感知機(jī)理的信號(hào)處理方法 ……………………………… 52
　 參考文獻(xiàn) ……………………………………………………………………… 55
2　語音增強(qiáng)與麥克風(fēng)陣列信號(hào)處理／付中華 ……………………………… 69
　 2.1　信號(hào)模型………………………………………………………………… 71
2.1.1　時(shí)域信號(hào)模型 ………………………………………………… 71
2.1.2　頻域信號(hào)模型與短時(shí)傅里葉變換技術(shù) ……………………… 72
　 2.2　評(píng)價(jià)方法………………………………………………………………… 74
2.2.1　主觀評(píng)價(jià)方法與指標(biāo) ………………………………………… 74
2.2.2　客觀評(píng)價(jià)方法與指標(biāo) ………………………………………… 76
　 2.3　單聲道語音增強(qiáng) ……………………………………………………… 78
2.3.1　時(shí)域維納濾波器增強(qiáng)原理 …………………………………… 80
2.3.2　頻域維納濾波器增強(qiáng)原理 …………………………………… 81
2.3.3　噪聲功率譜的估計(jì) …………………………………………… 84
2.3.4　基于深度學(xué)習(xí)的語音增強(qiáng) …………………………………… 87
　 2.4　麥克風(fēng)陣列語音增強(qiáng) ………………………………………………… 92
2.4.1　固定波束 ……………………………………………………… 93
2.4.2　自適應(yīng)波束 …………………………………………………… 106
2.4.3　后置濾波技術(shù) ………………………………………………… 113
　 參考文獻(xiàn) ……………………………………………………………………… 119
3　語音識(shí)別聲學(xué)建模／俞　凱　徐　波　戴禮榮………………………… 123
　 3.1　統(tǒng)計(jì)語音識(shí)別概述 …………………………………………………… 125
　 3.2　基于隱馬爾可夫模型的經(jīng)典聲學(xué)建模方法 ……………………… 127
3.2.1　HMM……………………………………………………………… 127
3.2.2　GMM HMM在語音識(shí)別中的使用 ……………………………… 130
3.2.3　模型改進(jìn)及問題分析 ………………………………………… 132
3.2.4　自適應(yīng)技術(shù) …………………………………………………… 132
3.2.5　鑒別性訓(xùn)練技術(shù) ……………………………………………… 136
　 3.3　結(jié)合深度學(xué)習(xí)的聲學(xué)建模方法……………………………………… 138
3.3.1　深度學(xué)習(xí)基礎(chǔ) ………………………………………………… 138
3.3.2　CD DNN HMM混合建模……………………………………………149
3.3.3　深度學(xué)習(xí)在聲學(xué)建模中的綜合應(yīng)用 ………………………… 152
3.3.4　深度學(xué)習(xí)訓(xùn)練加速 …………………………………………… 162
3.3.5　深度學(xué)習(xí)自適應(yīng)技術(shù) ………………………………………… 167
3.3.6　深度學(xué)習(xí)框架下的序列鑒別性訓(xùn)練 ………………………… 171
3.3.7　端到端聲學(xué)建模 ……………………………………………… 174
　 參考文獻(xiàn) …………………………………………………………… 179
4　特殊場景語音識(shí)別（抗噪、低資源）／謝　磊　張鵬遠(yuǎn)　錢彥旻
杜　俊 ………………………………………………………………………… 191
　 4.1　魯棒語音識(shí)別前端 …………………………………………………… 193
4.1.1　噪聲魯棒性語音識(shí)別方法 …………………………………… 193
4.1.2　魯棒性特征 …………………………………………………… 194
4.1.3　信號(hào)域增強(qiáng) …………………………………………………… 195
4.1.4　特征增強(qiáng)／ 補(bǔ)償方法 ………………………………………… 207
　 4.2　環(huán)境表達(dá)與聲學(xué)模型自適應(yīng)………………………………………… 209
4.2.1　自適應(yīng)與魯棒性 ……………………………………………… 209
4.2.2　基于保守訓(xùn)練的自適應(yīng) ……………………………………… 210
4.2.3　基于線性變換的自適應(yīng) ……………………………………… 212
4.2.4　基于環(huán)境感知的自適應(yīng) ……………………………………… 213
4.2.5　參數(shù)結(jié)構(gòu)化自適應(yīng)及自適應(yīng)訓(xùn)練 …………………………… 216
　 4.3　多語種聲學(xué)與語言建模 ……………………………………………… 217
4.3.1　基于知識(shí)共享的多語言聲學(xué)建模技術(shù) ……………………… 217
4.3.2　小語種語言模型建模技術(shù) …………………………………… 221
　 參考文獻(xiàn) ……………………………………………………………………… 224
5　聲紋識(shí)別與語種識(shí)別／王龍標(biāo)　李　明　鄭　方　程星亮　李藍(lán)天
………………………………………………………………………………… 237
　 5.1　聲紋識(shí)別與語種識(shí)別簡介 …………………………………………… 239
5.1.1　傳統(tǒng)方法 ……………………………………………………… 241
5.1.2　深度學(xué)習(xí)方法 ………………………………………………… 242
5.1.3　遷移學(xué)習(xí)、多任務(wù)學(xué)習(xí)及多數(shù)據(jù)庫聯(lián)合學(xué)習(xí) ……………… 246
　 5.2　聲紋識(shí)別經(jīng)典算法 …………………………………………………… 246
5.2.1　特征提取 ……………………………………………………… 246
5.2.2　GMM-UBM-MAP ………………………………………………… 249
5.2.3　i-vector ……………………………………………………… 252
5.2.4　PLDA………………………………………………………………256
　 5.3　魯棒性聲紋識(shí)別算法 ………………………………………………… 261
5.3.1　復(fù)雜環(huán)境聲紋識(shí)別 …………………………………………… 262
5.3.2　時(shí)變聲紋識(shí)別 ………………………………………………… 265
5.3.3　短語音聲紋識(shí)別 ……………………………………………… 267
5.3.4　防聲紋假冒闖入對策 ………………………………………… 270
　 5.4　基于深度學(xué)習(xí)的聲紋及語種識(shí)別算法……………………………… 275
5.4.1　廣義統(tǒng)計(jì)量 …………………………………………………… 276
5.4.2　Tandem及Bottleneck特征…………………………………… 278
5.4.3　典型模型結(jié)構(gòu) ………………………………………………… 279
　 5.5　評(píng)價(jià)指標(biāo)、數(shù)據(jù)庫及工具包 ………………………………………… 283
5.5.1　評(píng)價(jià)指標(biāo) ……………………………………………………… 283
5.5.2　數(shù)據(jù)庫及工具包 ……………………………………………… 284
　 參考文獻(xiàn) ……………………………………………………………………… 285
6　韻律、情緒及音樂分析／陶建華　李愛軍　李　偉 …………………… 305
　 6.1　言語韻律 ……………………………………………………………… 307
6.1.1　言語韻律基本概念與理論 …………………………………… 307
6.1.2　韻律分析與建模 ……………………………………………… 313
6.1.3　韻律標(biāo)注系統(tǒng) ………………………………………………… 317
6.1.4　漢語韻律研究的挑戰(zhàn) ………………………………………… 320
　 6.2　情感語音 ……………………………………………………………… 322
6.2.1　情感語音的聲學(xué)特征 ………………………………………… 322
6.2.2　語音的情感分類與識(shí)別 ……………………………………… 324
6.2.3　情感語音合成 ………………………………………………… 331
　 6.3　音樂內(nèi)容分析理解 …………………………………………………… 336
6.3.1　音樂和語音的關(guān)系 …………………………………………… 336
6.3.2　音樂旋律分析 ………………………………………………… 340
6.3.3　音樂節(jié)奏分析 ………………………………………………… 344
　 參考文獻(xiàn) ……………………………………………………………………… 349
7　統(tǒng)計(jì)語音合成／凌震華　陶建華 ………………………………………… 355
　 7.1　語音合成概述 ………………………………………………………… 357
　 7.2　基于隱馬爾可夫模型的統(tǒng)計(jì)語音合成方法 ……………………… 359
7.2.1　隱馬爾可夫模型 ……………………………………………… 359
7.2.2　基于ＨＭＭ的統(tǒng)計(jì)參數(shù)語音合成 …………………………… 361
7.2.3　基于ＨＭＭ的統(tǒng)計(jì)參數(shù)語音合成關(guān)鍵技術(shù) ………………… 363
7.2.4　基于ＨＭＭ的語音合成靈活性 ……………………………… 366
7.2.5　基于ＨＭＭ的統(tǒng)計(jì)參數(shù)語音合成方法的優(yōu)缺點(diǎn) …………… 372
　 7.3　結(jié)合深度學(xué)習(xí)的統(tǒng)計(jì)語音合成方法………………………………… 374
7.3.1　深度學(xué)習(xí)關(guān)鍵技術(shù) …………………………………………… 374
7.3.2　基于深度學(xué)習(xí)的聲學(xué)建模方法 ……………………………… 379
7.3.3　基于深度學(xué)習(xí)的頻譜特征提取與頻譜生成后濾波 ………… 391
7.3.4　基于神經(jīng)網(wǎng)絡(luò)的波形生成方法 ……………………………… 394
　 7.4　基于神經(jīng)網(wǎng)絡(luò)的語音合成前端處理………………………………… 399
7.4.1　基于深度學(xué)習(xí)的字音轉(zhuǎn)換 …………………………………… 399
7.4.2　基于深度學(xué)習(xí)的韻律邊界預(yù)測 ……………………………… 400
　 7.5　基于神經(jīng)網(wǎng)絡(luò)的語音合成端到端建模方法 ……………………… 402
　 參考文獻(xiàn) ……………………………………………………………………… 406
8　人機(jī)口語對話系統(tǒng)／俞　凱　陳　露 …………………………………… 415
　 8.1　人機(jī)口語對話系統(tǒng)概述 ……………………………………………… 417
8.1.1　人機(jī)口語對話系統(tǒng)發(fā)展歷史及分類 ………………………… 417
8.1.2　任務(wù)型人機(jī)口語對話系統(tǒng)的基本架構(gòu) ……………………… 418
8.1.3　對話系統(tǒng)的評(píng)估 ……………………………………………… 420
　 8.2　口語理解 ……………………………………………………………… 422
8.2.1　口語理解基本概念 …………………………………………… 422
8.2.2　口語理解算法前沿 …………………………………………… 427
8.2.3　口語理解中的不確定性建模 ………………………………… 437
8.2.4　上下文建模及領(lǐng)域自適應(yīng) …………………………………… 440
8.2.5　研究展望 ……………………………………………………… 445
　 8.3　對話狀態(tài)跟蹤 ………………………………………………………… 446
8.3.1　基于部分可觀測馬爾可夫決策過程（POMDP）的對話管理
框架概述 ……………………………………………………… 446
8.3.2　對話狀態(tài)跟蹤 ………………………………………………… 447
8.3.3　對話狀態(tài)跟蹤挑戰(zhàn)賽 ………………………………………… 449
8.3.4　基于統(tǒng)計(jì)的DST模型………………………………………… 449
8.3.5　基于規(guī)則的DST模型………………………………………… 450
8.3.6　基于規(guī)則與統(tǒng)計(jì)相結(jié)合的DST模型………………………… 451
8.3.7　端到端的DST模型…………………………………………… 453
8.3.8　多領(lǐng)域DST模型……………………………………………… 457
　 8.4　對話策略優(yōu)化 ………………………………………………………… 458
8.4.1　強(qiáng)化學(xué)習(xí)及其在對話策略優(yōu)化中的應(yīng)用 …………………… 458
8.4.2　深度強(qiáng)化學(xué)習(xí)在對話策略優(yōu)化中的應(yīng)用 …………………… 463
8.4.3　對話策略優(yōu)化的高級(jí)技術(shù) …………………………………… 466
8.4.4　用戶模擬器 …………………………………………………… 469
　 參考文獻(xiàn) ……………………………………………………………………… 475
9　面向健康醫(yī)療的語音技術(shù)/賈　珈 ……………………………………… 489
　 9.1　言語感知的腦機(jī)制 …………………………………………………… 491
9.1.1　言語感知機(jī)理 ………………………………………………… 491
9.1.2　言語感知障礙的腦機(jī)制 ……………………………………… 499
　 9.2　助聽技術(shù)與聽障評(píng)估 ………………………………………………… 503
9.2.1　人工電子耳的構(gòu)成 …………………………………………… 505
9.2.2　人工電子耳語音信號(hào)編碼方案 ……………………………… 506
9.2.3　人工電子耳的當(dāng)前技術(shù)挑戰(zhàn) ………………………………… 507
9.2.4　聽障評(píng)估技術(shù) ………………………………………………… 507
　 9.3　嗓音障礙產(chǎn)生機(jī)制與客觀評(píng)估技術(shù)………………………………… 510
9.3.1　嗓音障礙產(chǎn)生機(jī)制 …………………………………………… 511
9.3.2　嗓音障礙的聲學(xué)客觀評(píng)估方法 ……………………………… 512
　 9.4　言語康復(fù)訓(xùn)練與學(xué)習(xí) ………………………………………………… 515
9.4.1　言語康復(fù)技術(shù)概述 …………………………………………… 516
9.4.2　可視化言語康復(fù)訓(xùn)練 ………………………………………… 519
　 參考文獻(xiàn) ……………………………………………………………………… 525
索引 ……………………………………………………………………………… 529