會話式AI：自然語言處理與人機交互

前言
第1章　人機交互導論 1
1.1　圖靈測試 1
1.1.1　圖靈測試相關背景 1
1.1.2　圖靈測試的定義 2
1.1.3　圖靈測試引發(fā)的思考 3
1.2　專家系統(tǒng) 3
1.2.1　專家系統(tǒng)的定義 3
1.2.2　專家系統(tǒng)的框架 4
1.2.3　專家系統(tǒng)的發(fā)展 6
1.3　人機交互 6
1.3.1　人機交互簡介 6
1.3.2　人機交互模塊的發(fā)展 7
1.3.3　自然語言理解 9
1.3.4　對話管理 10
1.3.5　自然語言生成 10
1.4　機器人形態(tài) 11
1.4.1　聊天機器人 12
1.4.2　任務型機器人 13
1.4.3　面向FAQ的問答機器人 13
1.4.4　面向KB的問答機器人 14
1.5　本章小結 14
第2章　人機對話前置技術 15
2.1　深度學習框架 15
2.1.1　Theano 15
2.1.2　TensorFlow 16
2.1.3　Keras 17
2.1.4　PyTorch 17
2.2　搭建NLP開發(fā)環(huán)境 18
2.2.1　下載和安裝Anaconda 18
2.2.2　conda的使用 21
2.2.3　中文分詞工具——Jieba 22
2.2.4　PyTorch的下載與安裝 24
2.2.5　Jupyter Notebook遠程訪問 25
2.3　TorchText的安裝與介紹 26
2.4　本章小結 29
第3章　中文分詞技術 30
3.1　分詞的概念和分類 30
3.2　規(guī)則分詞 31
3.2.1　正向最大匹配 31
3.2.2　逆向最大匹配 32
3.2.3　雙向最大匹配 33
3.3　統(tǒng)計分詞 35
3.4　混合分詞 44
3.5　Jieba分詞 44
3.6　準確率評測 47
3.6.1　混淆矩陣 48
3.6.2　中文分詞中的P、R、F1計算 49
3.7　本章小結 51
第4章　數(shù)據(jù)預處理 52
4.1　數(shù)據(jù)集介紹 52
4.2　數(shù)據(jù)預處理 53
4.3　TorchText預處理 55
4.3.1　torchtext.data 55
4.3.2　torchtext.datasets 56
4.3.3　構建詞表 57
4.3.4　構建迭代器 58
4.4　本章小結 60
第5章　詞向量實戰(zhàn) 61
5.1　詞向量的由來 61
5.1.1　one-hot模型 61
5.1.2　神經(jīng)網(wǎng)絡詞向量模型 63
5.2　word2vec 67
5.2.1　初探word2vec 67
5.2.2　深入CBOW模型 68
5.2.3　Skip-gram模型介紹 69
5.2.4　word2vec模型本質 70
5.3　glove 71
5.3.1　初探glove 71
5.3.2　glove模型原理 72
5.4　word2vec實戰(zhàn) 74
5.4.1　預處理模塊 74
5.4.2　模型框架 78
5.4.3　模型訓練 79
5.4.4　模型評估 82
5.5　glove實戰(zhàn) 83
5.5.1　預處理模塊 83
5.5.2　模型框架 85
5.5.3　模型訓練 86
5.5.4　模型評估 87
5.6　本章小結 87
第6章　序列標注與中文NER實戰(zhàn) 88
6.1　序列標注任務 88
6.1.1　任務定義及標簽體系 88
6.1.2　任務特點及對比 90
6.1.3　任務應用場景 92
6.2　序列標注的技術方案 94
6.2.1　隱馬爾可夫模型 94
6.2.2　條件隨機場 94
6.2.3　循環(huán)神經(jīng)網(wǎng)絡 96
6.2.4　Bert 97
6.3　序列標注實戰(zhàn) 99
6.3.1　中文NER數(shù)據(jù)集 99
6.3.2　數(shù)據(jù)預處理 100
6.3.3　模型訓練框架 102
6.3.4　模型評估 103
6.4　BiLSTM 104
6.4.1　參數(shù)介紹 104
6.4.2　BiLSTM模型框架 104
6.4.3　模型效果評估 106
6.5　BiLSTM-CRF 107
6.5.1　參數(shù)介紹 107
6.5.2　BiLSTM-CRF模型框架 107
6.5.3　模型評價 112
6.6　本章小結 112
第7章　文本分類技術 113
7.1　TFIDF與樸素貝葉斯 113
7.1.1　TFIDF 113
7.1.2　樸素貝葉斯 115
7.1.3　實戰(zhàn)案例之新聞分類 116
7.2　TextCNN 118
7.2.1　TextCNN網(wǎng)絡結構解析 118
7.2.2　實戰(zhàn)案例之新聞分類 121
7.3　FastText 129
7.3.1　模型架構 129
7.3.2　層次softmax 130
7.3.3　n-gram子詞特征 130
7.3.4　安裝與實例解析 131
7.4　后臺運行 134
7.5　本章小結 134
第8章　循環(huán)神經(jīng)網(wǎng)絡 135
8.1　RNN 135
8.1.1　序列數(shù)據(jù) 135
8.1.2　神經(jīng)網(wǎng)絡需要記憶 136
8.1.3　RNN基本概念 136
8.1.4　RNN的輸入輸出類型 138
8.1.5　雙向循環(huán)神經(jīng)網(wǎng)絡 139
8.1.6　深層循環(huán)神經(jīng)網(wǎng)絡 140
8.1.7　RNN的問題 141
8.1.8　RNN PyTorch實現(xiàn) 141
8.2　LSTM 143
8.2.1　LSTM網(wǎng)絡結構解析 143
8.2.2　LSTM PyTorch實現(xiàn) 147
8.3　GRU 149
8.3.1　GRU網(wǎng)絡結構解析 149
8.3.2　GRU PyTorch實現(xiàn) 151
8.4　TextRNN 152
8.4.1　基本概念 152
8.4.2　實戰(zhàn)案例之新聞分類 153
8.5　TextRCNN 154
8.5.1　基本概念 154
8.5.2　實戰(zhàn)案例之新聞分類 155
8.6　實戰(zhàn)案例之詩歌生成 155
8.6.1　數(shù)據(jù)預處理 156
8.6.2　模型結構 158
8.6.3　模型訓練 158
8.6.4　詩歌生成 159
8.7　本章小結 161
第9章　語言模型與對話生成 162
9.1　自然語言生成介紹 162
9.2　序列生成模型 163
9.2.1　seq2seq的基本框架 164
9.2.2　Encoder-Decoder框架的缺點 165
9.3　經(jīng)典的seq2seq框架 166
9.3.1　基于RNN的seq2seq 166
9.3.2　基于CNN的seq2seq 167
9.4　Attention機制 169
9.4.1　序列模型RNN 169
9.4.2　Attention機制的原理 170
9.4.3　Self-Attention模型 171
9.4.4　Transfomer模型介紹 171
9.5　Bert——自然語言處理的新范式 173
9.5.1　Bert結構 174
9.5.2　預訓練任務 175
9.6　聊天機器人實戰(zhàn) 1