TensorFlow自然語言處理

　　1章是對(duì)NLP的簡單介紹。該章將首先討論我們需要NLP的原因。接下來，將討論NLP中一些常見的子任務(wù)。之后，將討論NLP的兩個(gè)主要階段，即傳統(tǒng)階段和深度學(xué)習(xí)階段。通過研究如何使用傳統(tǒng)算法解決語言建模任務(wù)，我們將了解傳統(tǒng)階段NLP的特點(diǎn)。然后，將討論深度學(xué)習(xí)階段，在這一階段中深度學(xué)習(xí)算法被大量用于NLP。我們還將討論深度學(xué)習(xí)算法的主要系列。后，將討論一種基本的深度學(xué)習(xí)算法：全連接神經(jīng)網(wǎng)絡(luò)。該章結(jié)束時(shí)會(huì)提供一份路線圖，簡要介紹后面的內(nèi)容。 第2章介紹Python TensorFlow庫，這是我們實(shí)現(xiàn)解決方案的主要平臺(tái)。首先在TensorFlow中編寫一段代碼，執(zhí)行一個(gè)簡單的計(jì)算，并討論從運(yùn)行代碼到得到結(jié)果這一過程中到底發(fā)生了什么。我們將詳細(xì)介紹TensorFlow的基礎(chǔ)組件。把Tensorflow比作豐富的餐廳，了解如何完成訂單，以便進(jìn)一步加強(qiáng)對(duì)TensorFlow的理解。稍后，將討論TensorFlow的更多技術(shù)細(xì)節(jié)，例如數(shù)據(jù)結(jié)構(gòu)和操作（主要與神經(jīng)網(wǎng)絡(luò)相關(guān)）。后，我們將實(shí)現(xiàn)一個(gè)全連接的神經(jīng)網(wǎng)絡(luò)來識(shí)別手寫數(shù)字。這將幫助我們了解如何使用TensorFlow來實(shí)現(xiàn)端到端解決方案。 第3章首先討論如何用TensorFlow解決NLP任務(wù)。在該章中，我們將討論如何用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)單詞向量或單詞表示。單詞向量也稱為詞嵌入。單詞向量是單詞的數(shù)字表示，相似單詞有相似值，不同單詞有不同值。首先，將討論實(shí)現(xiàn)這一目標(biāo)的幾種傳統(tǒng)方法，包括使用稱為WordNet的大型人工構(gòu)建知識(shí)庫。然后，將討論基于現(xiàn)代神經(jīng)網(wǎng)絡(luò)的方法，稱為Word2vec，它在沒有任何人為干預(yù)的情況下學(xué)習(xí)單詞向量。我們將通過一個(gè)實(shí)例來了解Word2vec的機(jī)制。接著，將討論用于實(shí)現(xiàn)此目的的兩種算法變體：skip-gram和連續(xù)詞袋（CBOW）模型。我們將討論算法的細(xì)節(jié)，以及如何在TensorFlow中實(shí)現(xiàn)它們。 第4章介紹與單詞向量相關(guān)的更高級(jí)方法。首先，會(huì)比較skip-gram和CBOW，討論其中哪一種有明顯優(yōu)勢(shì)。接下來，將討論可用于提高Word2vec算法性能的幾項(xiàng)改進(jìn)。然后，將討論一種更新、更強(qiáng)大的詞嵌入學(xué)習(xí)算法：GloVe（全局向量）算法。后，將在文檔分類任務(wù)中實(shí)際觀察單詞向量。在該練習(xí)中，我們將看到單詞向量十分強(qiáng)大，足以表示文檔所屬的主題（例如，娛樂和運(yùn)動(dòng)）。 第5章討論卷積神經(jīng)網(wǎng)絡(luò)（CNN），它是擅長處理諸如圖像或句子這樣的空間數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)家族。首先，討論如何處理數(shù)據(jù)以及處理數(shù)據(jù)時(shí)涉及哪種操作，以便對(duì)CNN有較深的理解。接下來，深入研究CNN計(jì)算中涉及的每個(gè)操作，以了解CNN背后的數(shù)學(xué)原理。后，介紹兩個(gè)練習(xí)。練習(xí)使用CNN對(duì)手寫數(shù)字圖像進(jìn)行分類，我們將看到CNN能夠在此任務(wù)上很快達(dá)到較高的準(zhǔn)確率。接下來，我們將探討如何使用CNN對(duì)句子進(jìn)行分類。特別地，我們要求CNN預(yù)測(cè)一個(gè)句子是否與對(duì)象、人物、位置等相關(guān)。 第6章介紹遞歸神經(jīng)網(wǎng)絡(luò)。遞歸神經(jīng)網(wǎng)絡(luò)（RNN）是一個(gè)可以模擬數(shù)據(jù)序列的強(qiáng)大的神經(jīng)網(wǎng)絡(luò)家族。首先討論RNN背后的數(shù)學(xué)原理以及在學(xué)習(xí)期間隨時(shí)間更新RNN的更新規(guī)則。然后，討論RNN的不同變體及其應(yīng)用（例如，一對(duì)一RNN和一對(duì)多RNN）。后，用RNN執(zhí)行文本生成任務(wù)的練習(xí)。我們用童話故事訓(xùn)練RNN，然后要求RNN生成一個(gè)新故事。我們將看到在持久的長期記憶方面RNN表現(xiàn)不佳。后，討論更高級(jí)的RNN變體，即RNN-CF，它能夠保持更長時(shí)間的記憶。 第7章介紹長短期記憶網(wǎng)絡(luò)。RNN在保持長期記憶方面效果較差，這使我們需要探索能在更長時(shí)間內(nèi)記住信息的更強(qiáng)大技術(shù)。我們將在該章討論一種這樣的技術(shù)：長短期記憶網(wǎng)絡(luò)（LSTM）。LSTM功能更強(qiáng)大，并且在許多時(shí)間序列任務(wù)中表現(xiàn)得優(yōu)于其他序列模型。首先通過一個(gè)例子，研究潛在的數(shù)學(xué)原理和LSTM的更新規(guī)則，以說明每個(gè)計(jì)算的重要性。然后，將了解為什么LSTM能夠更長時(shí)間地保持記憶。接下來，將討論如何進(jìn)一步提高LSTM預(yù)測(cè)能力。后，將討論具有更復(fù)雜結(jié)構(gòu)的幾種LSTM變體（具有窺孔連接的LSTM），以及簡化LSTM門控循環(huán)單元（GRU）的方法。 第8章介紹LSTM的應(yīng)用：文本生成。該章廣泛評(píng)估LSTM在文本生成任務(wù)中的表現(xiàn)。我們將定性和定量地衡量LSTM產(chǎn)生的文本的好壞程度，還將比較LSTM、窺孔連接LSTM和GRU。后，將介紹如何將詞嵌入應(yīng)用到模型中來改進(jìn)LSTM生成的文本。 第9章轉(zhuǎn)到對(duì)多模態(tài)數(shù)據(jù)（即圖像和文本）的處理。在該章中，我們將研究如何自動(dòng)生成給定圖像的描述。這涉及將前饋模型（即CNN）與詞嵌入層及順序模型（即LSTM）組合，形成一個(gè)端到端的機(jī)器學(xué)習(xí)流程。 第10章介紹有關(guān)神經(jīng)機(jī)器翻譯（NMT）模型的應(yīng)用。機(jī)器翻譯指的是將句子或短語從源語言翻譯成目標(biāo)語言。首先討論機(jī)器翻譯是什么并簡單介紹機(jī)器翻譯歷史。然后，將詳細(xì)討論現(xiàn)代神經(jīng)機(jī)器翻譯模型的體系結(jié)構(gòu)，包括訓(xùn)練和預(yù)測(cè)的流程。接下來，將了解如何從頭開始實(shí)現(xiàn)NMT系統(tǒng)。后，會(huì)探索改進(jìn)標(biāo)準(zhǔn)NMT系統(tǒng)的方法。 第11章重點(diǎn)介紹NLP的現(xiàn)狀和未來趨勢(shì)。我們將討論前面提到的系統(tǒng)的相關(guān)新發(fā)現(xiàn)。該章將涵蓋大部分令人興奮的創(chuàng)新，并讓你直觀地感受其中的一些技術(shù)。 附錄向讀者介紹各種數(shù)學(xué)數(shù)據(jù)結(jié)構(gòu)（例如，矩陣）和操作（例如，矩陣的逆），還將討論概率中的幾個(gè)重要概念。然后將介紹Keras，它是在底層使用TensorFlow的高級(jí)庫。Keras通過隱藏TensorFlow中的一些有難度的細(xì)節(jié)使得神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)更簡單。具體而言，通過使用Keras實(shí)現(xiàn)CNN來介紹如何使用Keras。接下來，將討論如何使用TensorFlow中的seq2seq庫來實(shí)現(xiàn)一個(gè)神經(jīng)機(jī)器翻譯系統(tǒng)，所使用的代碼比在第11章中使用的代碼少得多。后，將向你介紹如何使用TensorBoard可視化詞嵌入的指南。TensorBoard是TensorFlow附帶的便捷可視化工具，可用于可視化和監(jiān)視TensorFlow客戶端中的各種變量。

　　圖珊 加內(nèi)格達(dá)拉（Thushan Ganegedara）目前是澳大利亞悉尼大學(xué)第三年的博士生。他專注于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)。他喜歡在未經(jīng)測(cè)試的數(shù)據(jù)上運(yùn)行算法。他還是澳大利亞初創(chuàng)公司AssessThreat的首席數(shù)據(jù)科學(xué)家。他在斯里蘭卡莫拉圖瓦大學(xué)獲得了理學(xué)士學(xué)位。他經(jīng)常撰寫有關(guān)機(jī)器學(xué)習(xí)的技術(shù)文章和教程。此外，他經(jīng)常通過游泳來努力營造健康的生活方式。