什么是RNN？

RNN的思想是利?序列化的信息。在傳統(tǒng)的神經(jīng)?絡(luò)中，我們假設(shè)所有輸?和輸出彼此獨(dú)?。 但對(duì)于 許多任務(wù)??，這個(gè)假設(shè)有問題。例如你想預(yù)測(cè)句?中的下?個(gè)單詞，就需要知道它前?有哪些單詞。 RNN被稱為循環(huán)，因?yàn)樗鼘?duì)序列的每個(gè)元素執(zhí)?相同的任務(wù)，并且基于先前的計(jì)算進(jìn)?輸出。RNN的另 ?個(gè)優(yōu)點(diǎn)是它具有“記憶”，它可以收集到?前為?已經(jīng)計(jì)算的信息。 理論上，RNN可以在任意?的序列 中使?信息，但實(shí)際使?中僅僅往回記錄?步。這是典型的RNN的樣?：

這個(gè)圖是循環(huán)是循環(huán)神經(jīng)?絡(luò)正向計(jì)算時(shí)按時(shí)間順序展開。這?展開意味著把完整的序列的?絡(luò)展示出 來(lái)。例如，如果我們關(guān)?的序列是5個(gè)單詞的句?，則?絡(luò)將展開為5層神經(jīng)?絡(luò)，每個(gè)單詞?層。途中 的表達(dá)式解釋如下：

這?有?點(diǎn)需要注意：

RNN可以做什么？

RNN在許多NLP任務(wù)中取得了巨?成功。 在這個(gè)領(lǐng)域最常?的RNN類型是LSTM，它在捕獲?期依賴? ?要?普通的RNN好得多。但不要擔(dān)?，LSTM和RNN基本相同，它們只是采?不同的?式來(lái)計(jì)算隱藏 狀態(tài)。以下是RNP在NLP中的?些示例應(yīng)?。

語(yǔ)?模型和?成?本

給定?個(gè)單詞的序列，我們想要根據(jù)給出的前?個(gè)詞預(yù)測(cè)出下?個(gè)詞的概率。根據(jù)語(yǔ)?模型我們可以計(jì) 算句?的可能性，這是機(jī)器翻譯的重要輸?（因?yàn)楦怕?的句?通常是正確的）。能夠預(yù)測(cè)下?個(gè)單詞 的副作?是我們得到?個(gè)?成模型，?成模型是的我們可以通過(guò)從輸出概率中抽樣來(lái)?成新?本。根據(jù) 我們的訓(xùn)練數(shù)據(jù)，我們可以?成各種各樣的東?。在語(yǔ)?模型中，我們的輸?通常是?系列單詞（編碼 成one-hot），我們的輸出是預(yù)測(cè)單詞的序列。在訓(xùn)練?絡(luò)時(shí)，我們?cè)O(shè)置 ，因?yàn)槲覀兿Ｍ?時(shí) 刻的輸出是下?個(gè)時(shí)刻的輸?。

機(jī)器翻譯

機(jī)器翻譯類似于語(yǔ)?模型，因?yàn)槲覀兊妮?是源語(yǔ)?中的?系列單詞（例如德語(yǔ)）。我們希望輸出?標(biāo) 語(yǔ)?的?系列單詞（例如英語(yǔ)）。關(guān)鍵的區(qū)別是只有輸?完整之后才會(huì)進(jìn)?輸出，因?yàn)槲覀兎g的句? 的第?個(gè)單詞可能需要從完整的輸?序列中獲取信息。

機(jī)器翻譯的RNN

語(yǔ)?識(shí)別 給定來(lái)?聲波的聲學(xué)信號(hào)作為輸?序列，我們可以預(yù)測(cè)?系列語(yǔ)??段及其概率。 ?成圖像描述 RNN作為模型的?部分與卷積神經(jīng)?絡(luò)?起?成未標(biāo)記圖像的描述。

這個(gè)組合模型?常令?驚訝的，結(jié) 果很不錯(cuò)。 組合模型甚?可以把?成的單詞與圖像中找到的特征對(duì)應(yīng)起來(lái)。

LSTM?絡(luò)現(xiàn)在?常流?，我們這?簡(jiǎn)單的討論?下。 LSTM與RNN基本架構(gòu)師相同的，只不過(guò)它們使 ?不同的函數(shù)來(lái)計(jì)算隱藏狀態(tài)。LSTM中的記憶單元稱為 ，可以把它們視為?框，將前?個(gè)狀態(tài) 和當(dāng)前輸? 作為輸?。這些單元在內(nèi)部決定要保留什么。 然后它們組合了先前的狀態(tài)，當(dāng)前的 記憶和輸?。事實(shí)證明，這些單元在捕獲?期依賴???常有效。