遞歸神經(jīng)網(wǎng)絡(luò)

在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中，模型不會(huì)關(guān)注上一時(shí)刻的處理會(huì)有什么信息可以用于下一時(shí)刻，每一次都只會(huì)關(guān)注當(dāng)前時(shí)刻的處理。舉個(gè)例子來(lái)說(shuō)，我們想對(duì)一部影片中每一刻出現(xiàn)的事件進(jìn)行分類，如果我們知道電影前面的事件信息，那么對(duì)當(dāng)前時(shí)刻事件的分類就會(huì)非常容易。實(shí)際上，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)沒(méi)有記憶功能，所以它對(duì)每一刻出現(xiàn)的事件進(jìn)行分類時(shí)不會(huì)用到影片已經(jīng)出現(xiàn)的信息，那么有什么方法可以讓神經(jīng)網(wǎng)絡(luò)能夠記住這些信息呢？答案就是Recurrent Neural Networks（RNNs）遞歸神經(jīng)網(wǎng)絡(luò)。

遞歸神經(jīng)網(wǎng)絡(luò)的結(jié)果與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)有一些不同，它帶有一個(gè)指向自身的環(huán)，用來(lái)表示它可以傳遞當(dāng)前時(shí)刻處理的信息給下一時(shí)刻使用，結(jié)構(gòu)如下：

其中， X_t 為輸入，A 為模型處理部分， h_t 為輸出。

為了更容易地說(shuō)明遞歸神經(jīng)網(wǎng)絡(luò)，我們把上圖展開(kāi)，得到：

這樣的一條鏈狀神經(jīng)網(wǎng)絡(luò)代表了一個(gè)遞歸神經(jīng)網(wǎng)絡(luò)，可以認(rèn)為它是對(duì)相同神經(jīng)網(wǎng)絡(luò)的多重復(fù)制，每一時(shí)刻的神經(jīng)網(wǎng)絡(luò)會(huì)傳遞信息給下一時(shí)刻。如何理解它呢？假設(shè)有這樣一個(gè)語(yǔ)言模型，我們要根據(jù)句子中已出現(xiàn)的詞預(yù)測(cè)當(dāng)前詞是什么，遞歸神經(jīng)網(wǎng)絡(luò)的工作原理如下：

其中，W 為各類權(quán)重，x 表示輸入，y 表示輸出，h 表示隱層處理狀態(tài)。

遞歸神經(jīng)網(wǎng)絡(luò)因?yàn)榫哂幸欢ǖ挠洃浌δ埽梢员挥脕?lái)解決很多問(wèn)題，例如：語(yǔ)音識(shí)別、語(yǔ)言模型、機(jī)器翻譯等。但是它并不能很好地處理長(zhǎng)時(shí)依賴問(wèn)題。

長(zhǎng)時(shí)依賴問(wèn)題

長(zhǎng)時(shí)依賴是這樣的一個(gè)問(wèn)題，當(dāng)預(yù)測(cè)點(diǎn)與依賴的相關(guān)信息距離比較遠(yuǎn)的時(shí)候，就難以學(xué)到該相關(guān)信息。例如在句子”我出生在法國(guó)，……，我會(huì)說(shuō)法語(yǔ)“中，若要預(yù)測(cè)末尾”法語(yǔ)“，我們需要用到上下文”法國(guó)“。理論上，遞歸神經(jīng)網(wǎng)絡(luò)是可以處理這樣的問(wèn)題的，但是實(shí)際上，常規(guī)的遞歸神經(jīng)網(wǎng)絡(luò)并不能很好地解決長(zhǎng)時(shí)依賴，好的是LSTMs可以很好地解決這個(gè)問(wèn)題。

LSTM 神經(jīng)網(wǎng)絡(luò)

Long Short Term Mermory network（LSTM）是一種特殊的RNNs，可以很好地解決長(zhǎng)時(shí)依賴問(wèn)題。那么它與常規(guī)神經(jīng)網(wǎng)絡(luò)有什么不同？
首先我們來(lái)看RNNs具體一點(diǎn)的結(jié)構(gòu)：

所有的遞歸神經(jīng)網(wǎng)絡(luò)都是由重復(fù)神經(jīng)網(wǎng)絡(luò)模塊構(gòu)成的一條鏈，可以看到它的處理層非常簡(jiǎn)單，通常是一個(gè)單tanh層，通過(guò)當(dāng)前輸入及上一時(shí)刻的輸出來(lái)得到當(dāng)前輸出。與神經(jīng)網(wǎng)絡(luò)相比，經(jīng)過(guò)簡(jiǎn)單地改造，它已經(jīng)可以利用上一時(shí)刻學(xué)習(xí)到的信息進(jìn)行當(dāng)前時(shí)刻的學(xué)習(xí)了。

LSTM的結(jié)構(gòu)與上面相似，不同的是它的重復(fù)模塊會(huì)比較復(fù)雜一點(diǎn)，它有四層結(jié)構(gòu)：

其中，處理層出現(xiàn)的符號(hào)及表示意思如下：

LSTMs的核心思想

理解LSTMs的關(guān)鍵就是下面的矩形方框，被稱為memory block（記憶塊），主要包含了三個(gè)門（forget gate、input gate、output gate）與一個(gè)記憶單元（cell）。方框內(nèi)上方的那條水平線，被稱為cell state（單元狀態(tài)），它就像一個(gè)傳送帶，可以控制信息傳遞給下一時(shí)刻。

這個(gè)矩形方框還可以表示為：

這兩個(gè)圖可以對(duì)應(yīng)起來(lái)看，下圖中心的 c_t 即cell，從下方輸入（ h_{t?1 , xt ）到輸出 ht的一條線即為cell state， ft，it，ot 分別為遺忘門、輸入門、輸出門，用sigmoid層表示。上圖中的兩個(gè)tanh層則分別對(duì)應(yīng)cell的輸入與輸出。}

LSTM可以通過(guò)門控單元可以對(duì)cell添加和刪除信息。通過(guò)門可以有選擇地決定信息是否通過(guò)，它有一個(gè)sigmoid神經(jīng)網(wǎng)絡(luò)層和一個(gè)成對(duì)乘法操作組成，如下：

該層的輸出是一個(gè)介于0到1的數(shù)，表示允許信息通過(guò)的多少，0 表示完全不允許通過(guò)，1表示允許完全通過(guò)。

逐步解析LSTM

LSTM第一步是用來(lái)決定什么信息可以通過(guò)cell state。這個(gè)決定由“forget gate”層通過(guò) sigmoid 來(lái)控制，它會(huì)根據(jù)上一時(shí)刻的輸出 h_t?1 和當(dāng)前輸入 x_t 來(lái)產(chǎn)生一個(gè)0到1 的 f_t 值，來(lái)決定是否讓上一時(shí)刻學(xué)到的信息 C_t?1 通過(guò)或部分通過(guò)。如下：

舉個(gè)例子來(lái)說(shuō)就是，我們?cè)谥暗木渥又袑W(xué)到了很多東西，一些東西對(duì)當(dāng)前來(lái)講是沒(méi)用的，可以對(duì)它進(jìn)行選擇性地過(guò)濾。

第二步是產(chǎn)生我們需要更新的新信息。這一步包含兩部分，第一個(gè)是一個(gè)“input gate”層通過(guò)sigmoid來(lái)決定哪些值用來(lái)更新，第二個(gè)是一個(gè)tanh層用來(lái)生成新的候選值，它作為當(dāng)前層產(chǎn)生的候選值可能會(huì)添加到cell state中。我們會(huì)把這兩部分產(chǎn)生的值結(jié)合來(lái)進(jìn)行更新。

現(xiàn)在我們對(duì)老的cell state進(jìn)行更新，首先，我們將老的cell state乘以 f_t 來(lái)忘掉我們不需要的信息，然后再與 i_t ? 相加，得到了候選值。
一二步結(jié)合起來(lái)就是丟掉不需要的信息，添加新信息的過(guò)程：

舉個(gè)例子就是，在前面的句子中我們保存的是張三的信息，現(xiàn)在有了新的李四信息，我們需要把張三的信息丟棄掉，然后把李四的信息保存下來(lái)。

最后一步是決定模型的輸出，首先是通過(guò)sigmoid層來(lái)得到一個(gè)初始輸出，然后使用tanh將 C_t 值縮放到-1到1間，再與sigmoid得到的輸出逐對(duì)相乘，從而得到模型的輸出。

這顯然可以理解，首先sigmoid函數(shù)的輸出是不考慮先前時(shí)刻學(xué)到的信息的輸出，tanh函數(shù)是對(duì)先前學(xué)到信息的壓縮處理，起到穩(wěn)定數(shù)值的作用，兩者的結(jié)合學(xué)習(xí)就是遞歸神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)思想。至于模型是如何學(xué)習(xí)的，那就是后向傳播誤差學(xué)習(xí)權(quán)重的一個(gè)過(guò)程了。

上面是對(duì)LSTM一個(gè)典型結(jié)構(gòu)的理解，當(dāng)然，它也會(huì)有一些結(jié)構(gòu)上的變形，但思想基本不變，這里也就不多講了。