感知機(jī)

包含有輸入層、輸出層和一個(gè)隱藏層。輸入的特征向量通過(guò)隱藏層變換到達(dá)輸出層，由輸出層得到分類結(jié)果。

問(wèn)題：它對(duì)稍微復(fù)雜一些的函數(shù)都無(wú)能為力

多層感知機(jī)

使用sigmoid或tanh等連續(xù)函數(shù)模擬神經(jīng)元對(duì)激勵(lì)的響應(yīng)，在訓(xùn)練算法上則使用Werbos發(fā)明的反向傳播BP算法。這就是現(xiàn)在所說(shuō)的神經(jīng)網(wǎng)絡(luò)NN。

問(wèn)題：

其一，隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的加深，優(yōu)化函數(shù)越來(lái)越容易陷入局部最優(yōu)解，并且這個(gè)“陷阱”越來(lái)越偏離真正的全局最優(yōu)。利用有限數(shù)據(jù)訓(xùn)練的深層網(wǎng)絡(luò)，性能還不如較淺層網(wǎng)絡(luò)。

其二，隨著網(wǎng)絡(luò)層數(shù)增加，“梯度消失”現(xiàn)象更加嚴(yán)重。（具體來(lái)說(shuō)，我們常常使用sigmoid作為神經(jīng)元的輸入輸出函數(shù)。對(duì)于幅度為1的信號(hào)，在BP反向傳播梯度時(shí)，每傳遞一層，梯度衰減為原來(lái)的0.25。層數(shù)一多，梯度指數(shù)衰減后低層基本上接受不到有效的訓(xùn)練信號(hào)。）

DNN形成

為了克服梯度消失，ReLU、maxout等傳輸函數(shù)代替了sigmoid，形成了如今DNN的基本形式。

問(wèn)題：全連接DNN（見(jiàn)下圖）的結(jié)構(gòu)里下層神經(jīng)元和所有上層神經(jīng)元都能夠形成連接，從而導(dǎo)致參數(shù)數(shù)量膨脹。

CNN

共享卷積核，對(duì)高維數(shù)據(jù)處理無(wú)壓力。圖像通過(guò)卷積操作后仍然保留原先的位置關(guān)系。

RNN

DNN無(wú)法對(duì)時(shí)間序列上有變化的情況進(jìn)行處理。然而，樣本出現(xiàn)的時(shí)間順序?qū)τ谧匀徽Z(yǔ)言處理、語(yǔ)音識(shí)別、手寫(xiě)體識(shí)別等應(yīng)用非常重要。因此出現(xiàn)了——循環(huán)神經(jīng)網(wǎng)絡(luò)RNN。
在普通的全連接網(wǎng)絡(luò)或CNN中，每層神經(jīng)元的信號(hào)只能向上一層傳播，樣本的處理在各個(gè)時(shí)刻獨(dú)立，因此又被成為前向神經(jīng)網(wǎng)絡(luò)(Feed-forward Neural Networks)。而在RNN中，神經(jīng)元的輸出可以在下一個(gè)時(shí)間段直接作用到自身，即第i層神經(jīng)元在m時(shí)刻的輸入，除了(i-1)層神經(jīng)元在該時(shí)刻的輸出外，還包括其自身在(m-1)時(shí)刻的輸出！（如下圖）

（t+1）時(shí)刻網(wǎng)絡(luò)的最終結(jié)果O（t+1）是該時(shí)刻輸入和所有歷史共同作用的結(jié)果！

但是出現(xiàn)了一個(gè)問(wèn)題——“梯度消失”現(xiàn)象又要出現(xiàn)了，只不過(guò)這次發(fā)生在時(shí)間軸上。

所以RNN存在無(wú)法解決長(zhǎng)時(shí)依賴的問(wèn)題。為解決上述問(wèn)題，提出了LSTM（長(zhǎng)短時(shí)記憶單元），通過(guò)cell門(mén)開(kāi)關(guān)實(shí)現(xiàn)時(shí)間上的記憶功能，并防止梯度消失.