一、深度與模塊化

對(duì)于一個(gè)分類的問題的簡(jiǎn)化，我們可以先訓(xùn)練一個(gè)Basic classfier，然后將其共享給following classfier，通過多層的分類器進(jìn)行特征的提取，用較少的數(shù)據(jù)就可以訓(xùn)練好網(wǎng)絡(luò)。而在deep的模型當(dāng)中，Basic classfier是由神經(jīng)網(wǎng)絡(luò)自己學(xué)到的，然后通過更多層的網(wǎng)絡(luò)可以使得classfier逐漸學(xué)到更加深層次的特征。這就是deep network能夠work的原因。

二、模塊化與語音識(shí)別

語音識(shí)別的大致步驟：

①將聲音信號(hào)的特征轉(zhuǎn)化為狀態(tài)信息（即對(duì)應(yīng)標(biāo)簽）。

②將狀態(tài)轉(zhuǎn)化成音素

③將音素轉(zhuǎn)化成為文字

④考慮同音異字的問題

傳統(tǒng)方法：

HMM-GMM，每一個(gè)音素都有自己獨(dú)立的分布，找出所有音素的分布，然后根據(jù)條件概率求出所給的數(shù)據(jù)屬于哪一個(gè)音素。

DNN：

所有的狀態(tài)都共用一個(gè)DNN。訓(xùn)練時(shí)DNN會(huì)根據(jù)訓(xùn)練數(shù)據(jù)來學(xué)習(xí)人所發(fā)出的聲音時(shí)的舌頭位置，然后根據(jù)不同的舌頭位置將發(fā)出聲音映射到不同的特征空間從而達(dá)到分類的目的。

相比于傳統(tǒng)的語音識(shí)別方法，DNN可以利用同一組的檢測(cè)器來識(shí)別不同的語音，做到了模塊化，使得參數(shù)的使用更加有效率。

Universality Theorem指出：對(duì)于所有的函數(shù) f ： RN→RM 都可以用只有一個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)，只要隱藏單元的個(gè)數(shù)足夠。雖然淺層的神經(jīng)網(wǎng)絡(luò)可以擬合任何的函數(shù)，但是采用深層的結(jié)構(gòu)可以提高模型的效率，因?yàn)樯疃鹊木W(wǎng)絡(luò)可以表征更加復(fù)雜的特征空間（保證淺層與深層的網(wǎng)絡(luò)具有同樣數(shù)量的參數(shù)），即可以通過相對(duì)較少的參數(shù)便可以實(shí)現(xiàn)淺層神經(jīng)網(wǎng)絡(luò)的功能?？梢灶惐入娐分械亩鄬娱T電路可以利用較少的門來實(shí)現(xiàn)一層門電路的功能。也可以類比剪窗花的過程，通過對(duì)折我們可以把特征空間進(jìn)行對(duì)折，通過較少的幾剪（數(shù)據(jù)）便可以剪出復(fù)雜的形狀。

三、端到端的學(xué)習(xí)

通過一個(gè)較為復(fù)雜的function將多個(gè)simple function組合在一起，端到端的網(wǎng)絡(luò)可以自動(dòng)地學(xué)習(xí)到每一個(gè)simple function應(yīng)該完成的任務(wù)。

在傳統(tǒng)的語音識(shí)別的過程中需要大量的手工提取工作，流程如下圖所示：

圖片中只有GMM是需要通過訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練的，其余均為根據(jù)先驗(yàn)的經(jīng)驗(yàn)來進(jìn)行設(shè)計(jì)。

而在深度學(xué)習(xí)中的語音識(shí)別的架構(gòu)如下圖所示：

每個(gè)函數(shù)都可以通過數(shù)據(jù)來進(jìn)行訓(xùn)練，學(xué)習(xí)到函數(shù)中的參數(shù)。在圖像識(shí)別中，端到端相對(duì)于傳統(tǒng)方法的優(yōu)勢(shì)與語音識(shí)別類似。

四、深度可以完成復(fù)雜的任務(wù)

①處理相似的輸入，但不同的輸出問題

②處理不同的輸入，但相似的輸出問題

深度學(xué)習(xí)可以通過多個(gè)layer的轉(zhuǎn)換學(xué)習(xí)更高維度的特征來解決更加復(fù)雜的任務(wù)。