Gary Marcus再次撰文批判深度學(xué)習(xí)，這次，他回應(yīng)了Bengio實(shí)驗(yàn)室關(guān)于語(yǔ)言理解的研究，認(rèn)為該研究與他的觀點(diǎn)不謀而合，即當(dāng)前的深度學(xué)習(xí)技術(shù)無(wú)法處理語(yǔ)言的復(fù)雜性。他強(qiáng)調(diào)混合模型，與深度學(xué)習(xí)相結(jié)合。

Gary Marcus是紐約大學(xué)心理學(xué)與神經(jīng)科學(xué)教授，但在AI領(lǐng)域，他更知名的是一直高調(diào)參與人工智能辯論。

Marcus稱自己是“AI contrarian”。什么是“contrarian”？就是專門反對(duì)或批評(píng)流行觀點(diǎn)的人。在AI領(lǐng)域，流行觀點(diǎn)就是“深度學(xué)習(xí)”。

今年初，Marcus撰文批判深度學(xué)習(xí)，與Yann Lecun、AAAI前主席Thomas Dietterich等一眾AI研究者展開激辯。

在批判深度學(xué)習(xí)的文章中，Marcus概括了深度學(xué)習(xí)的十大挑戰(zhàn)，直言深度學(xué)習(xí)本身雖然有用，但它不可能實(shí)現(xiàn)通用人工智能。他建議把深度學(xué)習(xí)視為“一種非普遍的解決方法，而只是一種工具?！?/p>

他說(shuō)：“相比純粹的深度學(xué)習(xí)，我呼吁混合模型，不僅包括深度學(xué)習(xí)的監(jiān)督形式，還包括其他技術(shù)，例如符號(hào)處理（symbol-manipulation），以及無(wú)監(jiān)督學(xué)習(xí)（它本身也可能被重新概念化）。我也敦促社區(qū)考慮將更多的內(nèi)在結(jié)構(gòu)納入AI系統(tǒng)。”

近日，Marcus在medium上發(fā)表文章《Bengio vs Marcus，以及神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型的過(guò)去、現(xiàn)在和未來(lái)》 ，在這篇文章里，Marcus回應(yīng)了Bengio實(shí)驗(yàn)室最近關(guān)于“當(dāng)前的深度學(xué)習(xí)技術(shù)不足以應(yīng)對(duì)自然語(yǔ)言的復(fù)雜性”的研究，認(rèn)為該研究與他的觀點(diǎn)不謀而合。

新智元對(duì)該文章編譯如下：

過(guò)去

長(zhǎng)期以來(lái)，很多研究人員擔(dān)心神經(jīng)網(wǎng)絡(luò)是否能夠有效地泛化（generalize），以捕捉語(yǔ)言的豐富性。這一直是我的工作的一個(gè)主題，從20世紀(jì)90年代以來(lái)就是如此。在我之前，認(rèn)知科學(xué)領(lǐng)域的Fodor，Pylyshyn，Pinker以及Prince等人1988年就提出了非常類似的觀點(diǎn)。Brenden Lake和他的合著者在今年早些時(shí)候也提出了類似的觀點(diǎn)。

我在今年一月寫了一篇關(guān)于這個(gè)話題的文章：

當(dāng)可用的訓(xùn)練數(shù)據(jù)量有限時(shí)，或者當(dāng)測(cè)試集與訓(xùn)練集的區(qū)別很大時(shí)，或者當(dāng)示例空間非常大且充滿新示例時(shí)，深度學(xué)習(xí)系統(tǒng)的表現(xiàn)就不那么好了。鑒于現(xiàn)實(shí)世界的局限性，有些問(wèn)題根本不能被視為分類問(wèn)題。比如說(shuō)，開放式的自然語(yǔ)言理解就不應(yīng)被認(rèn)為是兩個(gè)大型有限句子集間的映射，而是一個(gè)潛在的無(wú)限的輸入句子范圍和一個(gè)同樣大的含義范圍的映射，而且這里面很多是以前從來(lái)沒(méi)有遇到過(guò)的。

現(xiàn)在

最近，Yoshua Bengio和他實(shí)驗(yàn)室的研究人員就寫了一篇論文，從神經(jīng)網(wǎng)絡(luò)社區(qū)內(nèi)部認(rèn)同了認(rèn)知科學(xué)界的一群外人（包括我自己）長(zhǎng)期以來(lái)的觀點(diǎn)：當(dāng)前的深入學(xué)習(xí)技術(shù)實(shí)際上無(wú)法處理語(yǔ)言的復(fù)雜性。

這篇論文題為“BabyAI: First Steps Towards Grounded Language Learning With a Human In the Loop”，論文摘要里寫道：

我們提出了強(qiáng)有力的證據(jù)，表明當(dāng)前的深度學(xué)習(xí)方法在學(xué)習(xí)一門具有構(gòu)式特征（compositional properties）的語(yǔ)言時(shí)，缺乏足夠的樣本效率。

這是一個(gè)非常普遍的問(wèn)題，然而之前的文獻(xiàn)完全沒(méi)有討論過(guò)。

無(wú)論如何，我很高興Bengio的實(shí)驗(yàn)室跟我一直以來(lái)的觀點(diǎn)是一致的，如我在Twitter上說(shuō)：

關(guān)于深度學(xué)習(xí)及其局限性的大新聞：Yoshua Bengio的實(shí)驗(yàn)室證實(shí)了Marcus在2001年和2018年得出的一個(gè)關(guān)鍵結(jié)論：深度學(xué)習(xí)在數(shù)據(jù)處理方面不夠有效，無(wú)法應(yīng)對(duì)語(yǔ)言的構(gòu)式本質(zhì)。

論文地址如下：arxiv.org/abs/1810.08272

我的言論經(jīng)常引起深度學(xué)習(xí)界許多人的反感。但Bengio回復(fù)的一條Facebook帖子引起了我的注意，他說(shuō)：

這里的結(jié)論似乎有些迷惑性。根據(jù)我們的實(shí)驗(yàn)，我們是說(shuō)目前的DL+RL在學(xué)習(xí)理解構(gòu)式語(yǔ)言所需的樣本復(fù)雜性方面還不能令人滿意。但這與Gary的結(jié)論大不相同，因?yàn)槲覀兿嘈盼覀兛梢岳^續(xù)取得進(jìn)步，并在現(xiàn)有的深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的科學(xué)基礎(chǔ)上進(jìn)行擴(kuò)展。Gary明確地認(rèn)為“深度學(xué)習(xí)的數(shù)據(jù)效率不足以處理語(yǔ)言的構(gòu)式本質(zhì)”，而我們認(rèn)為當(dāng)前的DL技術(shù)還可以增強(qiáng)，可以更好地應(yīng)付的構(gòu)式，這是系統(tǒng)泛化所必須的。這正是我們正在進(jìn)行的研究，可以參考我的論文“The Consciousness Prior”。（https://arxiv.org/abs/1709.08568）

實(shí)際上，Bengio的意思是：我們還沒(méi)有到達(dá)那個(gè)技術(shù)水平。

也許是這個(gè)意思。話又說(shuō)回來(lái)，也許不是這個(gè)意思。也許深度學(xué)習(xí)就是永遠(yuǎn)無(wú)法讓我們達(dá)成目標(biāo)。我們至少需要考慮這種可能性。

20年前，我首次提出了這個(gè)觀點(diǎn)——從反向傳播工作的方式出發(fā)提的。在那時(shí)，出現(xiàn)了很多關(guān)于未知機(jī)制和未來(lái)成功的承諾。

這些承諾至今仍未兌現(xiàn)——20年過(guò)去了。投入進(jìn)這些研究的資金達(dá)數(shù)十億美元，而深度學(xué)習(xí)在語(yǔ)義合成性（compositionality）方面沒(méi)有取得任何顯著的進(jìn)展。

在過(guò)去20年里唯一真正改變的是，神經(jīng)網(wǎng)絡(luò)社區(qū)終于開始注意到這個(gè)問(wèn)題了。

未來(lái)

Bengio和我在很多方面都有共識(shí)。我們都認(rèn)為現(xiàn)有的模型不會(huì)取得成功。我們都同意深度學(xué)習(xí)必須增強(qiáng)（augmented）。

然而問(wèn)題是，增強(qiáng)是什么呢。

Bengio可以自由地闡述他的觀點(diǎn)。

我的觀點(diǎn)與我過(guò)去20年來(lái)的預(yù)測(cè)毫無(wú)二致：深度學(xué)習(xí)必須增強(qiáng)，借鑒經(jīng)典符號(hào)系統(tǒng)的一些操作，也就是說(shuō)我們需要混合模型，充分利用最好的經(jīng)典AI（允許顯式地表示階級(jí)性結(jié)構(gòu)和抽象的規(guī)則），并將其與深度學(xué)習(xí)的優(yōu)勢(shì)相結(jié)合。

許多（不是所有）神經(jīng)網(wǎng)絡(luò)的擁護(hù)者都試圖避免在他們的網(wǎng)絡(luò)中添加這樣的東西。這并不是不可能的；這是普遍觀念的問(wèn)題。當(dāng)然，僅靠深度學(xué)習(xí)目前還無(wú)法解決這個(gè)問(wèn)題。也許是時(shí)候嘗試別的方法了。

我不認(rèn)為深度學(xué)習(xí)無(wú)法在自然理解方面發(fā)揮作用，只是我認(rèn)為深度學(xué)習(xí)本身無(wú)法成功。

我的預(yù)測(cè)不變：如果沒(méi)有固有的組合性工具來(lái)表示規(guī)則和結(jié)構(gòu)化表示，語(yǔ)言理解的神經(jīng)網(wǎng)絡(luò)模型仍然幾乎無(wú)法取得進(jìn)展。