約翰霍普金斯大學(xué)教授、計(jì)算機(jī)視覺(jué)的奠基人之一Alan Yuille撰文詳述深度網(wǎng)絡(luò)的三大局限及如何破解，提出這一領(lǐng)域最嚴(yán)峻的挑戰(zhàn)是如何開(kāi)發(fā)能夠應(yīng)對(duì)組合爆炸的算法。

自2011年AlexNet在ImageNet競(jìng)賽中“封神”以來(lái)，計(jì)算機(jī)視覺(jué)領(lǐng)域的所有突破幾乎都來(lái)自深度神經(jīng)網(wǎng)絡(luò)。

深度網(wǎng)絡(luò)的成功是非凡的，它們讓視覺(jué)研究變得非常受歡迎，戲劇性地增加了學(xué)術(shù)界和工業(yè)界之間的互動(dòng)，讓視覺(jué)技術(shù)得以應(yīng)用于許多廣泛的學(xué)科，并產(chǎn)生了許多重要的成果。

但與此同時(shí)，深度網(wǎng)絡(luò)的局限性也愈加凸顯，它的不可解釋性、容易受到欺騙、過(guò)于依賴(lài)注釋數(shù)據(jù)等特性，甚至讓許多研究人員發(fā)出“深度學(xué)習(xí)已死”的呼聲，呼吁關(guān)注深度學(xué)習(xí)之外的其他方法。

本文作者由計(jì)算機(jī)視覺(jué)的奠基人之一、約翰霍普金斯大學(xué)教授Alan Yuille和他的學(xué)生劉晨曦(Chenxi Liu)撰寫(xiě)，詳述了深度網(wǎng)絡(luò)的局限性和組合爆炸問(wèn)題對(duì)于現(xiàn)實(shí)世界應(yīng)用的重要性。

他們認(rèn)為該領(lǐng)域最嚴(yán)峻的挑戰(zhàn)是開(kāi)發(fā)能夠應(yīng)對(duì)組合爆炸的算法，如果研究人員追求更多樣性的方法和技術(shù)，而不僅僅是追逐當(dāng)前的流行趨勢(shì)，這一領(lǐng)域?qū)?huì)得到更快的發(fā)展。

Alan Yuille教授

深度學(xué)習(xí)的歷史

我們正在見(jiàn)證深度學(xué)習(xí)的第三次崛起。前兩次浪潮——1950 - 1960年代和1980 - 1990年代——引起了相當(dāng)大的轟動(dòng)，但卻慢慢失去了動(dòng)力，因?yàn)檫@些神經(jīng)網(wǎng)絡(luò)既沒(méi)有實(shí)現(xiàn)它們承諾的性能提升，也沒(méi)有幫助我們理解生物視覺(jué)系統(tǒng)。

第三次浪潮——2000年至今——?jiǎng)t有所不同，因?yàn)樯疃葘W(xué)習(xí)在大量基準(zhǔn)測(cè)試和現(xiàn)實(shí)世界應(yīng)用中已經(jīng)遠(yuǎn)遠(yuǎn)超越了其他競(jìng)爭(zhēng)技術(shù)。雖然深度學(xué)習(xí)的大多數(shù)基本想法在第二次浪潮中已經(jīng)發(fā)展起來(lái)，但直到大型數(shù)據(jù)集和強(qiáng)大的計(jì)算機(jī)(GPU)可用之后，它們的力量才得以釋放。

深度學(xué)習(xí)的興衰反映了學(xué)習(xí)算法在學(xué)術(shù)時(shí)髦和流行程度上的變化。第二次浪潮看到了古典人工智能(classical AI)的局限性，其表現(xiàn)是相對(duì)于巨大的承諾，AI的表現(xiàn)相當(dāng)平庸。于是，1980年代中期，AI冬天開(kāi)始了。

第二次AI浪潮的衰落轉(zhuǎn)變?yōu)橹С窒蛄繖C(jī)、kernel methods及相關(guān)方法的興起。這時(shí)候，我們應(yīng)當(dāng)為神經(jīng)網(wǎng)絡(luò)的研究人員鼓掌，盡管也遭遇沮喪，他們?nèi)岳^續(xù)研究。但是請(qǐng)注意，風(fēng)水輪流轉(zhuǎn)?，F(xiàn)在論文如果不和神經(jīng)網(wǎng)絡(luò)沾點(diǎn)關(guān)系，似乎已經(jīng)很難發(fā)表。這不是一個(gè)好現(xiàn)象。我們認(rèn)為，如果研究人員追求更多樣性的方法和技術(shù)，而不僅僅是追逐當(dāng)前的流行趨勢(shì)，這一領(lǐng)域?qū)?huì)得到更快的發(fā)展。令人倍感擔(dān)憂的是，學(xué)生們的AI課程中往往傾向于追逐當(dāng)前的趨勢(shì)，而完全忽略了舊技術(shù)。

深度學(xué)習(xí)三大局限

在2011年AlexNet在Imagenet競(jìng)賽中擊敗所有競(jìng)爭(zhēng)對(duì)手之前，計(jì)算機(jī)視覺(jué)社區(qū)對(duì)深度學(xué)習(xí)持相當(dāng)懷疑的態(tài)度。那時(shí)大家還不知道，在接下來(lái)的幾年，視覺(jué)研究人員將提出各種各樣的神經(jīng)網(wǎng)絡(luò)架構(gòu)，這些架構(gòu)在物體分類(lèi)方面的表現(xiàn)會(huì)越來(lái)越好。深度學(xué)習(xí)也很快適應(yīng)了其他視覺(jué)任務(wù)，如對(duì)象檢測(cè)，其中圖像包含一個(gè)或多個(gè)對(duì)象，背景要大得多。

為了完成這項(xiàng)任務(wù)，神經(jīng)網(wǎng)絡(luò)在初始階段得到了增強(qiáng)，這一階段對(duì)物體可能的位置和大小提出建議。這些方法在PASCAL對(duì)象檢測(cè)挑戰(zhàn)賽(這是ImageNet之前的主要對(duì)象檢測(cè)和分類(lèi)競(jìng)賽)方面優(yōu)于以往的最佳方法，即Deformable Part Models。其他深度網(wǎng)絡(luò)(Deep Net)架構(gòu)也在其他經(jīng)典任務(wù)中提供了巨大的性能提升，圖1描述了其中一些任務(wù)。

圖1: Deep Nets能夠執(zhí)行各種各樣的視覺(jué)任務(wù)。包括：邊界檢測(cè)、語(yǔ)義分割、語(yǔ)義邊界、曲面法線、顯著性、人體部位和對(duì)象檢測(cè)。(來(lái)源: https://arxiv.org/abs/1609.02132)

但是，盡管深度學(xué)習(xí)優(yōu)于其他技術(shù)，它們并非具有通用性。這里，我們列舉了深度學(xué)習(xí)的三個(gè)主要局限。

首先，深度學(xué)習(xí)幾乎總是需要大量的注釋數(shù)據(jù)。這使得視覺(jué)研究人員的焦點(diǎn)過(guò)度集中于容易注釋的任務(wù)，而不是重要的任務(wù)。

有一些方法可以減少對(duì)監(jiān)督的需要，包括遷移學(xué)習(xí)、小樣本學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)和弱監(jiān)督學(xué)習(xí)。但到目前為止，它們的研究成果并沒(méi)有像監(jiān)督學(xué)習(xí)那樣令人印象深刻。

其次，Deep Nets在基準(zhǔn)數(shù)據(jù)集上表現(xiàn)良好，但在數(shù)據(jù)集之外的真實(shí)世界圖像上，可能會(huì)出現(xiàn)嚴(yán)重失敗。

所有數(shù)據(jù)集都存在偏見(jiàn)。這些偏見(jiàn)在早期的視覺(jué)數(shù)據(jù)集中尤其明顯，研究人員很快就學(xué)會(huì)了利用這些偏見(jiàn)，例如，利用background context(例如，在Caltech101中檢測(cè)魚(yú)很容易，因?yàn)樗鼈兪俏ㄒ坏谋尘笆撬膶?duì)象)。盡管使用大型數(shù)據(jù)集和深度網(wǎng)絡(luò)，這些問(wèn)題減少了，但仍然存在。例如，如圖2所示，一個(gè)訓(xùn)練來(lái)在ImageNet上檢測(cè)“沙發(fā)”的Deep Net，如果在訓(xùn)練數(shù)據(jù)集中沙發(fā)的圖像屬于代表性不足的視角，網(wǎng)絡(luò)就可能無(wú)法檢測(cè)到它們。

特別是，Deep Nets特別難以應(yīng)付數(shù)據(jù)集中不經(jīng)常發(fā)生的“罕見(jiàn)事件”。但在現(xiàn)實(shí)世界的應(yīng)用中，這些偏見(jiàn)特別成問(wèn)題，因?yàn)樗鼈兛赡軐?duì)應(yīng)于視覺(jué)系統(tǒng)故障可能導(dǎo)致可怕后果的情況。比如，用于訓(xùn)練自動(dòng)駕駛汽車(chē)的數(shù)據(jù)集幾乎從不包含“嬰兒坐在路上”的情況。

圖2：UnrealCV讓視覺(jué)研究人員能夠輕松地操縱合成場(chǎng)景，例如改變沙發(fā)的視角。我們發(fā)現(xiàn)Faster-RCNN檢測(cè)沙發(fā)的平均精度(AP)在0.1到1.0之間，對(duì)視角的敏感度極高。這可能是因?yàn)橛?xùn)練中的偏見(jiàn)導(dǎo)致Faster-RCNN偏向于特定的視角。

第三，Deep Nets對(duì)圖像中的變化過(guò)于敏感，而這種變化不會(huì)欺騙人類(lèi)觀察者。Deep Nets不僅對(duì)導(dǎo)致圖像中難以察覺(jué)的變化的標(biāo)準(zhǔn)對(duì)抗性攻擊敏感，而且對(duì)上下文的變化也過(guò)于敏感。

圖3顯示了在一張叢林猴子的照片中ps上一把吉他的效果。這導(dǎo)致深度網(wǎng)絡(luò)將猴子誤認(rèn)為人類(lèi)，同時(shí)將吉他誤認(rèn)為鳥(niǎo)，大概是因?yàn)樗J(rèn)為人類(lèi)比猴子更可能攜帶吉他，而鳥(niǎo)類(lèi)比吉他更可能出現(xiàn)在附近的叢林中。最近的研究提供了很多關(guān)于Deep Nets對(duì)環(huán)境過(guò)度敏感的例子，例如把一頭大象放在房間里。

圖3:添加遮蔽體會(huì)導(dǎo)致深度網(wǎng)絡(luò)失敗。左：摩托車(chē)的遮擋讓AI把一只猴子誤認(rèn)為人類(lèi)。中：自行車(chē)的遮擋讓AI把猴子誤認(rèn)為人類(lèi)，同時(shí)叢林背景導(dǎo)致AI將自行車(chē)把手誤認(rèn)為是鳥(niǎo)。右：吉他把猴子變成了人，而叢林把吉他變成了鳥(niǎo)。(來(lái)源:https://arxiv.org/abs/1711.04451)

這種對(duì)上下文的過(guò)度敏感也可以歸因于數(shù)據(jù)集大小的局限。對(duì)于任何對(duì)象，數(shù)據(jù)集中只會(huì)出現(xiàn)有限數(shù)量的上下文，因此神經(jīng)網(wǎng)絡(luò)會(huì)偏向于它們。例如，在早期的圖像字幕數(shù)據(jù)集中，AI觀察到長(zhǎng)頸鹿只出現(xiàn)在樹(shù)木附近，因此它生成的圖像說(shuō)明不會(huì)提到?jīng)]有樹(shù)木的圖像中的長(zhǎng)頸鹿，即使它們圖像中是最主要的對(duì)象。

捕獲各種各樣的上下文的困難，以及探索大范圍干擾因素的需要，對(duì)于像Deep Nets這樣的數(shù)據(jù)驅(qū)動(dòng)方法來(lái)說(shuō)是一個(gè)很大的問(wèn)題。似乎要確保網(wǎng)絡(luò)能夠處理所有這些問(wèn)題，就需要無(wú)限大的數(shù)據(jù)集，這對(duì)訓(xùn)練和測(cè)試數(shù)據(jù)集都提出了巨大的挑戰(zhàn)。下面我們將討論這些問(wèn)題。

當(dāng)大數(shù)據(jù)集不夠大時(shí)——組合爆炸

上面提到的問(wèn)題都不是破壞深度學(xué)習(xí)的因素，但我們認(rèn)為這些是問(wèn)題的早期預(yù)警信號(hào)。也就是說(shuō)，真實(shí)世界的圖像集是combinatorially large的，因此任何數(shù)據(jù)集，無(wú)論它有多大，都很難代表真實(shí)世界的復(fù)雜性。

一個(gè)combinatorially large的集合意味著什么呢?想象一下，通過(guò)從對(duì)象詞典中選擇對(duì)象并將它們放在不同的組合中來(lái)構(gòu)建一個(gè)視覺(jué)場(chǎng)景。這顯然可以有指數(shù)級(jí)數(shù)量的方式。即使是單個(gè)對(duì)象的圖像，我們也可以獲得類(lèi)似的復(fù)雜度，因?yàn)榭梢杂袩o(wú)數(shù)種方式將它部分遮擋。我們還可以用無(wú)數(shù)種方式改變一個(gè)對(duì)象的背景。

雖然人類(lèi)很自然地能適應(yīng)視覺(jué)環(huán)境的變化，但Deep Nets更敏感，更容易出錯(cuò)，如圖3所示。

我們注意到，這種組合爆炸(combinatorial explosion)可能不會(huì)發(fā)生在某些視覺(jué)任務(wù)上，深度網(wǎng)絡(luò)在醫(yī)學(xué)圖像應(yīng)用上可能會(huì)非常成功，因?yàn)獒t(yī)學(xué)圖像中上下文變化相對(duì)較小(例如，胰腺總是非常接近十二指腸)。但是對(duì)于許多真實(shí)世界的應(yīng)用程序，如果沒(méi)有指數(shù)級(jí)大的數(shù)據(jù)集，就無(wú)法捕捉真實(shí)世界的復(fù)雜性。

這帶來(lái)了巨大的挑戰(zhàn)，因?yàn)樵谟邢迶?shù)量的隨機(jī)抽取樣本上訓(xùn)練和測(cè)試模型的標(biāo)準(zhǔn)范式變得不切實(shí)際了，因?yàn)樗鼈冇肋h(yuǎn)不會(huì)大到足以代表數(shù)據(jù)的底層分布。這迫使我們解決兩個(gè)新的問(wèn)題：

我們?nèi)绾卧谟邢薮笮〉臄?shù)據(jù)集上訓(xùn)練算法，使它們能夠在捕捉真實(shí)世界的組合復(fù)雜性所需的真正龐大的數(shù)據(jù)集上表現(xiàn)良好?

如果我們只能在有限的子集上測(cè)試這些算法，如何有效地測(cè)試它們，以確保它們?cè)谶@些龐大的數(shù)據(jù)集中工作?

克服組合爆炸問(wèn)題

像目前形式的Deep Nets這樣的方法似乎不太可能處理組合爆炸。數(shù)據(jù)集可能永遠(yuǎn)無(wú)法大到足以訓(xùn)練或測(cè)試它們。下面我們概述一些可能的解決方案。

組合性

組合性(Compositionality)是一種普遍的原則，用詩(shī)意的方式描述，它是“一種信念的體現(xiàn)，這種信念認(rèn)為世界是可知的，人們可以將事物拆解，理解它們，并在精神上隨意重新組合它們”。關(guān)鍵的假設(shè)是，結(jié)構(gòu)是按照一組語(yǔ)法規(guī)則，由更基本的子結(jié)構(gòu)分層組成的。這表明，子結(jié)構(gòu)和語(yǔ)法可以從有限的數(shù)據(jù)中學(xué)習(xí)，但將推廣到組合情境(combinatorial situations)。

與深度網(wǎng)絡(luò)不同的是，組合模型需要結(jié)構(gòu)化的表示來(lái)明確它們的結(jié)構(gòu)和子結(jié)構(gòu)。組合模型能夠超越所見(jiàn)數(shù)據(jù)進(jìn)行推斷、對(duì)系統(tǒng)進(jìn)行推理、進(jìn)行干預(yù)、進(jìn)行診斷以及基于相同的底層知識(shí)結(jié)構(gòu)回答許多不同問(wèn)題。

引用Stuart Geman的話來(lái)說(shuō)：“世界是組合的，不然，上帝就是存在的。”(The world is compositional or God exists)，因?yàn)槿绻澜绮皇墙M合的，上帝似乎有必要手工制作人類(lèi)智能。我們注意到，雖然深度網(wǎng)絡(luò)捕獲了一種組合的形式，例如，高級(jí)特征是由較低級(jí)別特征的響應(yīng)組成的，但它們不是我們?cè)诒疚闹兴傅囊饬x上的組合性。

圖4：從(a)到(b)到(c)，使用了越來(lái)越多的可變性和遮蔽。特別地，(c)是一個(gè)組合大數(shù)據(jù)集的示例，它本質(zhì)上與驗(yàn)證碼是一樣的。有趣的是，關(guān)于驗(yàn)證碼的研究表明，組合模型的性能很好，而深度網(wǎng)絡(luò)的性能要差得多。(來(lái)源：https://www.ncbi.nlm.nih.gov/pubmed/16784882)

圖4說(shuō)明了組合性的一個(gè)例子，涉及到合成分析(analysis by synthesis)。

組合模型的這些概念優(yōu)勢(shì)已經(jīng)在視覺(jué)問(wèn)題上得到了證明，例如使用相同的底層模型執(zhí)行多個(gè)任務(wù)的能力，以及識(shí)別驗(yàn)證碼的能力。

其他非視覺(jué)問(wèn)題的示例也說(shuō)明了同樣的問(wèn)題。訓(xùn)練Deep Nets進(jìn)行智商測(cè)試的嘗試沒(méi)有成功。在這個(gè)任務(wù)中，目標(biāo)是在一個(gè)3x3網(wǎng)格中預(yù)測(cè)丟失的圖像，其中會(huì)給出其他8個(gè)網(wǎng)格的圖像，并且基礎(chǔ)規(guī)則是組合的(并且可能存在干擾項(xiàng))。

相反，對(duì)于一些自然語(yǔ)言應(yīng)用，神經(jīng)模塊網(wǎng)絡(luò)(Neural Module Networks)的動(dòng)態(tài)架構(gòu)似乎足夠靈活，可以捕捉到一些有意義的組合，其性能優(yōu)于傳統(tǒng)的深度學(xué)習(xí)網(wǎng)絡(luò)。事實(shí)上，我們最近證明，經(jīng)過(guò)聯(lián)合訓(xùn)練后，各個(gè)模塊確實(shí)實(shí)現(xiàn)了它們預(yù)期的組合功能(如AND、OR、FILTER(RED)等)。

組合模型具有許多理想的理論特性，例如可解釋性，并且能夠生成樣本。這使得錯(cuò)誤更容易診斷，因此它們比像Deep Nets這樣的黑盒方法更難被欺騙。但是學(xué)習(xí)組合模型是很困難的，因?yàn)樗枰獙W(xué)習(xí)構(gòu)建塊和語(yǔ)法(甚至語(yǔ)法的本質(zhì)也是有爭(zhēng)議的)。此外，為了進(jìn)行合成分析，他們需要具有對(duì)象和場(chǎng)景結(jié)構(gòu)的生成模型。將分布放在圖像上也具有挑戰(zhàn)性，除了人臉、字母和常規(guī)紋理等少數(shù)例外。

更重要的是，處理組合爆炸需要學(xué)習(xí)三維世界的因果模型，以及這些模型如何生成圖像。對(duì)人類(lèi)嬰兒的研究表明，他們是通過(guò)建立因果模型來(lái)學(xué)習(xí)的，這些因果模型可以預(yù)測(cè)他們所處環(huán)境的結(jié)構(gòu)，包括樸素物理學(xué)。這種因果關(guān)系的理解使我們能夠從有限的數(shù)據(jù)中學(xué)習(xí)，并真正地推廣到新情況。這類(lèi)似于將牛頓定律與托勒密的地心說(shuō)模型進(jìn)行對(duì)比，前者用最少的自由參數(shù)給出因果關(guān)系的理解，后者給出非常準(zhǔn)確的預(yù)測(cè)，但需要大量的數(shù)據(jù)來(lái)確定其細(xì)節(jié)(即本輪)。

組合數(shù)據(jù)的測(cè)試

在真實(shí)世界的組合復(fù)雜性上測(cè)試視覺(jué)算法的一個(gè)潛在挑戰(zhàn)是，我們只能在有限的數(shù)據(jù)上進(jìn)行測(cè)試。

博弈論通過(guò)關(guān)注最壞情況而非平均情況來(lái)解決這個(gè)問(wèn)題。如前所述，如果數(shù)據(jù)集沒(méi)有捕捉到問(wèn)題的組合復(fù)雜性，那么有限大小數(shù)據(jù)集上的平均情況結(jié)果可能沒(méi)有意義。如果我們的目標(biāo)是為自動(dòng)駕駛汽車(chē)開(kāi)發(fā)視覺(jué)算法，或者利用醫(yī)學(xué)圖像診斷癌癥，算法的失敗就可能帶來(lái)嚴(yán)重后果，那么關(guān)注最糟糕的情況顯然也是有意義的。

如果能夠在低維空間中捕捉到故障模式，如立體視覺(jué)的危險(xiǎn)因素，那么我們可以用計(jì)算機(jī)圖形學(xué)和網(wǎng)格搜索來(lái)研究它們。但是對(duì)于大多數(shù)視覺(jué)任務(wù)，特別是涉及組合數(shù)據(jù)的任務(wù)，很難識(shí)別出少數(shù)可以分離和測(cè)試的危險(xiǎn)因素。

一種策略是將標(biāo)準(zhǔn)對(duì)抗性攻擊的概念擴(kuò)展到包括非局部結(jié)構(gòu)，允許對(duì)圖像或場(chǎng)景造成變化的復(fù)雜操作，例如通過(guò)遮擋或改變被觀察對(duì)象的物理屬性，但不顯著影響人類(lèi)感知。

將這種策略擴(kuò)展到處理組合數(shù)據(jù)的視覺(jué)算法仍然非常具有挑戰(zhàn)性。但是，如果算法在設(shè)計(jì)時(shí)考慮到了組合性，那么它們的顯式結(jié)構(gòu)可能使診斷它們和確定它們的故障模式成為可能。

最嚴(yán)峻的挑戰(zhàn)

幾年前，Aude Oliva和Alan Yuille(本文第一作者)共同組織了一個(gè)由NSF贊助的計(jì)算機(jī)視覺(jué)前沿研討會(huì)(MIT CSAIL 2011)。會(huì)議鼓勵(lì)坦誠(chéng)交換意見(jiàn)，尤其在計(jì)算機(jī)視覺(jué)領(lǐng)域深度網(wǎng)絡(luò)的潛力方面存在巨大的分歧。

Yann LeCun大膽地預(yù)言，在不久的將來(lái)，每個(gè)人都將使用深度網(wǎng)絡(luò)。

他是對(duì)的。深度網(wǎng)絡(luò)的成功是非凡的，它們讓視覺(jué)研究變得非常受歡迎，戲劇性地增加了學(xué)術(shù)界和工業(yè)界之間的互動(dòng)，讓視覺(jué)技術(shù)得以應(yīng)用于許多廣泛的學(xué)科，并產(chǎn)生了許多重要的成果。

但是，盡管深度網(wǎng)絡(luò)取得了成功，但在實(shí)現(xiàn)通用人工智能和理解生物視覺(jué)系統(tǒng)的目標(biāo)之前，仍必須克服巨大的挑戰(zhàn)。

我們的擔(dān)憂與最近Gary Marcus等人對(duì)深度網(wǎng)絡(luò)的批判中提到的類(lèi)似。可以說(shuō)，最嚴(yán)峻的挑戰(zhàn)是如何開(kāi)發(fā)能夠應(yīng)對(duì)組合爆炸的算法，研究人員需要在越來(lái)越現(xiàn)實(shí)的條件下處理越來(lái)越復(fù)雜的視覺(jué)任務(wù)。雖然深度網(wǎng)絡(luò)肯定是解決方案的一部分，但我們認(rèn)為，我們還需要包含組合原則和因果模型的補(bǔ)充方法，以捕捉數(shù)據(jù)的基本結(jié)構(gòu)。此外，面對(duì)組合爆炸，我們需要重新思考如何訓(xùn)練和評(píng)估視覺(jué)算法。