經(jīng)過一段漫長時期的沉寂之后，人工智能正在進入一個蓬勃發(fā)展的新時期，這主要得益于深度學習和人工神經(jīng)網(wǎng)絡(luò)近年來取得的長足發(fā)展。更準確地說，人們對深度學習產(chǎn)生的新的興趣在很大程度上要歸功于卷積神經(jīng)網(wǎng)絡(luò)（CNNs）的成功，卷積神經(jīng)網(wǎng)絡(luò)是一種特別擅長處理視覺數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。 但是，如果有人告訴你卷積神經(jīng)網(wǎng)絡(luò)存在根本性的缺陷，你會怎么看呢？而這一點是被譽為“深度學習鼻祖”和“神經(jīng)網(wǎng)絡(luò)之父”的Geoffrey Hinton教授在2020年度人工智能頂級會議 – AAAI大會上作的主題演講中提出的，AAAI（譯注：AAAI全稱為美國人工智能協(xié)會）大會是每年主要的人工智能會議之一。 Hinton，與Yann LeCun和Yoshua Bengio一起出席了這次會議，這三大深度學習巨頭，圖靈獎的獲得者，被業(yè)界并稱為“深度學習教父”。Hinton談到了卷積神經(jīng)網(wǎng)絡(luò)（CNNs）和膠囊網(wǎng)絡(luò)的局限性，并提出這是他在人工智能領(lǐng)域的下一個突破方向。 和他所有的演講一樣，Hinton深入探討了許多技術(shù)細節(jié)，這些細節(jié)使得卷積神經(jīng)網(wǎng)絡(luò)與人類視覺系統(tǒng)相比越來顯得效率低下而且不同。本文將會詳細闡述他在大會上提出的一些要點。但在我們接觸這些要點之前，讓我們像以往一樣，了解關(guān)于人工智能的一些基礎(chǔ)知識，以及為什么卷積神經(jīng)網(wǎng)絡(luò)（CNNs）對人工智能社區(qū)來說如此重要的背景和原因。

計算機視覺的解決方案

在人工智能的早期，科學家們試圖創(chuàng)造出一種計算機，它能像人類一樣“看”世界。這些努力導致了一個全新的研究領(lǐng)域的產(chǎn)生，這就是計算機視覺。 計算機視覺的早期研究涉及到符號人工智能的使用，其中的每個規(guī)則都必須由人類程序員指定。但是問題在于，并不是人類視覺設(shè)備的每一個功能都可以用明確的計算機程序規(guī)則來分解。所以，這種方法的使用率和成功率都非常有限。 另一種不同的方法是機器學習。與符號人工智能相反，機器學習算法被賦予了一個通用的結(jié)構(gòu)，并通過對訓練實例的檢驗來開發(fā)自己的行為能力。然而，大多數(shù)早期的機器學習算法仍然需要大量的人工工，來設(shè)計用來檢測圖像相關(guān)特征的部件。

卷積神經(jīng)網(wǎng)絡(luò)（CNNs），與以上兩種方法不同，這是一種端到端的人工智能模型，它開發(fā)了自己的特征檢測機制。一個訓練有素的多層次卷積神經(jīng)網(wǎng)絡(luò)會以一種分層的方式自動識別特征，從簡單的邊角到復雜的物體，如人臉、椅子、汽車、狗等等。 卷積神經(jīng)網(wǎng)絡(luò)（CNNs）最早是在20世紀80年代由LeCun引入，當時他在多倫多大學的Hinton實驗室做博士后研究助理。但是，由于卷積神經(jīng)網(wǎng)絡(luò)對計算和數(shù)據(jù)的巨大需求，它們被擱置了下來，它在那個時間獲得的采用非常有限。而后，經(jīng)過三十年的發(fā)展，并且借助計算硬件和數(shù)據(jù)存儲技術(shù)取得的巨大進步，卷積神經(jīng)網(wǎng)絡(luò)開始充分發(fā)揮其強大的潛力。 今天，得益于大型的計算集群、專用的硬件和海量的數(shù)據(jù)，卷積神經(jīng)網(wǎng)絡(luò)在圖像分類和對象識別方面已經(jīng)得到了廣泛而且有益的應(yīng)用。

卷積神經(jīng)網(wǎng)絡(luò)的每一層都將從輸入圖像中提取特定的特征。

卷積神經(jīng)網(wǎng)絡(luò)（CNNs）與人類視覺的區(qū)別 在AAAI大會的演講中，Hinton指出：“卷積神經(jīng)網(wǎng)絡(luò)（CNNs）充分利用了端對端的學習方式。事實證明，如果一項功能在某個地方不錯，那么在其他地方也會很不錯，因此他們贏得了巨大的成功。這使得它們可以結(jié)合證據(jù)，并很好地在不同位置進行泛化。然而，它們與人類的感知非常不同?！?計算機視覺的關(guān)鍵挑戰(zhàn)之一是處理現(xiàn)實世界中的數(shù)據(jù)差異。我們的視覺系統(tǒng)可以從不同的角度、不同的背景和不同的光照條件下識別物體。當物體被其他物體部分遮住或以古怪的方式著色時，我們的視覺系統(tǒng)利用線索和其他知識來填補缺失的信息以及我們這樣看的理由。 事實證明，創(chuàng)建能夠復制相同對象識別功能的人工智能非常困難。 Hinton說：“卷積神經(jīng)網(wǎng)絡(luò)（CNNs）是為解決物體的平移問題而設(shè)計的”。這意味著一個訓練有素的卷積神經(jīng)網(wǎng)絡(luò)可以識別一個對象，而不管其在圖像中的位置如何。但是他們并不能很好地處理視點變化的其他效果，例如旋轉(zhuǎn)和縮放。 根據(jù)Hinton的說法，解決這個問題的一種方法是使用4D或6D地圖來訓練人工智能，然后執(zhí)行對象檢測。他補充道：“但這實在是令人望而卻步?！?。 目前，我們最好的解決方案是收集大量的圖像，在不同的位置顯示每個對象。然后，我們在這個龐大的數(shù)據(jù)集上訓練卷積神經(jīng)網(wǎng)絡(luò)，希望它能看到足夠多的對象示例以進行泛化，并且能夠在真實世界中以可靠的準確度來檢測對象。諸如ImageNet這樣的數(shù)據(jù)集包含超過1,400萬個帶有注釋的圖像，目的就是旨在實現(xiàn)這一目標。 Hinton說道：“這不是很有效。我們希望卷積神經(jīng)網(wǎng)絡(luò)能夠毫不費力地推廣到新的視點。如果他們學會了識別某些東西，而你把它放大10倍并旋轉(zhuǎn)60度，那么這根本不會給他們帶來任何問題。我們知道計算機圖形學就是這樣，我們希望卷積神經(jīng)網(wǎng)絡(luò)更像這樣?！?事實上，ImageNet已經(jīng)被證明是有缺陷的，它目前是評估計算機視覺系統(tǒng)的首選基準。盡管數(shù)據(jù)集龐大，但是它無法捕獲對象的所有可能角度和位置。它主要由在理想照明條件下以已知角度拍攝的圖像組成。 這對于人類視覺系統(tǒng)來說是可以接受的，因為它可以輕松地進行知識泛化。事實上，當我們從多個角度觀察到某個對象后，我們通?？梢韵胂笏谛挛恢煤筒煌曈X條件下的外觀。 但是卷積神經(jīng)網(wǎng)絡(luò)（CNNs）需要詳細的示例來說明他們需要處理的案例，而且他們不具備人類思維的創(chuàng)造力。深度學習開發(fā)人員通常試圖通過應(yīng)用一個稱為“數(shù)據(jù)增強”的過程來解決這個問題，在這個過程中，他們在訓練神經(jīng)網(wǎng)絡(luò)之前翻轉(zhuǎn)圖像或少量旋轉(zhuǎn)圖像。實際上，卷積神經(jīng)網(wǎng)絡(luò)將在每個圖像的多個副本上進行訓練，每個副本都會略有不同。這將有助于人工智能針對同一對象的變化進行泛化。在某種程度上，數(shù)據(jù)增強使得人工智能模型更加健壯。 然而，數(shù)據(jù)增強無法涵蓋卷積神經(jīng)網(wǎng)絡(luò)和其他神經(jīng)網(wǎng)絡(luò)無法處理的極端情況，比如說，一張上翹的椅子，或者放在床上的一件皺巴巴的T恤衫。這些都是現(xiàn)實生活中像素操縱無法實現(xiàn)的情況。

ImageNet與現(xiàn)實對比：在ImageNet（左列）中，對象放置整齊，處于理想的背景和光照條件下。而現(xiàn)實世界比它混亂得多（資料來源：objectnet.dev） 已經(jīng)有人通過創(chuàng)建能夠更好地表示現(xiàn)實世界的混亂現(xiàn)實的計算機視覺基準和訓練數(shù)據(jù)集來解決這一泛化問題。但是，盡管它們可以改進當前人工智能系統(tǒng)的結(jié)果，但它們并不能解決跨視點泛化的根本問題?？倳行碌慕嵌取⑿碌恼彰鳁l件、新的顏色和姿勢，而這些新的數(shù)據(jù)集并不能包含所有這些情況。這些新情況甚至會使最大、最先進的人工智能系統(tǒng)陷入混亂。

差異可能是危險的 從上面提出的觀點來看，卷積神經(jīng)網(wǎng)絡(luò)（CNNs）顯然是以與人類截然不同的方式來識別物體的。但是，這些差異不僅在弱泛化上存在局限，而且還需要更多的示例來學習一個對象。卷積神經(jīng)網(wǎng)絡(luò)生成對象的內(nèi)部表示形式也與人腦的生物神經(jīng)網(wǎng)絡(luò)非常不同。 這是如何表現(xiàn)出來的？“我可以拍攝一張照片，再加上一點點噪點，卷積神經(jīng)網(wǎng)絡(luò)就會將其識別為完全不同的東西，而我本人幾乎看不出它們有什么不同。這似乎真的很奇怪，我認為這是證據(jù)，卷積神經(jīng)網(wǎng)絡(luò)實際上是在使用與我們完全不同的信息來識別圖像?！?Hinton在AAAI會議上的主題演講中說道。 這些稍加修改的圖像被稱為“對抗性樣本”，是人工智能領(lǐng)域的研究熱點。

對抗性樣本可能會導致神經(jīng)網(wǎng)絡(luò)對圖像進行錯誤分類，而對人眼卻沒有影響。 Hinton說：“并不是說這是錯的，他們只是使用一種完全不同的方式來工作，而且他們這種完全不同的做法在如何泛化方面也會有一些不同。”。 但是許多例子表明，對抗性干擾可能是極其危險的。當你的圖像分類器錯誤地將熊貓標記為長臂猿時，這一切都是可愛和有趣的。但是，當自動駕駛汽車的計算機視覺系統(tǒng)缺少了一個停車標志時，而繞過面部識別安全系統(tǒng)的邪惡黑客，或者谷歌照片將人類標記為大猩猩時，你就會有大麻煩了。 關(guān)于檢測對抗性擾動并創(chuàng)建可抵抗對抗性擾動的強大的人工智能系統(tǒng)，已經(jīng)有很多研究。但是，對抗性樣本也提醒我們：我們的視覺系統(tǒng)經(jīng)過幾代人的進化，已經(jīng)能夠處理我們周圍的世界，我們也創(chuàng)造了我們的世界來適應(yīng)我們的視覺系統(tǒng)。因此，如果我們的計算機視覺系統(tǒng)以與人類視覺根本不同的方式工作，它們將是不可預測且不可靠的，除非它們得到諸如激光雷達和雷達測繪等補充技術(shù)的支持。

坐標系和部分-整體關(guān)系很重要 Geoffrey Hinton在AAAI大會的主題演講中指出的另一個問題是，卷積神經(jīng)網(wǎng)絡(luò)無法從對象及其部分的角度來理解圖像。它們將圖像識別為以不同圖案排列的像素斑點。它們也沒有實體及其關(guān)系的顯式內(nèi)部表示。 “當你將卷積神經(jīng)網(wǎng)絡(luò)想象成各個像素位置的中心時，你會越來越豐富地描述該像素位置上發(fā)生的事情，這取決于越來越多的上下文。最后，你獲得了如此豐富的描述，以至于你知道圖像中存在哪些對象。但是它們并沒有明確地解析圖像?！盚inton說。 我們對物體構(gòu)成的理解有助于我們了解這個世界，并理解我們以前從未見過的東西，比如這個奇特的茶壺。

將對象分解為多個部分有助于我們了解其性質(zhì)。這是馬桶還是茶壺？（資源來源：Smashing lists） 卷積神經(jīng)網(wǎng)絡(luò)中還缺少坐標系，這是人類視覺的基本組成部分?；旧希斘覀兛吹揭粋€物體時，我們開發(fā)了一個關(guān)于它的方向的心理模型，這有助于我們解析它的不同特征。例如，在下圖中，考慮右邊的臉。如果你將其倒置，你會看到左邊的臉。但實際上，你不需要物理翻轉(zhuǎn)圖像就可以看到左邊的臉。只需在精神上調(diào)整坐標系，就可以看到兩個面，無論圖像的方向如何。 Hinton指出：“根據(jù)所施加的坐標系，你會有完全不同的內(nèi)部感知。卷積神經(jīng)網(wǎng)絡(luò)確實不能解釋這一點。你給他們一個輸入，他們就有一個感知，而感知并不依賴于強加的坐標系。我想，這與對抗性樣本有關(guān)，也與卷積神經(jīng)網(wǎng)絡(luò)以與人完全不同的方式進行感知這一事實有關(guān)。”

從計算機圖形學中吸取教訓 Hinton在AAAI會議上的演講中指出，解決計算機視覺的一種非常簡便的方法是制作逆向圖。三維計算機圖形模型是由對象的層次結(jié)構(gòu)組成的。每個對象都有一個轉(zhuǎn)換矩陣，該矩陣定義了其相對于其父對象的平移，旋轉(zhuǎn)和縮放比例。每個層次結(jié)構(gòu)中頂級對象的變換矩陣定義了其相對于世界原點的坐標和方向。 例如，考慮汽車的3D模型。基礎(chǔ)對象具有4×4變換矩陣，該矩陣表示汽車的中心位于具有旋轉(zhuǎn)（X = 0，Y = 0，Z = 90）的坐標（X = 10，Y = 10，Z = 0）處 。汽車本身由許多對象組成，如車輪、底盤、方向盤、擋風玻璃、變速箱、發(fā)動機等。每個對象都有自己的變換矩陣，以父矩陣（汽車的中心）為參照，它們定義了自己的位置和方向。例如，左前輪的中心位于（X=-1.5，Y=2，Z=-0.3）。左前輪的世界坐標可以通過將其變換矩陣與其父矩陣相乘得到。 其中一些對象可能具有自己的子集。例如，車輪由輪胎，輪輞，輪轂，螺母等部件組成。這些子項中的每一個都有自己的變換矩陣。 使用這種坐標系層次結(jié)構(gòu)，可以非常輕松地定位和可視化對象，而不管它們的姿勢、方向或視點如何。當你要渲染對象時，將3D對象中的每個三角形乘以其變換矩陣及其父對象的變換矩陣。然后將其與視點對齊（另一個矩陣乘法），然后在柵格化為像素之前轉(zhuǎn)換為屏幕坐標。 “如果你（對從事計算機圖形學工作的人）說：‘你能從另一個角度向我展示嗎？’他們不會說，‘哦，好吧，我很樂意。但是我們沒有從那個角度進行訓練，所以我們無法從那個角度向你展示?！麄冎皇菑牧硪粋€角度向你展示，因為他們有一個3D模型，他們依據(jù)部分和整體之間的關(guān)系對一個空間結(jié)構(gòu)進行建模，而這些關(guān)系根本不依賴于視點?！盚inton說?！拔矣X得在處理3D對象的圖像時，不利用這種漂亮的結(jié)構(gòu)是很瘋狂的?！?膠囊網(wǎng)絡(luò)（Capsule Network），是Hinton的另一個雄心勃勃的新項目，它嘗試制作逆向計算機圖形。盡管膠囊網(wǎng)絡(luò)應(yīng)該有自己獨立的一套東西，但其背后的基本思想也是拍攝圖像，提取其對象及其部分，定義其坐標系，并創(chuàng)建圖像的模塊化結(jié)構(gòu)。 膠囊網(wǎng)絡(luò)仍在研發(fā)中，自2017年推出以來，它們已經(jīng)經(jīng)歷了多次迭代。但是，如果Hinton和他的同事們能夠成功地使他們發(fā)揮作用，我們將更接近復制人類的視覺。