去年 11 月，“深度學(xué)習(xí)之父”、計(jì)算機(jī)科學(xué)家、認(rèn)知心理學(xué)家杰弗里?辛頓（Geoffrey Hinton）進(jìn)行了一次預(yù)測。經(jīng)過了半個(gè)世紀(jì)的嘗試之后 —— 其中一些取得了巨大的成功，辛頓對(duì)大腦的工作原理以及將其復(fù)制到電腦中的方法有了更加深刻的認(rèn)識(shí)。

新冠大流行期間，辛頓一直在多倫多的家庭辦公室中隔離。他說道，“這是我目前能夠想到的最好的想法?！?如果這個(gè)想法能夠?qū)崿F(xiàn)，那么它可能會(huì)給下一代的人工神經(jīng)網(wǎng)絡(luò)帶來啟發(fā)。

這種數(shù)學(xué)計(jì)算系統(tǒng)的設(shè)計(jì)靈感來自于大腦的神經(jīng)元和突觸，而它也是當(dāng)今人工智能的核心技術(shù)。正如辛頓所說的那樣，他的 “根本動(dòng)機(jī)” 源自好奇心。然而，實(shí)際動(dòng)機(jī) —— 最理想的結(jié)果，卻是設(shè)計(jì)出更加可靠、更加值得信賴的人工智能系統(tǒng)。

作為谷歌研究員與向量人工智能研究所聯(lián)合創(chuàng)始人的辛頓，斷斷續(xù)續(xù)寫下了自己的想法，并于 2 月末在推特上宣布，他在 arXiv 預(yù)印本服務(wù)器上發(fā)表了一篇 44 頁的論文。

辛頓在免責(zé)聲明中寫道：“這篇論文所介紹的并不是實(shí)際工作中的系統(tǒng)，而是一種構(gòu)想中的系統(tǒng)?！?他稱之為 “GLOM”，“GLOM” 源于單詞 “聚集” 以及短語 “聚在一起”。

辛頓認(rèn)為，GLOM 可以在機(jī)器中還原人類的感知系統(tǒng)，它為在神經(jīng)網(wǎng)絡(luò)中處理和呈現(xiàn)視覺信息提供了新的途徑。從技術(shù)層面來說，該系統(tǒng)是一個(gè)相似向量的集合體。

向量是神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)，一個(gè)向量就是一組包含著信息的數(shù)字陣列。最簡單的例子就是一個(gè)點(diǎn)的 xyz 坐標(biāo)，三個(gè)數(shù)字就可以表示出一個(gè)點(diǎn)在三維空間中的位置。

六維向量包含另外三個(gè)信息，也許它們代表著這個(gè)點(diǎn)的顏色的紅綠藍(lán)值。在神經(jīng)網(wǎng)絡(luò)中，成千上萬個(gè)維度中的向量代表著整個(gè)圖像或文本。辛頓認(rèn)為，在處理更高維度的問題時(shí)，我們的大腦活動(dòng)會(huì)涉及到 “與神經(jīng)活動(dòng)有關(guān)的大型向量”。

通過類比，辛頓將相似向量的聚集比作了回聲室效應(yīng) —— 一種將相似觀點(diǎn)放大的效應(yīng)。辛頓表示，“對(duì)于政治和社會(huì)來說，回聲室效應(yīng)完全是一場災(zāi)難。但對(duì)于神經(jīng)網(wǎng)絡(luò)而言，它卻是一個(gè)好東西?！?/p>

他將映射了回聲室效應(yīng)概念的神經(jīng)網(wǎng)絡(luò)稱為 “相同向量的島嶼”，或者更加通俗易懂的 “共識(shí)島嶼”—— 當(dāng)向量在本質(zhì)信息上達(dá)成一致時(shí)，它們就會(huì)指向相同的方向。

從本質(zhì)上看，GLOM 同時(shí)還在追求實(shí)現(xiàn)模擬直覺這一難以達(dá)到的目標(biāo)。辛頓認(rèn)為，直覺對(duì)于感知活動(dòng)至關(guān)重要。他將直覺定義為人類可以輕易進(jìn)行類比的能力。從小到大，我們通過類比推理以及將相似的物體、觀點(diǎn)或概念映射到另一個(gè)對(duì)象的方法來感知世界，或者就像辛頓所說的那樣，從一個(gè)大型向量到另一個(gè)大型向量。

他還表示：“大型向量的相似性解釋了神經(jīng)網(wǎng)絡(luò)進(jìn)行直覺性類比推理的方式?！?從更廣泛的層面來看，直覺捕捉到了人腦產(chǎn)生想法的難以形容的方式。辛頓的工作遵循著直覺和科學(xué)，一切都是在直覺和類比方法的指導(dǎo)下進(jìn)行的。他的關(guān)于大腦運(yùn)作方式的理論全都與直覺有關(guān)。辛頓表示，“我一直都堅(jiān)定不移。”

辛頓希望，在人工智能能夠真正靈活解決問題之前 —— 可以像人類那樣思考，同時(shí)還能夠理解從未見到過的事物，從以前的經(jīng)驗(yàn)中尋找相似性，琢磨想法，并且進(jìn)行概括、推斷以及理解 ——GLOM 可以成為諸多技術(shù)突破之一。

辛頓說道，“如果神經(jīng)網(wǎng)絡(luò)更像人類，那么至少它們就可以像我們一樣犯錯(cuò)誤，因此我們就能夠了解到底是什么讓它們感到困惑?！?/p>

然而，GLOM 暫時(shí)只是一種想法。辛頓說道，“它是一個(gè)霧件。” 他承認(rèn) GLOM 這個(gè)縮寫與 “杰弗里最后的原創(chuàng)模型” 完美契合。至少，這是辛頓最新的研究成果。

創(chuàng)造性思維

辛頓對(duì)人工神經(jīng)網(wǎng)絡(luò)（誕生于二十世紀(jì)中期）的熱情可以追溯到上個(gè)世紀(jì)七十年代早期。到 1986 年，他已經(jīng)在該領(lǐng)域取得了極大的進(jìn)展：盡管最初的網(wǎng)絡(luò)僅由幾層負(fù)責(zé)輸入與輸出的神經(jīng)元層構(gòu)成，但辛頓和同事們還是提出了更高級(jí)的多層網(wǎng)絡(luò)技術(shù)。然而，計(jì)算能力和數(shù)據(jù)容量趕上并利用好深度架構(gòu)卻花費(fèi)了 26 年的時(shí)間。

2012 年，辛頓因在深度學(xué)習(xí)領(lǐng)域取得突破而名利雙收，他與兩名學(xué)生一起開發(fā)了一種多層神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)可被訓(xùn)練識(shí)別大型圖像數(shù)據(jù)集中的物體。

神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)了去反復(fù)提升分類以及識(shí)別各種物體的方法 —— 例如，螨蟲、蘑菇、小型摩托車以及馬達(dá)加斯加貓。該系統(tǒng)表現(xiàn)出了出乎意料的精準(zhǔn)度。

深度學(xué)習(xí)引發(fā)了最新的人工智能革命，并改變了整個(gè)計(jì)算機(jī)視覺領(lǐng)域。辛頓認(rèn)為，深度學(xué)習(xí)幾乎可以完全復(fù)制人類的智能。

盡管該領(lǐng)域取得了較快的發(fā)展，但重大挑戰(zhàn)依然存在。在面對(duì)陌生的數(shù)據(jù)集或環(huán)境時(shí)，神經(jīng)網(wǎng)絡(luò)會(huì)顯得相對(duì)脆弱和不夠靈活。

自動(dòng)駕駛汽車和文本語言生成器讓人印象深刻，但它們也會(huì)出錯(cuò)。人工智能視覺系統(tǒng)也會(huì)犯糊涂：系統(tǒng)可以從側(cè)方視角識(shí)別出咖啡杯，但如果沒有經(jīng)過訓(xùn)練，就無法從俯視視角認(rèn)出它；再加上一些像素的變換，熊貓可能會(huì)被錯(cuò)認(rèn)成鴕鳥，甚至是校車。

GLOM 解決了視覺感知系統(tǒng)領(lǐng)域的兩個(gè)重大難題：從物體以及它們的自然部分角度認(rèn)識(shí)整個(gè)場景，以及從新的視角認(rèn)識(shí)事物（GLOM 側(cè)重于視覺，但辛頓希望它還能夠應(yīng)用于語言領(lǐng)域）。

拿辛頓的臉作為例子，疲憊但充滿活力的雙眼、嘴、耳朵以及顯眼的鼻子，都籠罩在較為干凈的灰色中。從顯眼的鼻子可以看出，即使第一次見到辛頓的照片，也可以輕易地認(rèn)出他。

在辛頓看來，這兩個(gè)因素 —— 部分與整體的關(guān)系以及視角 —— 對(duì)人類的視覺系統(tǒng)至關(guān)重要。他說：“如果 GLOM 能夠運(yùn)行的話，那么它將比現(xiàn)在的神經(jīng)網(wǎng)絡(luò)更像人類那樣去感知事物?！?/p>

然而，對(duì)于計(jì)算機(jī)來說，將部分融入整體是一個(gè)難題，因?yàn)橛袝r(shí)候部分的概念是模棱兩可的。一個(gè)圓圈可能是一只眼睛、一個(gè)甜甜圈或者一個(gè)車輪。

正如辛頓所解釋的那樣，第一代人工智能視覺系統(tǒng)主要通過部分與整體的幾何關(guān)系 —— 部分之間與部分與整體之間的空間方向 —— 來識(shí)別物體。

而第二代系統(tǒng)則依靠深度學(xué)習(xí) —— 使用神經(jīng)網(wǎng)絡(luò)訓(xùn)練大量的數(shù)據(jù)，辛頓在 GLOM 中將兩個(gè)方法各自的優(yōu)勢結(jié)合在了一起。

Robust.AI 創(chuàng)始人兼首席執(zhí)行官、對(duì)強(qiáng)烈依賴深度學(xué)習(xí)行為的知名批評(píng)家加里?馬庫斯表示，“這種謙遜讓我喜歡。”

馬庫斯對(duì)辛頓挑戰(zhàn)自我從而再次成名的意愿表示稱贊，并承認(rèn)這種方法并不太奏效。他說道，“這是一個(gè)勇敢的想法。而‘我正在嘗試使用創(chuàng)造性思維’的說法是一次非常好的糾正行為。”

GLOM 的架構(gòu)

辛頓在構(gòu)建 GLOM 時(shí)嘗試模擬一些人類在感知世界時(shí)所使用的心理捷徑，例如直覺策略或者啟發(fā)法。尼克?弗羅斯特是一名多倫多語言初創(chuàng)公司的計(jì)算機(jī)科學(xué)家，同時(shí)也與辛頓在谷歌大腦共事。

弗羅斯特表示，“GLOM 以及杰弗里的大部分工作都在研究人類所擁有的啟發(fā)法，并構(gòu)建可以學(xué)習(xí)啟發(fā)法的神經(jīng)網(wǎng)絡(luò)，之后再證明神經(jīng)網(wǎng)絡(luò)更加適合視覺分析?！?/p>

通過視覺感知，一種策略是分析一個(gè)物體的各個(gè)部分 —— 例如不同的面部特征，進(jìn)而了解整體。如果你看到一個(gè)特定的鼻子，那么你也許會(huì)認(rèn)出它出自辛頓的臉，這是一個(gè)部分到整體的層次結(jié)構(gòu)。

為了構(gòu)建一個(gè)更好的視覺系統(tǒng)，辛頓表示，“我有很強(qiáng)的直覺，我們需要用到部分到整體的層次結(jié)構(gòu)?！?人類的大腦通過構(gòu)建 “解析樹” 來理解部分到整體的構(gòu)成。

解析樹是一種分支圖，表明了整體、部分以及次級(jí)部分之間的層次關(guān)系。臉位于解析樹的最頂端，而眼睛、鼻子、耳朵以及嘴則位于下面的分支中。

辛頓利用 GLOM 實(shí)現(xiàn)的主要目標(biāo)之一是在神經(jīng)網(wǎng)絡(luò)中再現(xiàn)解析樹，這一特征將使 GLOM 與以往的神經(jīng)網(wǎng)絡(luò)區(qū)別開來。從技術(shù)層面來看，構(gòu)建該系統(tǒng)的難度較大。

弗羅斯特表示，“難以實(shí)現(xiàn)的原因在于，每個(gè)人都會(huì)以獨(dú)特的解析樹來解析每個(gè)圖像，而我們希望神經(jīng)網(wǎng)絡(luò)也做到這一點(diǎn)。對(duì)于系統(tǒng)看到的每一個(gè)新圖像，我們很難去使用神經(jīng)網(wǎng)絡(luò) —— 新結(jié)構(gòu) —— 解析樹這樣的靜態(tài)結(jié)構(gòu)?！?/p>

辛頓進(jìn)行了各種各樣的嘗試，GLOM 是他在 2017 年所進(jìn)行的嘗試的修正版本，同時(shí)還結(jié)合了該領(lǐng)域內(nèi)其它的相關(guān)先進(jìn)技術(shù)。

構(gòu)想 GLOM 架構(gòu)的方法一般是這樣的：感興趣的圖片（比方說，辛頓面部的照片）會(huì)被網(wǎng)格分割開來。網(wǎng)格上的區(qū)域代表著圖像上的 “位置”—— 這個(gè)位置可能包括了虹膜，而另一個(gè)位置可能包含了鼻尖。

網(wǎng)絡(luò)中的每個(gè)位置大約有五層，或者說五級(jí)。系統(tǒng)會(huì)逐層進(jìn)行預(yù)測，并利用向量代表內(nèi)容或者信息。在靠近低層的地方，向量代表著預(yù)測的鼻尖的位置：“我是鼻子的一部分！” 在接下來的層級(jí)中，通過構(gòu)建更加合乎邏輯的視覺表現(xiàn)，向量可能會(huì)預(yù)測：“我是側(cè)臉圖像中的一部分！”

然而，接下來問題出現(xiàn)了：同一層級(jí)中相鄰的向量會(huì)認(rèn)同嗎？當(dāng)達(dá)成一致時(shí)，向量會(huì)指向同一個(gè)方向：“是的，我們都屬于同一個(gè)鼻子?！?或者是指向之后的解析樹?！笆堑模覀兌紝儆谕粡埬??！?/p>

在尋求物體本質(zhì)共識(shí)的過程中 —— 有關(guān)物體最終的精確定義，GLOM 的向量會(huì)反復(fù)地、逐一地點(diǎn)并逐層地與旁邊相鄰的向量，以及上層或下層的已經(jīng)做出預(yù)測的向量進(jìn)行平均分配。

然而，辛頓表示，網(wǎng)絡(luò)并不會(huì)與附近的向量 “隨意均分”。這是有選擇性的平均分配，相鄰的預(yù)測顯示出了相似性。

他還說道，“它在美國非常有名，通常被稱為回聲室效應(yīng)。你只會(huì)接受和你達(dá)成一致的人的觀點(diǎn)。這樣，一個(gè)回聲室就形成了，里面所有人都持有著相同的觀點(diǎn)。事實(shí)上，GLOM 積極地使用了這種現(xiàn)象?！?辛頓系統(tǒng)中類似的現(xiàn)象就是那些 “共識(shí)島嶼”。

弗羅斯特表示，“設(shè)想一群人在一個(gè)房間中大聲討論著有些許不同的相似觀點(diǎn)。” 或者把他們想成大致指向同一個(gè)方向的向量?！耙欢螘r(shí)間之后，所有的想法都會(huì)匯聚成為一個(gè)想法。他們會(huì)覺得這個(gè)想法的影響力越來越強(qiáng)大，因?yàn)樵撓敕ㄒ呀?jīng)得到了身邊人的證實(shí)?！?這就是 GLOM 向量加強(qiáng)和放大針對(duì)一個(gè)圖像的協(xié)同預(yù)測的方法。

GLOM 利用這些共識(shí)向量島嶼來達(dá)成神經(jīng)網(wǎng)絡(luò)中解析樹的工作方式，盡管最近一些神經(jīng)網(wǎng)絡(luò)使用向量間的共識(shí)來進(jìn)行激活，但 GLOM 使用共識(shí)的目的卻是為了呈現(xiàn)結(jié)果 —— 在網(wǎng)絡(luò)中構(gòu)建出事物的表現(xiàn)形式。

例如，當(dāng)多個(gè)向量都認(rèn)同它們是鼻子的一部分時(shí)，小規(guī)模的認(rèn)同向量會(huì)共同表示網(wǎng)絡(luò)中面部解析樹的鼻子。另一個(gè)較小的認(rèn)同向量集合可能代表著解析樹中的嘴，而位于解析樹頂端的大型集合則可能代表著一個(gè)新的結(jié)果 —— 整體圖像是辛頓的臉。

辛頓解釋說，“解析樹在這里的呈現(xiàn)方式是：物體層級(jí)表現(xiàn)為大型島嶼，而物體的各個(gè)部分是體積較小的島嶼，次級(jí)部分則為更小的島嶼，如此向下。”

蒙特利爾大學(xué)計(jì)算機(jī)科學(xué)家約書亞?本吉奧是辛頓的老友和同事，本吉奧表示，如果 GLOM 能夠解決在神經(jīng)網(wǎng)絡(luò)中表現(xiàn)解析樹的工程學(xué)挑戰(zhàn)，那么這將成為一個(gè)偉大的成就，它對(duì)于讓神經(jīng)網(wǎng)絡(luò)正常工作至關(guān)重要。

他還說道，“杰弗里在他的生涯中做出過許多次意義非凡的預(yù)測，其中很多都得到了驗(yàn)證。因此，我會(huì)對(duì)這些預(yù)測保持關(guān)注，尤其是在杰弗里胸有成竹的時(shí)候，就像他現(xiàn)在對(duì) GLOM 的感覺?！?/p>

辛頓堅(jiān)定的態(tài)度不僅僅來自于對(duì)回聲室效應(yīng)的類比，同時(shí)還來自于對(duì)數(shù)學(xué)以及生物學(xué)的類比，這些都給 GLOM 新的工程學(xué)設(shè)計(jì)決策過程帶來了啟發(fā)和證明。

麥克馬斯特大學(xué)計(jì)算認(rèn)知神經(jīng)學(xué)家蘇?貝克是辛頓的學(xué)生，貝克說道，“杰弗里是一個(gè)極不尋常的思想家，他能夠利用復(fù)雜的數(shù)學(xué)概念，并將生物學(xué)理論融入其中，從而發(fā)展自己的理論。僅僅局限于數(shù)學(xué)理論或者神經(jīng)生物學(xué)理論研究的研究人員，很難解開人機(jī)學(xué)習(xí)與思考方式原理這一極具挑戰(zhàn)性的難題?！?/p>

將哲學(xué)融入工程學(xué)

到目前為止，特別是在那些世界著名的回聲室中，辛頓的新觀點(diǎn)被廣泛接受。他說道，“在推特上，我得到了很多贊?！盰ouTube 上的教程還聲稱保留 “MeGLOMania” 一次的所有權(quán)。

辛頓是第一個(gè)承認(rèn)目前的 GLOM 略帶有一點(diǎn)哲學(xué)沉思的人，在轉(zhuǎn)到實(shí)驗(yàn)心理學(xué)專業(yè)之前，他讀過一年哲學(xué)本科課程。

其表示：“如果一個(gè)想法在哲學(xué)上聽起來不錯(cuò)，那么它確實(shí)是不錯(cuò)。聽起來像是垃圾的哲學(xué)觀點(diǎn)，怎么會(huì)變?yōu)楝F(xiàn)實(shí)呢？以哲學(xué)觀點(diǎn)來衡量，它是無法通過這一標(biāo)準(zhǔn)的?！?/p>

他還表示，相比之下，“很多科學(xué)上的東西聽起來完全就是垃圾”，但它們卻表現(xiàn)得很好 —— 例如，神經(jīng)網(wǎng)絡(luò)。

GLOM 的設(shè)計(jì)聽起來在哲學(xué)上很合理。但它會(huì)成功嗎？

克里斯?威廉姆斯是一名來自愛丁堡大學(xué)信息科學(xué)學(xué)院的機(jī)器學(xué)習(xí)教授，威廉姆斯希望 GLOM 會(huì)帶來一系列偉大的創(chuàng)新。

然而，他表示，“能夠?qū)⑷斯ぶ悄芘c哲學(xué)區(qū)分開來的東西是，我們可以使用計(jì)算機(jī)來驗(yàn)證這些理論。” 通過這些實(shí)驗(yàn)，找出想法中的缺陷或是將它們修復(fù)是不可能的。他還說：“盡管我相信這一研究很有希望，但在目前看來，我并不認(rèn)為我們有足夠多的證據(jù)來評(píng)估一個(gè)想法的真實(shí)重要性。”

在多倫多的谷歌研究機(jī)構(gòu)，辛頓一些同事針對(duì) GLOM 的實(shí)驗(yàn)正處于早期階段，使用了新型神經(jīng)網(wǎng)絡(luò)架構(gòu)的軟件工程師勞拉?卡普，正在利用計(jì)算機(jī)模擬技術(shù)來測試 GLOM 是否可以在理解物體部分與整體的概念時(shí)，產(chǎn)生辛頓所說的共識(shí)島嶼，哪怕是在輸入的部分充滿歧義的情況下。

在實(shí)驗(yàn)中，這些部分是 10 個(gè)大小不同的橢圓形，它們既可以形成一張臉又能夠形成一只羊。

卡普說道，隨機(jī)輸入一個(gè)或另一個(gè)橢圓，模型就可以做出預(yù)測，“對(duì)橢圓是否屬于人臉或羊、是否是羊腿或者羊頭進(jìn)行處理?！?即使遇到任何干擾，模型也可以進(jìn)行自我修正。

下一步就是要建立一個(gè)基準(zhǔn)，用于指示標(biāo)準(zhǔn)的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)是否會(huì)被這種任務(wù)所迷惑。到目前為止，GLOM 受到了嚴(yán)格的監(jiān)督 —— 卡普生成了一些數(shù)據(jù)并將它們打上標(biāo)記，從而促使模型在長時(shí)間內(nèi)進(jìn)行修正以達(dá)到正確的預(yù)測結(jié)果。辛頓表示，未經(jīng)監(jiān)督的版本叫做 GLUM——“它就是一個(gè)笑話。”

在這種初始狀態(tài)下，下任何重要結(jié)論都為時(shí)尚早?？ㄆ照诘却鄶?shù)據(jù)的出現(xiàn)。不過，辛頓已經(jīng)給業(yè)界留下了深刻的印象。

他說：“GLOM 的簡便版本可以觀察 10 個(gè)橢圓，并且還可以根據(jù)橢圓之間的空間關(guān)系識(shí)別出一張臉和一只羊。這是一個(gè)具有迷惑性的問題，因?yàn)閺膯蝹€(gè)橢圓中看不出它屬于哪個(gè)物體，也看不出它屬于物體的哪個(gè)部分。”

總的來說，辛頓對(duì)反饋結(jié)果感到高興。他說道，“我只是想把它上傳到社區(qū)里，這樣每個(gè)感興趣的人都可以進(jìn)行嘗試，或者將這些想法進(jìn)行一些次級(jí)組合。之后，哲學(xué)才會(huì)轉(zhuǎn)化為科學(xué)。”

原文標(biāo)題：“深度學(xué)習(xí)之父”Geoffrey Hinton：深度學(xué)習(xí)幾乎可以完全復(fù)制人類的智能

文章出處：【微信公眾號(hào)：DeepTech深科技】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq