通向AGI（通用人工智能）的道路上，始終有一道巨大的鴻溝橫亙?cè)谘芯空叩拿媲埃蔷褪侨斯ぶ悄軐?duì)于因果關(guān)系的理解。因果關(guān)系的推斷，首先對(duì)于人類本身就是一個(gè)極為復(fù)雜的問題。無論是必然性推理還是或然性推理，人類總能在復(fù)雜的事物關(guān)系中建立精妙地因果推論。且無論對(duì)錯(cuò)，這種能力都讓人類能力超群，成為站在生物鏈頂端的那顆孤星。

想象一下，假如你帶著女兒去參加一個(gè)夏令營(yíng)，在那里你遇到一個(gè)成年女人帶著一個(gè)小女孩。你很可能會(huì)斷定那個(gè)女人是小女孩的母親。過了幾個(gè)星期，你又在你住的附近的一家咖啡店里，你再次看到這個(gè)小女孩，但這次她是由一個(gè)成年男人帶著?；谶@兩段觀察到的事實(shí)，你基本可以推斷，這個(gè)男人和女人有一定的關(guān)系。但是否是夫妻關(guān)系或者別的關(guān)系，就會(huì)涉及到更多信息，諸如男人和女人的年齡、衣著品味和小孩子的親密程度等等信息。

在這一場(chǎng)景中，我們可以基于在較大跨度的時(shí)間、地點(diǎn)中的發(fā)生的事實(shí)關(guān)系進(jìn)行相關(guān)的因果推論。我們把這種在復(fù)雜的事物關(guān)系中的這種推論稱為“長(zhǎng)距離推理”。

AI能否掌握這一能力？對(duì)于目前熟知的一些AI技術(shù)，通過數(shù)據(jù)庫(kù)對(duì)他們進(jìn)行人臉識(shí)別很容易；如果再給定他們相關(guān)身份的知識(shí)圖譜，AI也可以認(rèn)出他們。但如果僅給出以上事實(shí)場(chǎng)景（對(duì)于AI來說是單獨(dú)的圖像），而不提供任何其他信息，AI能否從圖像描述的事實(shí)中建立起因果推理么？

這一次，DeepMind的最新研究中為AI進(jìn)行 “長(zhǎng)距離推理”提出了一種解決方案。近日，DeepMind公開發(fā)表了一篇為ICLR 2020會(huì)議提交的論文《MEMO：一種用于情景記憶靈活組合的深度網(wǎng)絡(luò)》。論文主要提出了一種可以增強(qiáng)現(xiàn)有深度神經(jīng)網(wǎng)絡(luò)架構(gòu)的推理能力的新架構(gòu)——MEMO。MEMO具有長(zhǎng)距離推理的能力，即能夠發(fā)現(xiàn)在記憶中的多個(gè)事實(shí)之間的長(zhǎng)距離的關(guān)系。

那么MEMO的實(shí)際表現(xiàn)如何？MEMO這一新的深度神經(jīng)網(wǎng)絡(luò)對(duì)于AI發(fā)展的意義是什么？這些問題仍然需要我們思考和解答。

為什么長(zhǎng)距離推理如此重要？

為了討論長(zhǎng)距離推理的重要性，首先我們需要知道感知、記憶、命名、事實(shí)、判斷以及推理、行動(dòng)的內(nèi)涵和關(guān)系。歷史學(xué)家尤瓦爾·赫拉利在《人類簡(jiǎn)史》中提到的“人的虛構(gòu)能力”也就是“人可以想象不存在事物的能力”成為智人戰(zhàn)勝其他物種的決定因素。但他仍然把復(fù)雜問題的解釋簡(jiǎn)單化了。

只要你認(rèn)真審視自己的日活生活，我們幾乎都在按照上述認(rèn)知能力在思考和行動(dòng)。我們通過感官認(rèn)知外界形成感知，這時(shí)只是一些時(shí)空中的感性要素；然后由我們大腦區(qū)分后對(duì)其中特別注意的要素（其他大量信息淪為認(rèn)識(shí)的背景）進(jìn)行命名，從而形成一個(gè)事實(shí)；再通過大腦的聯(lián)接能力，把命名通過邏輯詞連接起來形成判斷；然后，通過過去經(jīng)驗(yàn)的總結(jié)和對(duì)未來的想象，我們形成相應(yīng)的推理，最后據(jù)此形成計(jì)劃和實(shí)施步驟，最后形成行動(dòng)。當(dāng)然，這一系列過程都幾乎發(fā)生在認(rèn)知的短暫瞬間，以致于很多人忽視認(rèn)知的復(fù)雜性。

我們可以舉一個(gè)形象的例子。就在寫作此文的同時(shí)，筆者的二歲半的女兒已經(jīng)在客廳拿著塑料的噴壺和鏟子對(duì)著空氣做出舀水、噴水的動(dòng)作，同時(shí)還喊出“水、濕了、擦擦”的單詞。兩歲半的女兒就如同人類的童年時(shí)代，她學(xué)會(huì)觀察和區(qū)分了身邊的物品，然后又學(xué)會(huì)給不同的事物命名（杯子、鞋、壺），然后又能理解事物之間的關(guān)系做出因果推斷（壺可以用來盛水、鏟子可以用來搬運(yùn)東西）；并且最厲害的是，她還能虛構(gòu)眼前不存在的事物，就如同孩子在想象用鏟子給噴壺舀“水”，又把“水”從噴壺里倒了出來，弄“濕了”地面或者她的鞋子。甚至于她還能“條件反射”地想起大人們?cè)磸?fù)強(qiáng)調(diào)“弄濕了東西要擦干凈”的訓(xùn)誡，試圖去找東西來擦拭根本不存在的“水”。

如果說許多動(dòng)物能夠制作和使用工具，而且使用起來比二歲小孩還熟練，但他們?nèi)匀粺o法完成人類小孩對(duì)于并未實(shí)際發(fā)生事情的想象的推理和計(jì)劃能力。這份獨(dú)屬于人類的天賦怎能不令我們驚奇和驕傲。

借用圖靈獎(jiǎng)得主朱迪亞·珀?duì)栐凇稙槭裁矗宏P(guān)于因果關(guān)系的新科學(xué)》對(duì)于人的三種不同層級(jí)的認(rèn)知能力的區(qū)分：觀察、行動(dòng)和想象（seeing、doing、imagining），我們?cè)偕钊胩接懴庐?dāng)前人工智能可以做哪些或者說還不能做哪些？

第一層是觀察能力，即觀察到事實(shí)A與事實(shí)B，隨后建立起事實(shí)A與事實(shí)B的判斷X，基于判斷X，會(huì)影響我們得出另外一個(gè)結(jié)論Y。比如哲學(xué)上經(jīng)典的三段論：我們觀察到一個(gè)人（事實(shí)A），人們都把他稱作蘇格拉底（事實(shí)B），我們得到“蘇格拉底是人”（判斷X）；我們還掌握了一條顛撲不破的真理：凡人皆有一死（判斷Y）；最后，我們得出：蘇格拉底會(huì)死（結(jié)論Z）。請(qǐng)不要小看這一能力，我們正是依靠強(qiáng)大的判斷能力形成經(jīng)驗(yàn)，讓人類從嚴(yán)酷的自然選擇中獲得勝利。

第二層是干預(yù)能力，即實(shí)施干預(yù)X或Y，會(huì)造成怎樣的結(jié)果Z。以上例子繼續(xù)假設(shè)，如果我們對(duì)“蘇格拉底是人”進(jìn)行干預(yù)，比如，當(dāng)時(shí)的人們將蘇格拉底神圣化為像耶穌一樣的人物，即使他確實(shí)是喝下毒藥而身亡，但因?yàn)橐呀?jīng)“從人變成了神”，所以，我們就可以得出“蘇格拉底沒有死”的結(jié)論。這一假設(shè)看似荒誕，正是由于這些能力，我們可以進(jìn)行育種、畜牧、開采，建立宗教、城邦和帝國(guó)組織等，人類文明短短幾百年對(duì)自然的干預(yù)已經(jīng)超過之前數(shù)百萬年的影響。

第三層是反事實(shí)的能力，涉及到人類的想象和反思能力。即如果判斷X或Y引起了結(jié)論Z，那么，如果X、Y沒有發(fā)生，那么結(jié)論Z也會(huì)變化。再假設(shè)，人類發(fā)明了時(shí)間機(jī)器且發(fā)明了長(zhǎng)生不死的藥物，那我們回到古希臘雅典的監(jiān)獄，將毒藥換成了長(zhǎng)生不死藥喂給了蘇格拉底，判斷Y被推翻，同樣改變了結(jié)論Z。正是這些更為夸張的想象，讓人類提出科學(xué)假說、建立像相對(duì)論、量子力學(xué)等等的知識(shí)系統(tǒng)，進(jìn)行文學(xué)藝術(shù)創(chuàng)造等非凡能力。

那么，目前人工智能處在模仿人類智能的哪個(gè)層級(jí)。如果你對(duì)人工智能有多少樂觀，那結(jié)論就會(huì)有多失望。目前即使是成果斐然的深度學(xué)習(xí)算法，仍然處在這三層認(rèn)知能力的第一層，其智慧的難度跟貓頭鷹觀察老鼠出沒與否的能力不相上下。

盡管機(jī)器學(xué)習(xí)尤其是深度學(xué)習(xí)算法在比如圖像識(shí)別、語(yǔ)音識(shí)別、無人駕駛、棋牌游戲?qū)?zhàn)等眾多領(lǐng)域可以超過人類，但其模式仍然是“由一系列觀察結(jié)果驅(qū)動(dòng)，致力于擬合出一個(gè)函數(shù)……深度神經(jīng)網(wǎng)絡(luò)只是為擬合函數(shù)的復(fù)雜性增加了更多的層次，但其擬合過程仍然由原始數(shù)據(jù)驅(qū)動(dòng)……處于因果關(guān)系之梯的任何運(yùn)行系統(tǒng)都不可避免地缺乏這種靈活性和適應(yīng)性?！?/p>

這意味著，機(jī)器學(xué)習(xí)及深度神經(jīng)網(wǎng)絡(luò)的算法，只是利用對(duì)于輸入數(shù)據(jù)的相關(guān)性關(guān)系的擬合，而不理解因果關(guān)系，那么人工智能就不能從第一層認(rèn)知上升到第二層級(jí)，無法回答有關(guān)干預(yù)的種種問題。

以上作為理解背景稍顯冗長(zhǎng)。但MEMO所完成的長(zhǎng)距離推理能力，在我們所述的三個(gè)認(rèn)知層次上有了一個(gè)顯著性的位置。MEMO成為深度神經(jīng)網(wǎng)絡(luò)開始具備長(zhǎng)距離因果推理能力的一次成功嘗試，也許可以視作人工智能從第一層級(jí)向第二層級(jí)的躍遷上搭建了一個(gè)更好的階梯。

MEMO算法的創(chuàng)新之處

首先，MEMO參考了神經(jīng)科學(xué)中的“聯(lián)想推理”的能力，他們從最新的對(duì)海馬體的研究中獲得了方法靈感。海馬體通過一種被稱為“模式分離”的過程中進(jìn)行獨(dú)立地記憶儲(chǔ)存，以最大限度地減少記憶之間的干擾；同時(shí)最新的研究又指出，這些被獨(dú)立存儲(chǔ)記憶通過循環(huán)機(jī)制進(jìn)行檢索以實(shí)現(xiàn)整合，從而支持眾多單個(gè)經(jīng)驗(yàn)的靈活組合，以推斷其未曾觀察過的關(guān)系。最終由此而形成推理。

DeepMind 研究人員稱，他們正是從這一神經(jīng)科學(xué)模型的研究中獲得啟發(fā)，來研究和增強(qiáng)機(jī)器學(xué)習(xí)模型中的推理能力。

MEMO 相較于之前的推理系統(tǒng)，引入了兩個(gè)新的組件：第一它引入了存儲(chǔ)在外部記憶中的事實(shí)與構(gòu)成外部記憶中這些事實(shí)的項(xiàng)之間的分離；第二個(gè)它利用自適應(yīng)檢索機(jī)制，在產(chǎn)生答案之前允許有一些可變數(shù)量的“記憶躍點(diǎn)”。

進(jìn)一步解釋下。第一個(gè)組件：MEMO采取了基于EMN（End-to-End Memory Networks，端到端記憶網(wǎng)絡(luò)）的呈現(xiàn)外部記憶表征的基本結(jié)構(gòu)，但其新結(jié)構(gòu)中加入了通過參照海馬體機(jī)制設(shè)計(jì)的新的任務(wù)PAI（Paired Associative Inference，聯(lián)想配對(duì)推理），它允許對(duì)記憶中的單個(gè)元素進(jìn)行靈活的加權(quán)，以增強(qiáng)推理的能力。

第二個(gè)組件：在運(yùn)行中，還需要解決計(jì)算時(shí)間過長(zhǎng)的問題。在標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)中，計(jì)算量是基于輸入的函數(shù)的大小而增長(zhǎng)，而MEMO更希望讓計(jì)算時(shí)長(zhǎng)跟任務(wù)的復(fù)雜度相關(guān)。為此，它從人類聯(lián)想記憶的模式中引入了一種被稱為“REMERGE（重現(xiàn)）”的模型。在該模型中，從記憶中檢索到的內(nèi)容作為新的查詢被重新循環(huán)，然后利用在重新循環(huán)過程中的不同時(shí)間步驟檢索到的內(nèi)容之間的差異來計(jì)算網(wǎng)絡(luò)是否適應(yīng)在固定點(diǎn)上。MEMO可以采用一種“終止策略”，通過網(wǎng)絡(luò)輸出一個(gè)動(dòng)作（在強(qiáng)化學(xué)習(xí)的意義上），表示它是否希望繼續(xù)計(jì)算和查詢其記憶，或者它是否能夠回答給定的任務(wù)。并在強(qiáng)化學(xué)習(xí)中引入一個(gè)新項(xiàng)——二進(jìn)制停止隨機(jī)變量（the binary halting random variable），以最小化預(yù)期的計(jì)算步驟。

基于這兩個(gè)新組件的加入，MEMO在下面三個(gè)經(jīng)驗(yàn)性結(jié)果的任務(wù)測(cè)試中取得顯著的優(yōu)勢(shì)成績(jī)，從而也證明了這兩個(gè)組件的有效性。

三組結(jié)果驗(yàn)證：MEMO與另外兩種內(nèi)存增強(qiáng)架構(gòu)：EMN和DNC（the Differential Neural Computer，微分神經(jīng)網(wǎng)絡(luò)）以及UT（Universal Transformer，普遍轉(zhuǎn)換器，bAbI任務(wù)套件中的最新模型）進(jìn)行了比較。

1、關(guān)于聯(lián)想配對(duì)推理：在較小集合的推理查詢上，MEMO可以和DNC一樣達(dá)到最高的準(zhǔn)確度，而EMN即使有4或10跳，也不能達(dá)到相同的準(zhǔn)確度，而且UT也不能準(zhǔn)確地解決這個(gè)推理測(cè)試。而對(duì)于較長(zhǎng)的序列結(jié)合（即下面的長(zhǎng)度4和5），MEMO是唯一成功地回答最復(fù)雜推理查詢的架構(gòu)。

2、對(duì)于隨機(jī)生成圖形的最短路徑的測(cè)試：表 2 顯示與查找最短的兩個(gè)節(jié)點(diǎn)之間的路徑。在只有10個(gè)Nodes的短路徑上，DNC、UT和MEMO具有完美的預(yù)測(cè)時(shí)中間最短路徑節(jié)點(diǎn)的準(zhǔn)確性。在20個(gè)Nodes的長(zhǎng)路徑上，MEMO 在具有高度連通性的更復(fù)雜的圖形中優(yōu)于 DNC，在最短路徑中預(yù)測(cè)兩個(gè)節(jié)點(diǎn)時(shí)，效果更超過 20%。

3、關(guān)于BABI任務(wù)的問答測(cè)試上：在10k訓(xùn)練集中，將 MEMO 與兩個(gè)基準(zhǔn)模型以及UT模型進(jìn)行了比較，結(jié)果顯示，MEMO唯一能夠在較長(zhǎng)的序列上成功回答最復(fù)雜的推理查詢的體系結(jié)構(gòu)。

顯然，MEMO在基于記憶表征的長(zhǎng)距離推理的改進(jìn)非常明顯，而其創(chuàng)新之處在于它采用了神經(jīng)科學(xué)所應(yīng)用于測(cè)試推理的聯(lián)想配對(duì)推理方法的新型結(jié)構(gòu)。這也從反面證實(shí)了神經(jīng)科學(xué)中關(guān)于記憶推理的假設(shè)：記憶中事實(shí)元素的分離儲(chǔ)存與強(qiáng)大的注意力機(jī)制組合，在通過對(duì)記憶存儲(chǔ)中的單個(gè)元素的靈活組合來實(shí)現(xiàn)推理。

MEMO：通往AGI的正途？

從一開始，AGI就是DeepMind誕生之初的目標(biāo)。DeepMind創(chuàng)始人德米斯·哈薩比斯很早就采用了神經(jīng)科學(xué)的方法來研究AGI。

早在2010年8月，DeepMind創(chuàng)立前的三個(gè)月，哈薩比斯經(jīng)在當(dāng)年的奇點(diǎn)峰會(huì)上發(fā)表了一個(gè)題為“一種通過系統(tǒng)神經(jīng)科學(xué)方法構(gòu)建AGI” （A Systems Neurosciences Approach To Building AGI）的演講。

在演講中，他回應(yīng)了之前兩種接近AGI的方向：一是通過象征性AI，即通過描述和編程體系來構(gòu)造人類大腦的思考體系，其失敗之處就是操作難度太大，難以真實(shí)描述大腦的結(jié)構(gòu)。二是通過數(shù)字形式復(fù)制大腦的物理網(wǎng)絡(luò)結(jié)構(gòu)，這一方法很有意義，但這一任務(wù)重點(diǎn)放在還原大腦的物理功能卻不能解釋人類智慧的運(yùn)行規(guī)則。

經(jīng)過比較，哈薩比斯采取了折中路線：AGI應(yīng)該從大腦處理信息的宏觀方法中得到啟發(fā)，而不是從其物理結(jié)構(gòu)或者說大腦的特定腦區(qū)功能去尋找方法。簡(jiǎn)言之，AGI應(yīng)專注于理解人腦的軟件功能，而非硬件功能。通過磁共振成像（FMRI）等新技術(shù)，使得人們可以觀察人類各種思維活動(dòng)時(shí)大腦內(nèi)部的活動(dòng)，從而可以理解其運(yùn)作機(jī)制。而AI研究應(yīng)當(dāng)效仿人類的大腦系統(tǒng)。

這奠定了DeepMind的研究思路，人工智能就應(yīng)該像人一樣學(xué)習(xí)和思考。這意味著，DeepMind堅(jiān)信，神經(jīng)科學(xué)研究所找到的“大腦算法”可以被神經(jīng)網(wǎng)絡(luò)所參照和使用。反過來，這套機(jī)制在神經(jīng)網(wǎng)絡(luò)機(jī)制上的成功實(shí)踐，又反過來促進(jìn)神經(jīng)科學(xué)的發(fā)展。

顯然，從MEMO的效果而言，模擬人腦神經(jīng)網(wǎng)絡(luò)機(jī)制的方法似乎可以作為通向AGI的一條通路，但這條路也絕不是坦途，比如眼前這道“因果關(guān)系推理”的巨大鴻溝。MEMO的提出，僅僅是在為跨越這道溝壑搭建出的一步重要的階梯。

在通向AGI的征途里，深度學(xué)習(xí)等技術(shù)還將持續(xù)進(jìn)化，它需要先沿著“因果關(guān)系”的這道鴻溝向下，深入到人類因果性認(rèn)知的各個(gè)低谷，比如跳躍式聯(lián)想、條件干預(yù)的因果預(yù)測(cè)、反事實(shí)推理等等，才有可能重新向上跨越鴻溝。

道阻且長(zhǎng)，AGI的黎明不會(huì)很快到來。但正因?yàn)镈eepMind這樣的AI研究機(jī)構(gòu)的努力，才能讓暗夜中探索的人們始終心懷火種。

責(zé)任編輯：Ct