在計算機科學中，沒有一門學科比深度學習更能從人類的記憶系統(tǒng)中受益。

自早期以來，在深度學習領(lǐng)域，人們就一直致力于對模擬人類記憶的一些關(guān)鍵特征系統(tǒng)進行建模。然而，想要為機器系統(tǒng)建立起類人的記憶結(jié)構(gòu)，并非易事。

近日，區(qū)塊鏈分析公司IntoTheBlock CEO、Invector Labs首席科學家、哥倫比亞大學客座教授Jesus Rpdriguez發(fā)表文章，談?wù)搹纳窠?jīng)科學和認知心理學的角度理解機器的記憶建模。

他認為，神經(jīng)科學的記憶理論為我們理解智能存儲體系結(jié)構(gòu)的一些主要組成部分提供了基礎(chǔ)，同時，人類的記憶不僅僅是大腦物理結(jié)構(gòu)的副產(chǎn)品，而且還深受周圍環(huán)境的影響。

關(guān)記憶的神經(jīng)科學理論：綁定問題

現(xiàn)代神經(jīng)科學的記憶理論涉及大腦的三個基本區(qū)域：丘腦（the thalamus）、前額葉（the prefrontal）、皮層和海馬體（cortex ＆the hippocampus）。

丘腦可以被認為是一個路由器，它負責處理感官信息（視覺、觸覺、語言等），并將其傳遞到大腦的感覺皮層進行評估。經(jīng)過評估的信息最終到達前額葉皮層，進入我們的意識中，形成短期記憶。同時，這些信息也被傳送到海馬體，海馬體將不同的片段分布到不同的皮質(zhì)中，形成長期記憶。

而當今神經(jīng)科學面臨的最大挑戰(zhàn)之一就是，我們?nèi)绾螌⒎稚⒌挠洃浰槠匦陆M合起來，使其在人們回憶時構(gòu)成連貫的記憶。這就是“綁定問題（the binding problem）”的主要內(nèi)容。

假設(shè)您曾經(jīng)歷一場考試，那么關(guān)于這一事件的記憶將被分解并儲存在大腦的不同區(qū)域中。然而，只需要小小的提示，例如聽到考試提示音或見到當時的同伴，您就能回憶起關(guān)于這堂考試的各種記憶。

這是如何做到的呢？

一種理論認為，記憶碎片是由不斷流過大腦的電磁振動聯(lián)系在一起的。這些振動在記憶碎片之間創(chuàng)造了一個時間（而非空間）聯(lián)系，允許它們同時被激活，因而最后成為凝聚一體的記憶。

關(guān)記憶的認知心理學理論：啟動與聯(lián)想

此外，為了解釋綁定問題，我們還需要一些超越大腦的結(jié)構(gòu)，以評估能夠影響記憶方式的各種心理背景因素。在認知心理學中，試圖解釋聯(lián)想記憶本質(zhì)的主要理論之一被稱為啟動效應(yīng)（the Priming Effect）。

設(shè)想一下，當您聽到“考試”這個詞的時候，首先想到的是什么？可能是“書籍”，可能是某個日期，甚至可能是“興奮感”（手動狗頭）。由此可見，僅僅是一個簡單的詞語，就可以喚起人的一系列復雜情緒甚至是其他相關(guān)的詞語。而這個過程實際就是：我們正在有效地想起相關(guān)的事物，或者說，我們正在“啟動”其他記憶。

這一實驗中最引人注目的其實是，人們根據(jù)提示檢索出相關(guān)單詞或記憶的速度有多快。在心理學中，這種現(xiàn)象也被稱為聯(lián)想一致化（Associatively Coherent）。

而且，啟動效應(yīng)不僅適用于詞匯，還適用于情緒、身體反應(yīng)、本能等認知現(xiàn)象。啟動效應(yīng)告訴我們，記憶不僅是由主動聯(lián)想方法來回憶的，而且是由“被啟動的想法”來回憶的。

認知心理學的另一個重要內(nèi)容則是我們回憶起特定事件的頻率。

例如，如果我問你“在過去的十年里參加了多少場考試？” 如果你剛好最近就參加過一次考試或者特別快地得出答案者，那么這個數(shù)字很能被高估。相反，如果你并不喜歡上一次的考試經(jīng)歷，那么這個數(shù)字可能被低估。這個認知過程被稱為可得性捷思法（the Availability Heuristic），它解釋了我們的記憶是如何被快速獲得的答案所深深影響。

深度學習的記憶機制：神經(jīng)圖靈機

那么深度學習算法具體該如何模仿上述這些理論從而形成類人記憶呢？答案其實不難得出：

a） 把一個內(nèi)存分成若干段，不同片段描述不同的知識領(lǐng)域

b） 將分散的片段重新組合成連貫的信息結(jié)構(gòu)

c） 根據(jù)上下文和不直接相關(guān)的信息以及外部數(shù)據(jù)引用來檢索數(shù)據(jù)

同時，為了了解深度學習算法中的記憶相關(guān)性，我們應(yīng)該區(qū)分內(nèi)隱記憶implicit memory和外顯記憶Explicit Memory。隱性知識通常是潛意識的，因此很難解釋，例如識別圖片中的猴子或口語句子中的語氣和情緒。顯性知識則很容易以陳述性方式建模。例如，“猴子是一種動物”或“某些形容詞具有攻擊性”，這都是顯性知識的典型例子。

再想象一下傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它們往往有數(shù)百萬個相互連接的節(jié)點，卻缺乏一個工作記憶系統(tǒng)，用來存儲已推斷出的知識片段及其相互關(guān)系，以便從網(wǎng)絡(luò)的不同層加入新信息。

而在這一領(lǐng)域，最流行的技術(shù)之一是神經(jīng)圖靈機（Neural Turing Machines，NTM），由DeepMind于2014年引入。NTM也屬于深層神經(jīng)網(wǎng)絡(luò)， 但是它擴展出一個具有存儲完整向量的記憶單元，并使用直觀推斷（heuristics）來讀寫信息。

例如，NTM實現(xiàn)了一種稱為基于內(nèi)容的尋址機制，它可以根據(jù)輸入信息來檢索向量，這與人類基于文字經(jīng)驗來回憶相關(guān)記憶的方式相似。

此外，NTM還包括一種機制，能夠根據(jù)內(nèi)存單元被尋址的頻率來增加其顯著性。

NTM并不是在深度學習系統(tǒng)中實現(xiàn)記憶能力的唯一技術(shù)，但它無疑是最受歡迎的技術(shù)之一。

模仿人類記憶的生理和心理功能并不是一件容易的事，這已經(jīng)成為深度學習領(lǐng)域中最重要的研究領(lǐng)域之一。
責編AJX