人工神經(jīng)網(wǎng)絡(luò)是用計算機來模擬人類大腦的AI技術(shù)，這一方法取得了很大的成功，谷歌設(shè)計的“阿爾法狗”已經(jīng)在圍棋運動上終結(jié)了人類的統(tǒng)治。而在進一步拓展AI的應(yīng)用領(lǐng)域時，研究人員遇到了“前學(xué)后忘”的問題。MIT的專家發(fā)現(xiàn)，要解決這個問題，需要繼續(xù)向人類的大腦學(xué)習。

對當前最先進的深度神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，可以很快的讓AI學(xué)會處理許多復(fù)雜的任務(wù)。但是當人們給AI進行新任務(wù)的訓(xùn)練時，發(fā)現(xiàn)之前AI曾經(jīng)處理過的任務(wù)被迅速地忘掉了——學(xué)的有多快，忘的就有多快，這種痛苦大概每個輔導(dǎo)過孩子功課的家長都能體會。而一般的解決方法是把之前對AI的訓(xùn)練存儲起來，如果忘了就重新訓(xùn)練一下，但是這個辦法會導(dǎo)致AI所占用的運算和存儲資源暴增，開銷巨大，是不可持續(xù)的。

麻省理工大學(xué)阿默斯特分校和貝勒醫(yī)學(xué)院的人工智能（AI）專家在新發(fā)表的論文中，介紹了一種新的方法來解決AI的“災(zāi)難性遺忘”問題。他們是在分析和模仿人類學(xué)習和記憶機制的基礎(chǔ)上，開發(fā)了新的方法來讓AI能記住曾經(jīng)學(xué)會的東西。

與AI神經(jīng)網(wǎng)絡(luò)不同的是，人類可以在早期課程的基礎(chǔ)上不斷累積信息，人類的大腦用來保護這些重要記憶的機制是再現(xiàn)，或者說是重放代表這些記憶的神經(jīng)元活動模式。

作者之一的西格爾曼說，該團隊的主要見解在于“認識到大腦中的重放不會存儲數(shù)據(jù)”。相反，“大腦可以在更高、更抽象的層次上生成記憶的表示，而無需生成詳細的記憶?！?受此啟發(fā)，她和同事們創(chuàng)造了類似于大腦的人工回放，其中沒有存儲任何數(shù)據(jù)。相反，就像大腦一樣，網(wǎng)絡(luò)會生成以前所見事物的高級表示。 事實證明，“抽象的生成性大腦重放”非常有效，并且該團隊表明重放僅幾個生成的表示足以記住舊記憶，同時學(xué)習新記憶。生成性重放不僅可以防止災(zāi)難性的遺忘，而且還為系統(tǒng)學(xué)習提供了一種新的，更簡化的路徑，它還使系統(tǒng)可以將學(xué)習從一種情況推廣到另一種情況。 例如，如果讓具有生成性重放功能的AI首先學(xué)會將貓與狗分開，然后將熊與狐貍分開，那么它在沒有經(jīng)過專門培訓(xùn)的情況下也能區(qū)分貓和狐貍。而且，值得注意的是，系統(tǒng)學(xué)到的越多，學(xué)習新任務(wù)越好。 西格爾曼和同事認為：“我們提出了一種全新的，受大腦啟發(fā)的重放變體，其中重放由網(wǎng)絡(luò)自身的上下文調(diào)制反饋連接生成的內(nèi)部或隱藏表示形式。我們的方法可實現(xiàn)最新的性能在不存儲數(shù)據(jù)的情況下不斷學(xué)習處理新任務(wù)，它為大腦中的抽象水平重放提供了一種新穎的模型。”

有個關(guān)于教育的調(diào)侃這樣說：走出校門之后，大部分東西很快就忘記了，而最終留在大腦中的，就是你真正學(xué)到的東西。MIT開發(fā)的的這種機制像是讓AI自己總結(jié)了自己的“學(xué)習經(jīng)驗”，并將其應(yīng)用到新的任務(wù)當中。

參考文獻：

1.https://techxplore.com/news/2020-09-brain-memory-abilities-ai-experts.html 2.https://www.nature.com/articles/s41467-020-17866-2

責任編輯：xj

原文標題：克服人工智能的“災(zāi)難性遺忘”

文章出處：【微信公眾號：知社學(xué)術(shù)圈】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。