Ted Dabney（左一）和Pong游戲機(jī)

雅達(dá)利（Atari）公司的聯(lián)合創(chuàng)始人Ted 逝世?！把胚_(dá)利”這個(gè)名字，是人工智能歷史上一個(gè)不可忽視的關(guān)鍵詞。

那個(gè)花了250美元?jiǎng)?chuàng)辦Atari（雅達(dá)利）的人，Ted Dabney，上個(gè)月去世了。

Ted Dabney（全名SamuelF. "Ted"Dabney）可能沒有與他一起創(chuàng)辦雅達(dá)利的諾蘭·布什內(nèi)爾（Nolan Bushnell）出名，但當(dāng)年風(fēng)靡世界的經(jīng)典游戲Pong，就是出自Ted Dabney等人之手。

Pong開創(chuàng)了街機(jī)視頻游戲的歷史，也讓Atari成為一代游戲的巨人，甚至還吸引了喬布斯等人的加入。

更重要的是，Atari系列游戲不僅豐富了幾代人的童年生活，在計(jì)算機(jī)史上也功不可沒：DeepMind已經(jīng)能夠操作49款雅達(dá)利游戲，OpenAI強(qiáng)化學(xué)習(xí)游戲庫中也包含了大量的雅達(dá)利游戲。

Atari：AI發(fā)展史上的關(guān)鍵詞

“Atari”是AI發(fā)展史上一個(gè)不可繞過的關(guān)鍵詞。AI達(dá)到乃至超越人類水平的領(lǐng)域，最開始便來自雅達(dá)利。

Ted Dabney幫助發(fā)明的Atari游戲Pong！，是被AI攻克的游戲的?？?，你能在網(wǎng)上搜到很多構(gòu)建玩Pong！的AI的教程。

2013年12月，DeepMind宣布他們研發(fā)的AI玩Atari游戲Breakout（見下）超過了人類水平，這是DeepMind取得的首個(gè)突破之一。與Pong！類似，Breakout是一款單人的乒乓游戲，也即對著墻打乒乓。在Breakout當(dāng)中，人類玩家或者AI，用橫板（屏幕底部的紅色粗線條）左右移動(dòng)接住球（中間的紅點(diǎn)），并用這個(gè)球撞擊并消除屏幕上方像素構(gòu)成的“墻”，消除完畢后過關(guān)。

Breakout，最先被AI攻克的Atari游戲之一

Breakout的動(dòng)作簡單，而且能即時(shí)得到反饋，非常適于神經(jīng)網(wǎng)絡(luò)，也因此，DeepMind的AI玩Breakout的成績，是專業(yè)人類玩家能達(dá)到的最好成績的十倍以上。

Atari游戲，蒙特祖瑪?shù)膹?fù)仇（montezuma revenge）

而其他游戲就沒有那么簡單。在另一款A(yù)tari游戲“蒙特祖瑪?shù)膹?fù)仇”（見上）中，目標(biāo)是找到埋在充滿危險(xiǎn)機(jī)關(guān)的金字塔里的寶藏。要達(dá)到目標(biāo)，玩家必須達(dá)成許多個(gè)次級(jí)的小目標(biāo)，例如找到打開門的鑰匙。

這個(gè)游戲的反饋也不像“Breakout”那么即時(shí)，比如在一個(gè)地方找到的鑰匙，也有可能打開另一個(gè)地方的門。最終找到寶藏的獎(jiǎng)勵(lì)，是之前的數(shù)千次動(dòng)作的結(jié)果。這意味著網(wǎng)絡(luò)很難將原因和結(jié)果聯(lián)系起來。與玩“Breakout”的突出表現(xiàn)相反，神經(jīng)網(wǎng)絡(luò)目前在“蒙特祖瑪?shù)膹?fù)仇”游戲中進(jìn)展艱難。

DeepMind的啟示：智能應(yīng)該完全從經(jīng)驗(yàn)中學(xué)習(xí)

視頻游戲?qū)?AI 的作用并非只是作為現(xiàn)實(shí)世界的模擬。不同的游戲需要不同的技能，這一事實(shí)有助于研究人員理解智能問題。

不過，這又帶來了一個(gè)難題——神經(jīng)網(wǎng)絡(luò)只能一次玩一個(gè)游戲。例如，為了玩“Breakout”，必須要忘掉玩“Pong！”時(shí)學(xué)會(huì)的所有知識(shí)。這種遺忘是人工神經(jīng)網(wǎng)絡(luò)本身的性質(zhì)，也是人工神經(jīng)網(wǎng)絡(luò)與真正的人類大腦相區(qū)別的地方。人工神經(jīng)網(wǎng)絡(luò)通過在全系統(tǒng)調(diào)整組成它們的虛擬神經(jīng)元之間連接的強(qiáng)度來學(xué)習(xí)。一旦改變了要學(xué)習(xí)的任務(wù)，舊的網(wǎng)絡(luò)連接就會(huì)逐漸被重寫。

但是，進(jìn)展也在發(fā)生，DeepMind 在2017年3月份發(fā)表論文，稱已經(jīng)解決了DNN“災(zāi)難性遺忘”的問題，DeepMind研究員讓網(wǎng)絡(luò)就像真正的人類大腦一樣，能一次掌握許多個(gè)游戲。這是遷移學(xué)習(xí)——在一個(gè)上下文中使用從另一個(gè)上下文學(xué)會(huì)的行為模式的能力——這是 AI 研究中的一個(gè)熱門話題。

DeepMind研究，學(xué)習(xí)兩項(xiàng)任務(wù)過程的示意圖：使用EWC算法的深層神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)玩一個(gè)游戲，然后轉(zhuǎn)移它學(xué)到的玩一個(gè)全新的游戲。

但即便掌握了遷移學(xué)習(xí)，構(gòu)建可以用的人工智能仍然是一些零散的活動(dòng)。研究人員真正希望得到的，是如何系統(tǒng)地進(jìn)行這些活動(dòng)的一種基本的理論。這種理論的一個(gè)候選，被稱為具身認(rèn)知（embodied cognition）的理論認(rèn)為，智能應(yīng)該完全從經(jīng)驗(yàn)中學(xué)習(xí)，而不是試圖將智能從頭開始設(shè)計(jì)到一個(gè)程序里。

現(xiàn)實(shí)世界是最大的游戲場

DeepMind 的創(chuàng)始人Demis Hassabis 認(rèn)為，重要的事情是得確保虛擬機(jī)器人不會(huì)作弊。它只能使用虛擬的傳感器可以收集到的信息進(jìn)行導(dǎo)航。如果一個(gè)機(jī)器人要在“蒙特祖瑪?shù)膹?fù)仇”或者“俠盜獵車手”游戲中學(xué)習(xí)度過重重危險(xiǎn)，它必須得自己弄明白自己在游戲環(huán)境里的位置，處理當(dāng)時(shí)“看到”的事情，而不能問運(yùn)行游戲的計(jì)算機(jī)它在那個(gè)坐標(biāo)。這是 DeepMind 教程序?qū)W習(xí)玩游戲采用的方式。

在虛擬世界里的AI可以做很多事情，虛擬機(jī)器人是沒有重量的，也沒有各種部件，因此不需要維護(hù)。要改變它的技術(shù)參數(shù)也不需要拆開它，敲幾下鍵盤就可以了。它的環(huán)境也可以輕松改變。一臺(tái)計(jì)算機(jī)，一次就可以運(yùn)行數(shù)千個(gè)這樣的模擬，讓大量虛擬機(jī)器人一次又一次地嘗試任務(wù)，每次嘗試都是在學(xué)習(xí)。這是一種大規(guī)模的測試，而且允許學(xué)習(xí)過程被監(jiān)視和理解，根本就不使用真實(shí)的機(jī)器。

AI攻克的Atari游戲（部分，列表還在增加中……）

AI攻克的Atari游戲，以及其他視頻游戲，還在不斷擴(kuò)展。最后，也是最重要的，視頻游戲等虛擬世界，其中所發(fā)生的一切，都是現(xiàn)實(shí)世界的預(yù)演。