通過(guò)眼睛的世界不僅僅是我們角膜所反映的映像。例如，當(dāng)我們看建筑物并欣賞其設(shè)計(jì)的復(fù)雜性時(shí)，我們可以欣賞它所需的工藝。這種通過(guò)創(chuàng)造它們的工具來(lái)解釋物體的能力使我們對(duì)世界有了更加豐富的理解，并且是我們獲取信息的一個(gè)重要方面。

我們希望我們的系統(tǒng)能夠創(chuàng)造出同樣豐富的世界表現(xiàn)形式。例如，觀察繪畫(huà)的圖像時(shí)，我們希望它會(huì)了解用于繪畫(huà)時(shí)的動(dòng)作，而不僅僅是在屏幕上表示它的像素。

在這項(xiàng)工作中，我們?yōu)槿嗽熘悄芄芗遗鋫淞伺c用來(lái)生成圖像相同的工具，并證明它們可以推斷數(shù)字、人物和肖像的構(gòu)造方式。至關(guān)重要的是，他們是自己學(xué)習(xí)如何做到這一點(diǎn)，而不需要人為標(biāo)簽的數(shù)據(jù)集。這與之形成鮮明對(duì)比最近的研究(https://arxiv.org/pdf/1704.03477.pdf)依賴(lài)于從人為標(biāo)記(human demonstrations)中學(xué)習(xí)，那樣可能會(huì)是更加耗費(fèi)時(shí)間。

credit：Shutterstock

我們?cè)O(shè)計(jì)了一個(gè)與計(jì)算機(jī)繪畫(huà)程序交互的深度強(qiáng)化學(xué)習(xí)系統(tǒng)(http://mypaint.org/)，將筆觸放在數(shù)字畫(huà)布上并更改畫(huà)筆大小、壓力大小和顏色。未經(jīng)訓(xùn)練的系統(tǒng)首先會(huì)繪制隨意的筆畫(huà)，但沒(méi)有明顯的構(gòu)圖。為了克服這一點(diǎn)，我們必須創(chuàng)建一種獎(jiǎng)勵(lì)機(jī)制，鼓勵(lì)系統(tǒng)生成有意義的圖畫(huà)。

為此，我們訓(xùn)練了第二個(gè)神經(jīng)網(wǎng)絡(luò)，稱(chēng)為鑒別器，其唯一目的是預(yù)測(cè)特定圖形是由機(jī)器制作的，還是從真實(shí)照片的數(shù)據(jù)集中采樣得來(lái)。繪畫(huà)系統(tǒng)的獎(jiǎng)勵(lì)是通過(guò)“欺騙”鑒別者認(rèn)為它的繪畫(huà)是真實(shí)的。換句話(huà)說(shuō)，系統(tǒng)的獎(jiǎng)勵(lì)信號(hào)本身就是學(xué)習(xí)的。雖然這與生成敵對(duì)網(wǎng)絡(luò)（GAN）中使用的方法類(lèi)似，但它不同，因?yàn)镚AN設(shè)置中的生成器通常是直接輸出像素的神經(jīng)網(wǎng)絡(luò)。相反，我們的系統(tǒng)通過(guò)編寫(xiě)圖形程序來(lái)與繪圖環(huán)境交互來(lái)生成圖像。

在第一組實(shí)驗(yàn)中，系統(tǒng)接受了訓(xùn)練以生成類(lèi)似于MNIST(http://yann.lecun.com/exdb/mnist/)數(shù)字的圖像：它顯示了數(shù)字的樣子，但沒(méi)有顯示它們是如何繪制的。通過(guò)嘗試生成用以欺騙鑒別器的圖像，智能系統(tǒng)學(xué)會(huì)了控制畫(huà)筆并操縱它以適應(yīng)不同數(shù)字的風(fēng)格--可視化程序合成技術(shù)(https://en.wikipedia.org/wiki/Program_synthesis)。

我們也訓(xùn)練它重現(xiàn)特定的圖像。這里，鑒別器的目的是確定再現(xiàn)的圖像是否是目標(biāo)圖像的副本，或者是否已經(jīng)由系統(tǒng)產(chǎn)生。鑒別者的這種區(qū)別越困難，系統(tǒng)得到的獎(jiǎng)勵(lì)(rewarded)就越多。

至關(guān)重要的是，這個(gè)框架是可以解釋的，因?yàn)樗a(chǎn)生了一系列控制模擬畫(huà)筆的動(dòng)作。這意味著該模型可以將其在模擬繪畫(huà)程序中學(xué)到的知識(shí)應(yīng)用于其他類(lèi)似環(huán)境中的人物重建，例如在模擬(或者真實(shí))的機(jī)器人手臂上。這個(gè)視頻可以在這里看到(https://youtu.be/XXM3PdIdLJQ)。

還有可能將這個(gè)框架擴(kuò)展到實(shí)際的數(shù)據(jù)集上（real dataset）。經(jīng)過(guò)訓(xùn)練可以繪制名人臉部表情，系統(tǒng)能夠捕捉到臉部的主要特征，例如形狀、色調(diào)和發(fā)型，就像街頭藝術(shù)家在使用有限數(shù)量的畫(huà)筆描繪肖像時(shí)一樣：

從原始感受中恢復(fù)結(jié)構(gòu)化表示是人類(lèi)容易擁有并經(jīng)常使用的能力。在這項(xiàng)工作中，我們表明可以通過(guò)讓人工系統(tǒng)獲得我們用來(lái)重現(xiàn)我們周?chē)澜绲南嗨乒ぞ邅?lái)指導(dǎo)人造系統(tǒng)產(chǎn)生類(lèi)似的表示。在這樣做時(shí)，他們學(xué)會(huì)制作可視化程序，簡(jiǎn)潔地表達(dá)引起觀察的因果關(guān)系。

盡管我們的工作僅代表了向靈活的程序綜合化(synthesis)邁出的一小步，但我們預(yù)計(jì)可能需要類(lèi)似的技術(shù)才能使具有類(lèi)似人類(lèi)認(rèn)知、概括和溝通能力的人工智能成為可能。