GameGAN – 一種生成式模型，能夠通過訓(xùn)練，理解游戲規(guī)則和鍵盤動作，學(xué)習(xí)如何在視覺上模擬特定游戲。代理按下一個按鍵，GameGAN 就能借助精巧設(shè)計的生成式對抗網(wǎng)絡(luò)，“渲染”接下來的屏幕內(nèi)容。

如果您看到左上圖的那一位，可能會認(rèn)為她在玩巖谷徹的《吃豆人》游戲，但事實并非如此!她實際上正在玩的是由 GAN 生成的 新版本《吃豆人》。本文中，我們將介紹 GameGAN，它能夠通過對 很多游戲回合的觀察，學(xué)習(xí)如何復(fù)制游戲。此外，我們的模型能夠 分解背景與動態(tài)對象，讓我們能夠調(diào)換下行中間及右側(cè)圖像中所示 的組件，以創(chuàng)建新游戲。

對于任何機器人系統(tǒng)，模擬都是關(guān)鍵的一環(huán)。為正確地進(jìn)行模擬，我們需要編寫復(fù)雜的環(huán)境規(guī)則，如：動態(tài)代理的行為，以及每個代理的行為會如何影響其他代理的行為。

在《基于 GameGAN 的動態(tài)環(huán)境模擬》白皮書中，我們旨在通過簡單地觀察代理與環(huán)境的交互，以學(xué)習(xí)得到一個模擬器。

這個方法具備超越當(dāng)前方法的關(guān)鍵優(yōu)勢：設(shè)計一個記憶模塊，以構(gòu)建環(huán)境的內(nèi)部映射，讓代理能夠返回到早前訪問過的位置，且具有高度的視覺一致性。此外，GameGAN 能夠分解圖像中的靜態(tài)和動態(tài)組建，使模型的行為更易于理解，且與需要對動態(tài)元素進(jìn)行顯式推理的下游任務(wù)相關(guān)。這使得許多有趣的應(yīng)用程序成為了可能。