一位新手畫(huà)家可能會(huì)遇到這樣的尷尬：提筆之初，原本設(shè)想的本來(lái)是一幅令人為之驚嘆的日落景觀——玻璃般的湖面反射出白雪皚皚的蜿蜒山脈，然而最后畫(huà)出的效果卻只是畫(huà)布上層層的墨跡。

NVIDIA研究利用生成式對(duì)抗網(wǎng)絡(luò)創(chuàng)建高度逼真的場(chǎng)景。

但是，NVIDIA Research開(kāi)發(fā)的深度學(xué)習(xí)模型卻能將這一情形逆轉(zhuǎn)：它能將粗略的涂鴉轉(zhuǎn)變成令人嘆為觀止的逼真杰作。這一工具利用生成式對(duì)抗網(wǎng)絡(luò)（GAN），能夠?qū)⒎指顖D轉(zhuǎn)換為栩栩如生的圖像。

基于該模型的交互應(yīng)用程序被命名為GauGAN（發(fā)音似“高更”），以致敬后印象派畫(huà)家高更（Gauguin）。

后印象派畫(huà)家保羅·高更曾創(chuàng)作過(guò)幾幅自畫(huà)像，其中包括金貝爾藝術(shù)博物館收藏的創(chuàng)作于1885年的作品。（照片來(lái)自Wikimedia Commons，獲許可允許公開(kāi)使用）。

GauGAN為各行各業(yè)的專(zhuān)業(yè)人士提供了一個(gè)能夠創(chuàng)建虛擬世界的強(qiáng)大工具——從建筑師、城市規(guī)劃者、到景觀設(shè)計(jì)師和游戲開(kāi)發(fā)者。借助知曉現(xiàn)實(shí)世界的真實(shí)樣貌的AI，這些專(zhuān)業(yè)人士能構(gòu)思出更加出色的原型創(chuàng)意，并對(duì)合成的場(chǎng)景進(jìn)行快速修改。

NVIDIA應(yīng)用深度學(xué)習(xí)研究副總裁Bryan Catanzaro表示： “通過(guò)把簡(jiǎn)單的速寫(xiě)轉(zhuǎn)換成高度逼真的圖像，這一項(xiàng)技術(shù)能夠?qū)㈩^腦風(fēng)暴的設(shè)計(jì)方式變得更加容易?！?/p>

Catanzaro將GauGAN所采用的技術(shù)比作 “智能畫(huà)筆” ，它能夠填充粗略分割圖（即顯示場(chǎng)景中物體位置的大致輪廓圖）中的細(xì)節(jié)。

借助于GauGAN，用戶(hù)能夠繪制自己的分割圖并構(gòu)建場(chǎng)景，并用沙子、天空、海洋或雪等標(biāo)簽對(duì)每個(gè)部分進(jìn)行標(biāo)記。

該深度學(xué)習(xí)模型接收過(guò)一百萬(wàn)張圖像的訓(xùn)練，能夠?qū)︼L(fēng)景畫(huà)進(jìn)行填充，從而呈現(xiàn)精彩絕倫的效果：讓你仿佛置身一座池塘中，附近的樹(shù)木和巖石等元素都倒映在水中。如果將分割標(biāo)簽從“草”切換為“雪”，整個(gè)圖像也會(huì)隨之會(huì)變?yōu)槎緢?chǎng)景，之前青蔥的綠樹(shù)也將凋謝。

“這就像一本填色圖冊(cè)里的圖畫(huà)，其中描繪了樹(shù)木、太陽(yáng)和天空的位置，” Catanzaro說(shuō)道?！叭缓?a href="http://www.makelele.cn/tags/神經(jīng)網(wǎng)絡(luò)/" target="_blank">神經(jīng)網(wǎng)絡(luò)會(huì)根據(jù)其對(duì)真實(shí)圖像的了解，為圖片填充所需的細(xì)節(jié)和紋理，以及反射、陰影和顏色?！?/p>

盡管GAN對(duì)真實(shí)的物理世界缺乏理解，但它卻能夠生產(chǎn)足可以假亂真的效果，這是因?yàn)樗捎玫慕Y(jié)構(gòu)是一對(duì)合作式的網(wǎng)絡(luò)：生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)。生成網(wǎng)絡(luò)會(huì)創(chuàng)建圖像并展示給判別網(wǎng)絡(luò)；判別網(wǎng)絡(luò)接受過(guò)基于真實(shí)圖像的訓(xùn)練，能夠逐像素地為生成網(wǎng)絡(luò)提供反饋，并對(duì)其進(jìn)行指導(dǎo)，教會(huì)其如何提升合成圖像的真實(shí)感。

接受過(guò)真實(shí)圖像訓(xùn)練的判別網(wǎng)絡(luò)知道真實(shí)的池塘和湖泊會(huì)產(chǎn)生反射，通過(guò)判斷網(wǎng)絡(luò)的反饋，生成網(wǎng)絡(luò)也將習(xí)得如何模仿這一效果，從而創(chuàng)建出令人信服的圖像。

用戶(hù)還能夠使用這一工具添加樣式過(guò)濾器，更改生成的圖片的風(fēng)格，模仿特定的畫(huà)家畫(huà)風(fēng)，或?qū)⒁环讜儓?chǎng)景轉(zhuǎn)化為日落景象。

“這項(xiàng)技術(shù)不是簡(jiǎn)單將其他圖像拼接在一起，或是進(jìn)行紋理切割和粘貼，”Catanzaro說(shuō)道。“事實(shí)上，它是在合成新的圖像，這很像藝術(shù)家的繪畫(huà)方式?！?/p>

雖然GauGAN應(yīng)用程序?qū)Ｗ⒂陉懙?、海洋和天空等自然元素，但其潛在神?jīng)網(wǎng)絡(luò)也能夠填充其他景觀元素，包括建筑物、道路和人。

去年6月，GauGAN的相關(guān)研究論文從5000多篇論文中脫穎而出，在CVPR會(huì)議上做展示介紹（錄取率僅為5%）。