近期，由英偉達(dá)的AI團(tuán)隊(duì)為GAN創(chuàng)造了一種新的生成器，連GAN之父Goodfellow也忍不住發(fā)出稱贊。從下圖我們可以看到很多的清晰的人像，但這些并不是照片，而是一組完全由計(jì)算機(jī)生成的圖片。

這個(gè)結(jié)構(gòu)不需要人類監(jiān)督，可以自動(dòng)分離圖像中的各種屬性。這樣，在或粗糙或精細(xì)的不同尺度上，人類便能自如地控制GAN的生成。

英偉達(dá)研究人員在論文中寫道，他們提出的新架構(gòu)可以完成自動(dòng)學(xué)習(xí)，無監(jiān)督地分離搞基屬性以及生成圖像中的隨機(jī)變化，并且可以合成進(jìn)行更直觀且特定于比例的控制。也就是說，這種新的生成器在生成和混合圖像，特別是人臉圖像時(shí)，可以更好地感知圖像之間有意義的變化，并且在各種尺度上針對(duì)這些變化做出引導(dǎo)。

研究人員使用的舊系統(tǒng)可能產(chǎn)生兩個(gè)“不同”的面部，這兩個(gè)面部其實(shí)大致相同，只是一個(gè)人的耳朵被抹去了，兩個(gè)人的襯衫是不同的顏色，而這些并不是真正的面部特異性特征，不過系統(tǒng)并不知道這些是無需重點(diǎn)關(guān)注的變化，而當(dāng)成了兩個(gè)人來處理。

1.Generation

什么是生成（generation）？就是模型通過學(xué)習(xí)一些數(shù)據(jù)，然后生成類似的數(shù)據(jù)。讓機(jī)器看一些動(dòng)物圖片，然后自己來產(chǎn)生動(dòng)物的圖片，這就是生成。

以前就有很多可以用來生成的技術(shù)了，比如 auto-encoder（自編碼器），結(jié)構(gòu)如下圖：

你訓(xùn)練一個(gè) encoder，把 input 轉(zhuǎn)換成 code，然后訓(xùn)練一個(gè) decoder，把 code 轉(zhuǎn)換成一個(gè) image，然后計(jì)算得到的 image 和 input 之間的 MSE（mean square error），訓(xùn)練完這個(gè) model 之后，取出后半部分 NN Decoder，輸入一個(gè)隨機(jī)的 code，就能 generate 一個(gè) image。

但是 auto-encoder 生成 image 的效果，當(dāng)然看著很別扭啦，一眼就能看出真假。所以后來還提出了比如VAE這樣的生成模型，我對(duì)此也不是很了解，在這就不細(xì)說。

上述的這些生成模型，其實(shí)有一個(gè)非常嚴(yán)重的弊端。比如 VAE，它生成的 image 是希望和 input 越相似越好，但是 model 是如何來衡量這個(gè)相似呢？model 會(huì)計(jì)算一個(gè) loss，采用的大多是 MSE，即每一個(gè)像素上的均方差。

第一張，我們認(rèn)為是好的生成圖片，第二張是差的生成圖片，但是對(duì)于上述的人來說，這兩張圖片計(jì)算出來的 loss 是一樣大的，所以會(huì)認(rèn)為是一樣好的圖片。

這就是上述生成模型的弊端，用來衡量生成圖片好壞的標(biāo)準(zhǔn)并不能很好的完成想要實(shí)現(xiàn)的目的。于是就有了下面要講的 GAN。

2.GAN

GAN 是如何生成圖片的呢？首先大家都知道 GAN 有兩個(gè)網(wǎng)絡(luò)，一個(gè)是 generator，一個(gè)是 discriminator，從二人零和博弈中受啟發(fā)，通過兩個(gè)網(wǎng)絡(luò)互相對(duì)抗來達(dá)到最好的生成效果。流程如下：

主要流程類似上面這個(gè)圖。首先，有一個(gè)一代的 generator，它能生成一些很差的圖片，然后有一個(gè)一代的 discriminator，它能準(zhǔn)確的把生成的圖片，和真實(shí)的圖片分類，簡(jiǎn)而言之，這個(gè) discriminator 就是一個(gè)二分類器，對(duì)生成的圖片輸出 0，對(duì)真實(shí)的圖片輸出 1。

接著，開始訓(xùn)練出二代的 generator，它能生成稍好一點(diǎn)的圖片，能夠讓一代的 discriminator 認(rèn)為這些生成的圖片是真實(shí)的圖片。然后會(huì)訓(xùn)練出一個(gè)二代的 discriminator，它能準(zhǔn)確的識(shí)別出真實(shí)的圖片，和二代 generator 生成的圖片。以此類推，會(huì)有三代，四代。。。n 代的 generator 和 discriminator，最后 discriminator 無法分辨生成的圖片和真實(shí)圖片，這個(gè)網(wǎng)絡(luò)就擬合了。

3.GAN2.0到GAN3.0

使用基于風(fēng)格的生成器的GAN2.0，在各個(gè)方面都優(yōu)于傳統(tǒng)的GAN。英特爾團(tuán)隊(duì)相信，對(duì)高階屬性與隨機(jī)效應(yīng)分離的研究，以及中間隱空間(intermediate latent space)的線性，將會(huì)對(duì)提高GAN合成的理解和可控性有很大的幫助。平均路徑長度度量可以很容易地用作訓(xùn)練中的正則化器，也許線性可分度量的某些變體也可以作為一個(gè)正則化器。

除了人像，GAN 2.0還可以生成房間、汽車等各種場(chǎng)景。有了這樣的技術(shù)，未來再也不用發(fā)愁圖像數(shù)據(jù)集。畢竟這些計(jì)算機(jī)生成的“人”，已經(jīng)如此的真實(shí)?？偟膩碚f，在訓(xùn)練期間直接塑造中間隱空間(intermediate latent space)的方法將為未來的工作提供有趣的途徑。而未來，GAN3.0將會(huì)突破瓶頸，達(dá)到更令人矚目的視覺成就。

4.結(jié)語

目前國內(nèi)做計(jì)算機(jī)視覺的以曠視科技Face++、商湯科技、極鏈科技Video++為代表的AI頭部企業(yè)為代表，以算法為核心競(jìng)爭(zhēng)力的AI初創(chuàng)企業(yè)，扎根于技術(shù)，都在計(jì)算機(jī)視覺上做出了卓越的成就。計(jì)算機(jī)視覺的研究和發(fā)展具有極其重要的意義，不但滿足人工智能應(yīng)用的需要，如在計(jì)算機(jī)實(shí)現(xiàn)人工的視覺系統(tǒng)的需要。其次這些成果可以安裝在計(jì)算機(jī)和各種機(jī)器上，使計(jì)算機(jī)和機(jī)器人能夠具有“看”和創(chuàng)作圖像的能力。視覺計(jì)算模型的研究結(jié)果反過來對(duì)于我們進(jìn)一步認(rèn)識(shí)和研究人類視覺系統(tǒng)本身的機(jī)理，甚至人腦的機(jī)理，也同樣具有相當(dāng)大的參考意義。