近日，谷歌大腦研究人員提出了一種基于自監(jiān)督和半監(jiān)督學習的“條件GAN”，使用的標記數(shù)據(jù)量大降90%，生成圖像的質(zhì)量比現(xiàn)有全監(jiān)督最優(yōu)模型BigGAN高出20%（以FID得分計），有望緩解圖像生成和識別領(lǐng)域標記數(shù)據(jù)量嚴重不足的問題。

生成對抗網(wǎng)絡(luò)（GAN）是一類強大的深度生成模型。GAN背后的主要思想是訓練兩個神經(jīng)網(wǎng)絡(luò)：生成器負責學習如何合成數(shù)據(jù)，而判別器負責學習如何區(qū)分真實數(shù)據(jù)與生成器合成的虛假數(shù)據(jù)。目前，GAN已成功用于高保真自然圖像合成，改善學習圖像壓縮質(zhì)量，以及數(shù)據(jù)增強等任務(wù)。

對于自然圖像合成任務(wù)來說，現(xiàn)有的最優(yōu)結(jié)果是通過條件GAN實現(xiàn)的。與無條件GAN不同，條件GAN在訓練期間要使用標簽（比如汽車，狗等）。雖然數(shù)據(jù)標記讓圖像合成任務(wù)變得更容易實現(xiàn)，在性能上獲得了顯著提升，但是這種方法需要大量標記數(shù)據(jù)，而在實際任務(wù)中很少有大量標記數(shù)據(jù)可用。

隨著ImageNet上訓練過程的持續(xù)，生成的圖像逼真度進步明顯

谷歌大腦的研究人員在最近的《用更少的數(shù)據(jù)標簽生成高保真圖像》中，提出了一種新方法來減少訓練最先進條件GAN所需的標記數(shù)據(jù)量。文章提出結(jié)合大規(guī)模GAN的最新進展，將高保真自然圖像合成技術(shù)與最先進技術(shù)相結(jié)合，使數(shù)據(jù)標記數(shù)量減少到原來的10%。

在此基礎(chǔ)上，研究人員還發(fā)布了Compare GAN庫的重大更新，其中包含了訓練和評估現(xiàn)代GAN所需的所有組件。

利用半監(jiān)督和自監(jiān)督方式提升預(yù)測性能

條件GAN與基線BigGAN的FID分數(shù)對比，圖中黑色豎線為BigGAN基線模型（使用全部標記數(shù)據(jù)）得分。S3GAN在僅使用10%標記數(shù)據(jù)的情況下，得分比基線模型最優(yōu)得分高20%

在條件GAN中，生成器和判別器通常都以分類標簽為應(yīng)用條件?，F(xiàn)在，研究人員建議使用推斷得出的數(shù)據(jù)標簽，來替換手工標記的真實標簽。

上行：BigGAN全監(jiān)督式學習生成的128×128像素最優(yōu)圖像樣本。下行為S3GAN生成的圖像樣本，標記數(shù)據(jù)量降低了90%，F(xiàn)ID得分與BigGAN表現(xiàn)相當

為了推斷大型數(shù)據(jù)集中多數(shù)未標記數(shù)據(jù)的高質(zhì)量標簽，可以采取兩步方法：首先，僅使用數(shù)據(jù)集的未標記部分來學習特征表示。

為了學習特征表示，需要利用新方法，以不同的方法利用自我監(jiān)督機制：將未標記的圖像進行隨機旋轉(zhuǎn)，由深度卷積神經(jīng)網(wǎng)絡(luò)負責預(yù)測旋轉(zhuǎn)角度。這背后的思路是，模型需要能夠識別主要對象及其形狀，才能在此類任務(wù)中獲得成功。

對一幅未標記的圖像進行隨機旋轉(zhuǎn)，網(wǎng)絡(luò)的任務(wù)是預(yù)測旋轉(zhuǎn)角度。成功的模型需要捕捉有意義的語義圖像特征，這些特征可用于完成其他視覺任務(wù)

研究人員將訓練網(wǎng)絡(luò)的一個中間層的激活模式視為輸入的新特征表示，并訓練分類器，以使用原始數(shù)據(jù)集的標記部分識別該輸入的標簽。由于網(wǎng)絡(luò)經(jīng)過預(yù)訓練，可以從數(shù)據(jù)中提取具有語義意義的特征，因此，訓練此分類器比從頭開始訓練整個網(wǎng)絡(luò)更具樣本效率。最后使用分類器對未標記的數(shù)據(jù)進行標記。

為了進一步提高模型質(zhì)量和訓練的穩(wěn)定性，最好讓判別器網(wǎng)絡(luò)學習有意義的特征表示。通過這些改進手段，在加上大規(guī)模的訓練，使得新的條件GAN在ImageNet圖像合成任務(wù)上達到了最優(yōu)性能。

給定潛在向量，由生成器網(wǎng)絡(luò)生成圖像。在每行中，最左側(cè)和最右側(cè)圖像的潛在代碼之間的線性插值導致圖像空間中的語義插值

CompareGAN：用于訓練和評估GAN的庫

對GAN的前沿研究在很大程度上依賴于經(jīng)過精心設(shè)計和測試的代碼庫，即使只是復制或再現(xiàn)先前的結(jié)果和技術(shù)，也需要付出巨大努力。

為了促進開放科學并讓研究界從最近的進步中獲益，研究人員發(fā)布了Compare GAN庫的重大更新。該庫包括現(xiàn)代GAN中常用的損失函數(shù)，正則化和歸一化方案，神經(jīng)架構(gòu)和量化指標，現(xiàn)已支持：

GPU和TPU訓練

通過Gin進行輕量級配置（含實例）

通過TensorFlow數(shù)據(jù)集庫提供大量數(shù)據(jù)集

未來方向：自監(jiān)督學習會讓GAN更強大

由于標記數(shù)據(jù)源和未標記數(shù)據(jù)源之間的差距越來越大，讓模型具備從部分標記的數(shù)據(jù)中學習的能力變得越來越重要。

目前來看，自監(jiān)督學習和半監(jiān)督學習的簡單而有力的結(jié)合，有助于縮小GAN的這一現(xiàn)實差距。自監(jiān)督是一個值得研究的領(lǐng)域，值得在該領(lǐng)域開展面向其他生成建模任務(wù)的研究。