人類可以輕松地描述一幅圖像，在機器學(xué)習(xí)中，這種任務(wù)就被看成是判別分類/回歸問題，即從輸入的圖像中預(yù)測特征標(biāo)簽。機器學(xué)習(xí)技術(shù)最近的進步中，尤其是深度學(xué)習(xí)模型都開始解決這類任務(wù)，有些能達到甚至超過人類水平.

但是，根據(jù)文字?jǐn)⑹錾杀普娴膱D片難度較大，需要進行很多年的圖形設(shè)計訓(xùn)練。在機器學(xué)習(xí)領(lǐng)域，這是一種生成任務(wù)，比判別式任務(wù)更有挑戰(zhàn)性，因為生成模型需要根據(jù)更小的輸入產(chǎn)出更豐富的信息。

雖然生成模型在創(chuàng)建時有很多困難，但是在以下幾種情況下非常有用：

內(nèi)容創(chuàng)造：比如一家廣告公司可以自動生成吸引人的產(chǎn)品圖像、一位時尚設(shè)計師可以讓算法生成他所希望的鞋子樣式，再從中挑選符合要求的作品，或者一項游戲可以讓玩家根據(jù)簡單的描述創(chuàng)造逼真的人物形象。

根據(jù)內(nèi)容智能編輯：有了這種模型，攝像師只需要點擊鼠標(biāo)就可以改變圖像的面部表情、皺紋和發(fā)型；電影制作者可以將陰天背景改為晴天。

數(shù)據(jù)增強：自動駕駛公司可以生成合成特殊場景的逼真圖像，增強訓(xùn)練數(shù)據(jù)集；信用卡公司可以合成特殊的欺詐數(shù)據(jù)，增強欺詐探測系統(tǒng)中的數(shù)據(jù)集。

在這篇文章中，我將介紹我們最近的研究成果，稱為透明隱空間GAN（TL-GAN），它擴展了目前先進的模型，提出了一種新的交互方式。關(guān)于GAN的基礎(chǔ)介紹，論智君就不在此詳細(xì)展開了，我們曾經(jīng)寫過很多相關(guān)文章，感興趣的讀者可以閱讀：從零學(xué)習(xí)：生成敵對網(wǎng)絡(luò)（GAN）入門指南。

控制GAN模型的輸出

GAN的最初形式和其他的幾種主流形式（例如DC-GAN和pg-GAN）都是無監(jiān)督的學(xué)習(xí)模型。經(jīng)過訓(xùn)練后，生成網(wǎng)絡(luò)會將隨機噪聲看作輸入，生成類似照片一樣的逼真圖像，基本上辨別不出到底是訓(xùn)練集中的樣本，還是真實圖像。然而，我們無法進一步控制產(chǎn)生的圖像的特點，在很多應(yīng)用中，用戶想根據(jù)自己的偏好定制樣本（例如年齡、頭發(fā)顏色、面部表情等等），最好還能對這些特征不斷調(diào)整。

為了實現(xiàn)這種控制生成的效果，很多GAN的變體都做出了嘗試，它們大致可以分為兩類：風(fēng)格遷移網(wǎng)絡(luò)和條件生成器。

風(fēng)格遷移網(wǎng)絡(luò)

以CycleGAN和pix2pix為代表的風(fēng)格遷移網(wǎng)絡(luò)是將圖像從一個領(lǐng)域轉(zhuǎn)移到另一個領(lǐng)域的模型（例如將馬變成斑馬，將素描畫編程帶有顏色的圖像）。結(jié)果是，我們無法在兩個獨立的狀態(tài)之間對一種特征進行調(diào)整（例如在面部添加一點點胡子）。同時，一個網(wǎng)絡(luò)只能應(yīng)用于一種類型的遷移，所以如果要調(diào)整10個特征，就要建立10個不同的網(wǎng)絡(luò)。

條件生成器

以條件GAN、AC-GAN和Stack-GAN為代表的條件生成器是可以在訓(xùn)練期間，互相聯(lián)合學(xué)習(xí)帶有特征標(biāo)簽的圖像的模型，從而生成帶有定制特點的圖像。所以當(dāng)你想要在生成過程中添加新的可調(diào)整特征時，你就需要重新訓(xùn)練整個GAN模型，這就需要花費大量計算資源和時間。除此之外，整個過程只需要一個數(shù)據(jù)集，其中要包含所有自定義特征標(biāo)簽。

我們的TL-GAN模型，從新的角度控制生成任務(wù)，解決了現(xiàn)有的問題。它可以讓用戶用單一網(wǎng)絡(luò)逐步調(diào)整一個或多個特征。另外，用戶也可以在一個小時內(nèi)添加新的可調(diào)整的特征。

TL-GAN：控制合成和編輯的高效方法

將隱藏空間透明化

英偉達的pg-GAN是可以生成高分辨率人臉圖像的的模型，生成的1024×1024圖像都是由隱藏空間中的一個512維度的噪聲向量決定所有的特征。所以，如果我們能理解隱藏空間表示什么，即讓它透明化，我們就能完全掌握生成過程。

在使用pg-GAN進行預(yù)訓(xùn)練之后，我發(fā)現(xiàn)隱藏空間有兩個優(yōu)點：

空間中的大部分點都能生成可靠的圖像；

它非常連貫，說明隱藏空間中兩點之間的插值會在引起對應(yīng)圖像之間平穩(wěn)的過渡。

知道了這兩個特點，我認(rèn)為在隱藏空間中是可以找到可預(yù)測特征方向的。如果能實現(xiàn)的話，我們可以利用這些方向的單位向量作為特征軸，控制生成過程。

方法：特征軸的提出

為了找到隱藏空間中的特征軸，我們會在隱藏向量z和特征標(biāo)簽y之間建立連接，其中會用到在成對的數(shù)據(jù)(z,y)上訓(xùn)練的監(jiān)督式學(xué)習(xí)方法。目前的問題就成了如何得到成對的數(shù)據(jù)。現(xiàn)存的數(shù)據(jù)集只含有圖像x和它們對應(yīng)的特征標(biāo)簽y。

連接隱藏向量z和特征標(biāo)簽y的方法

可用方法

其中一種方法是從現(xiàn)有的帶有標(biāo)簽的數(shù)據(jù)集中計算圖像xreal相對應(yīng)的隱藏向量。但是GAN網(wǎng)絡(luò)在計算zencode=G^(-1)(x_real)的時候比較困難，所以這一方法難以實現(xiàn)。

另外一種方法是從隨機隱藏向量z中生成合成圖像x_gen，這里的問題是，合成的圖像是沒有標(biāo)簽的，我們也不能輕易地使用可用標(biāo)簽數(shù)據(jù)集。

為了解決這一問題，關(guān)鍵就是訓(xùn)練一個獨立的特征提取器——模型y=F(x)，利用現(xiàn)有的帶有標(biāo)簽的圖像數(shù)據(jù)集(xreal,yreal)，之后將特征提取網(wǎng)絡(luò)F與GAN的生成器G結(jié)合。完成后，我們可以預(yù)測合成圖像xgen的特征標(biāo)簽ypred，從而在z和y之間建立起連接。

現(xiàn)在我們有了成對的隱藏向量和特征，我們可以訓(xùn)練一個回歸模型y=A(z)，來得出控制圖像生成過程的所有特征軸。

TL-GAN模型架構(gòu)

如圖，TL-GAN模型中包含五步：

學(xué)習(xí)分布：選擇一個訓(xùn)練好的GAN模型和生成器網(wǎng)絡(luò)，我選的是經(jīng)過訓(xùn)練的pg-GAN，它能生成質(zhì)量最高的人臉圖像。

分類：選擇一個預(yù)訓(xùn)練特征提取模型（可以使一個卷積神經(jīng)網(wǎng)絡(luò)或其他計算機視覺模型），或者用經(jīng)過標(biāo)記的數(shù)據(jù)集訓(xùn)練自己的特征提取網(wǎng)絡(luò)。

生成：生成多個隨機隱藏向量，將它們輸入到訓(xùn)練過的GAN生成器中，生成合成圖像，然后用一個訓(xùn)練過的特征提取器，為每張圖像生成特征。

聯(lián)系：用一個通用的線性模型（GLM）在隱藏向量和特征之間執(zhí)行回歸?；貧w斜率就是特征軸。

探索：從一個隱藏向量開始，移動到其他特征軸上，檢查這是如何影響圖像的生成的。

這一過程效率很高，一旦我們有了預(yù)訓(xùn)練GAN模型，確定特征軸只需要在一個GPU上花費一個小時的時間。

結(jié)果

讓我們看看這一模型的效果如何。首先我測試了特征軸能否被用于控制相對應(yīng)的生成圖像特征之上。結(jié)果如下，這一過程非常不錯！圖像的性別、年齡都能得到“完美”改變：

但上面的案例顯示出了一個缺點，當(dāng)我想要減少胡子的數(shù)量時，不可避免地會讓人臉更加“女性化”。這一問題是由于性別特征和胡須特征是相關(guān)聯(lián)的，改變其中一個就會導(dǎo)致另一個發(fā)生改變。

為了解決這一問題，我用到了線性代數(shù)方法，將代表胡須的軸投射到與性別軸正交的其他方向，有效地消除了二者的相關(guān)性。

最后用動圖了解下TL-GAN在控制圖像生成過程時的速度：