谷歌可能教過人工智能如何涂鴉，但繪制一些更復(fù)雜的東西對于電腦來說很難。想象一下，讓一臺電腦畫一只“黑色的翅膀和一個短喙的黃色的鳥”;這聽起來有點棘手。不過，微軟的研究人員已經(jīng)開發(fā)了一種基于人工智能的技術(shù)來做到這一點。根據(jù)團隊發(fā)布的最新文章，它以驚人的準(zhǔn)確性從文本描述生成圖像。

系統(tǒng)根據(jù)您的輸入找不到現(xiàn)有的圖像，但會創(chuàng)建真實的圖形。首席研究員何曉東在一份聲明中表示：“如果你去了Bing并且尋找一只鳥，你就會得到一張鳥的照片，但是這里的照片是由計算機逐個像素地從頭開始制作的。 “這些鳥可能不存在于現(xiàn)實世界中 - 它們只是我們計算機對鳥類想像力的一個方面?！?/p>

雖然這種繪畫技術(shù)的當(dāng)前形式并不完美，但不難想象，未來它可以作為畫家和室內(nèi)設(shè)計師的素描助手，或者是基于語音輸入來精煉照片的工具。更遠(yuǎn)的是，研究人員他想象從書面腳本生成的動畫電影。

該團隊開始研究計算機視覺和自然語言處理與CaptionBot，一個人工智能系統(tǒng)，自動為照片寫字幕，然后創(chuàng)建一個系統(tǒng)回答人們問的圖像稱為SeeingAI的問題，如果你是盲人。目前的技術(shù)由兩部分組成：一個是產(chǎn)生被稱為生成對抗網(wǎng)絡(luò)（GAN）的圖像，另一個是判斷所產(chǎn)生的圖像的質(zhì)量，稱為鑒別器。繪圖機器人接受了一系列圖像和標(biāo)題的訓(xùn)練，教導(dǎo)人工智能學(xué)習(xí)使用哪些圖像處理哪些單詞。團隊還創(chuàng)建了一個人類關(guān)注的數(shù)學(xué)表示，當(dāng)我們從復(fù)雜的描述中繪制圖片時，我們都使用這個表示：一個紅色的翅膀，一個尖銳的喙，一個黃色的翅膀。他說：“注意力是一個人的概念，我們用數(shù)學(xué)來計算注意力?！?/p>

這個繪圖機器人完成了圍繞計算機視覺和自然語言處理交叉部分的研究循環(huán)，何曉東和他的同事在過去五年中一直在這個領(lǐng)域內(nèi)摸索。他們一開始研究的是一項能夠自動為照片編寫標(biāo)題的技術(shù)——CaptionBot，然后轉(zhuǎn)向能夠回答人類關(guān)于圖像問題（例如語音對象的位置和屬性）的技術(shù)，這種技術(shù)對于盲人來說特別有用。

這些研究工作需要訓(xùn)練機器學(xué)習(xí)模型來識別對象、解釋行為并用自然語言進行交談。

微軟研究院研究員Pengchuan Zhang補充表示，圖像生成是一項比圖像字幕更具挑戰(zhàn)性的任務(wù)， 因為這個過程需要繪圖機器人想象出標(biāo)題中沒有包含的細(xì)節(jié)。“這意味著，你需要讓運行人工智能的機器學(xué)習(xí)算法想象出這個圖像中缺失的部分。”

會集中注意力的圖像生成

微軟繪畫機器人的核心是生成式對抗網(wǎng)絡(luò)（Generative Adversarial Network，或者稱為GAN）技術(shù)。該網(wǎng)絡(luò)包含了兩個機器學(xué)習(xí)模型，一個根據(jù)文字描述生成圖形；另一個則作為鑒別器（discriminator），使用文本描述來判斷所生成的圖像的真實性。這兩個模型組合既矛盾又融合，生成器試圖讓假的圖片通過鑒別器的鑒定，鑒定器決定了自己不被愚弄，兩者一起工作，鑒定器會推動生成器變得完美。

傳統(tǒng)生成式對抗網(wǎng)絡(luò)（GAN）在根據(jù)簡單文字（例如藍色的鳥或者常青樹）描述生成圖像方面做得非常好，但是當(dāng)文字描述變得更復(fù)雜的時候，例如綠色的頭、黃色的翅膀、紅色的肚皮的鳥，質(zhì)量就會停滯不前。這是因為整個句子對于生成器來說是一個單一輸入，這些描述中的詳細(xì)信息丟失了，結(jié)果生成的圖像是一只模模糊糊的、有點綠、有點黃也有點紅的鳥，而不是嚴(yán)格按照句子中的描述進行著色的鳥。但是，微軟的該項技術(shù)尤其擅長根據(jù)復(fù)雜的句子繪制圖像，而且，在標(biāo)題的描述中沒有提到的具體細(xì)節(jié)方面，機器人也可以填補這些空白。

這是因為，它有一點自己的常識和想象力，這要感謝它的訓(xùn)練數(shù)據(jù)。在鳥的例子中，機器人畫的鳥通常是站在枝頭上的，即使是文本內(nèi)容中并沒有提到這一細(xì)節(jié)也是如此，這是因為最初提供給它的圖像經(jīng)常出現(xiàn)類似的內(nèi)容。

微軟的繪圖機器人使用了標(biāo)題和圖像匹配好了的數(shù)據(jù)集進行訓(xùn)練，這讓這些模型能夠?qū)W會如何將文字內(nèi)容和這些內(nèi)容的可視化表達相匹配。例如，這個生成式對抗網(wǎng)絡(luò)（GAN）學(xué)會了在標(biāo)題是鳥的時候生成一個鳥的圖像，而且也學(xué)到了鳥的圖像應(yīng)該是什么樣子。何曉東表示：“這是我們相信機器可以學(xué)習(xí)的根本原因。”

在人類畫畫的過程中，會反復(fù)查看下一步畫什么，并且十分專注于正在描繪的這一部分內(nèi)容當(dāng)中。為了捕捉這一人類特質(zhì)，微軟研究人員創(chuàng)建了他們稱之為注意力生成式對抗網(wǎng)絡(luò)或AttnGAN的技術(shù)，它從數(shù)學(xué)上代表了人類的注意的概念。它是通過將輸入的文本內(nèi)容分解為單個的詞語，并將其同圖像中特定的區(qū)域進行匹配來完成這一任務(wù)的。

何曉東解釋說：“注意力是一個人類的概念；我們把注意力的問題變成了一個計算的問題。”

該模型還會從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)人類稱之為常識的東西，并且利用這些學(xué)到的概念來填補圖像中可供想象的空白部分。例如，由于訓(xùn)練數(shù)據(jù)中的很多圖像里的鳥都是站在枝頭之上的，所以除非文本內(nèi)容另有詳細(xì)說明，AttnGAN通常畫出的鳥也都是站在枝頭之上的。

Pengchuan Zhang表示：“從數(shù)據(jù)來看，機器學(xué)習(xí)算法學(xué)到了鳥應(yīng)該在哪里這一常識?！弊鳛殡y度測試，該團隊給這個繪圖機器人一些荒謬的題目，例如“漂浮在湖面上的紅色雙層巴士。”結(jié)果它生成了一個模糊的、濕漉漉的圖像，既有點像一艘有雙層甲板的船，又有點像一輛雙層巴士，漂浮在群山環(huán)繞的湖面上。這個圖像表明，該機器人內(nèi)部產(chǎn)生了斗爭，它知道船是漂浮在湖面上的，而文本內(nèi)容卻詳細(xì)指定了對象是一輛巴士車。

何曉東解釋說：“我們的描述可以天花亂墜，看看機器會如何反應(yīng)。這臺機器有一些背景知識的常識，但它仍然服從你的要求，盡管有時這些要求聽起來有點荒謬?！?/p>

當(dāng)然，這不是第一項將藝術(shù)和人工智能結(jié)合在一起的技術(shù)案例。

這兩者的交叉有時會產(chǎn)生奇妙的結(jié)果。比如谷歌的人工智能繪制的這些夢幻般的圖像就有了自己的藝術(shù)展，谷歌還有一個神經(jīng)網(wǎng)絡(luò)可以猜測你正在畫的是什么，還有一個自動繪圖機器人等等。

Facebook也一直在教導(dǎo)神經(jīng)網(wǎng)絡(luò)繪制一些小圖形，例如飛機、汽車和動物等，甚至從照片中創(chuàng)建自己的Bitmoji風(fēng)格的化身形象。

英偉達的研究人員使用人工智能（A.I）創(chuàng)建了計算機生成的名人。

實際應(yīng)用

從文本到圖像的生成技術(shù)可以找到很多實際應(yīng)用，可以作為畫家和室內(nèi)設(shè)計師的草圖助理，或者作為語音激活照片的細(xì)化工具。何曉東認(rèn)為，如果有更多的計算能力，這項技術(shù)能夠根據(jù)電影劇本生成動畫電影，通過消除一些手工勞動來改善動畫電影制片人的工作。

然而目前來看，微軟的這項技術(shù)還不完善。如果你仔細(xì)檢查圖像就能找到瑕疵，例如鳥的喙是藍色的而不是黑色的，以及水果攤位上有突變的香蕉。這些缺陷清楚地表明，創(chuàng)造這幅畫的是電腦而不是人類。盡管如此，何曉東認(rèn)為，這個AttnGAN生成的圖像的質(zhì)量比之前最好的GAN生成的圖像質(zhì)量提高了接近三倍，已經(jīng)成為了通往類人類智能道路上的一個里程碑，這些類人類智能能夠增強人類的能力。
何曉東進一步解釋說，“對于生活在同一個世界里的人工智能和人類來說，他們必須有一種彼此交流的方式。而語言和視覺是人類和機器互相交流的兩種最重要的方式?！?/p>