在IBM最新的論文中，研究人員提出了一種能自主制作多樣化、創(chuàng)造性和符合人類(lèi)語(yǔ)境的圖片文字說(shuō)明的模型。實(shí)驗(yàn)證明，圖片的文字說(shuō)明取得了“良好”的性能，未來(lái)可以為強(qiáng)大的新計(jì)算機(jī)視覺(jué)系統(tǒng)奠定了基礎(chǔ)。

無(wú)論是報(bào)社、雜志社還是新媒體，編輯們最不愿意干得事情就是為圖片搭配文字說(shuō)明。事實(shí)上這項(xiàng)工作必要且重要但實(shí)際操作上又非常枯燥。

不過(guò)，一個(gè)振奮人心的消息是，AI可能很快就能處理大部分工作。6月18日在加州長(zhǎng)灘舉行的2019年計(jì)算機(jī)視覺(jué)和模式識(shí)別會(huì)議(CVPR)上，Pierre L. Dognin, Igor Melnyk, Youssef Mroueh, Jarret Ross, Tom Sercu發(fā)表了一篇論文《改進(jìn)圖像說(shuō)明的對(duì)抗性語(yǔ)義對(duì)齊》，提出了一種能夠自主制作多樣化、創(chuàng)造性和符合人類(lèi)語(yǔ)境的圖片文字說(shuō)明的模型。

在論文中，他們將圖像說(shuō)明作為一種有條件的GAN（生成式對(duì)抗網(wǎng)絡(luò)）訓(xùn)練進(jìn)行研究，提出了一種上下文感知的LSTM字幕器和共同注意鑒別器，它們加強(qiáng)了圖像和字幕之間的語(yǔ)義對(duì)齊。

研究人員根據(jù)經(jīng)驗(yàn)著重研究了SCST和ST兩種訓(xùn)練方法的可行性。他們發(fā)現(xiàn)即使沒(méi)有直接訪(fǎng)問(wèn)鑒別器梯度，SCST也比ST顯示出更穩(wěn)定的梯度行為和更好的結(jié)果。進(jìn)而還解決了對(duì)這些模型進(jìn)行自動(dòng)評(píng)估的開(kāi)放性問(wèn)題，引入了一個(gè)新的語(yǔ)義評(píng)分，并證明了它與人類(lèi)判斷的強(qiáng)相關(guān)性。

作為評(píng)估范例，一個(gè)重要的標(biāo)準(zhǔn)是生成器能夠概括出平常不會(huì)一起出現(xiàn)的對(duì)象之間的組合關(guān)系。為此研究人員引入了一個(gè)小標(biāo)題能脫離上下文（OOC）測(cè)試集。OOC與常規(guī)語(yǔ)義評(píng)分相結(jié)合，為圖片搭配說(shuō)明文字得體系提出了新基準(zhǔn)。當(dāng)面向OOC和MS-COCO進(jìn)行測(cè)試時(shí)，可以發(fā)現(xiàn)基于SCST的訓(xùn)練在語(yǔ)義評(píng)分和人類(lèi)評(píng)估方面都有很強(qiáng)的表現(xiàn)，有望成為高效離散GAN訓(xùn)練的一種有價(jià)值的新方法。

目前，構(gòu)建系統(tǒng)需要解決自動(dòng)說(shuō)明文字系統(tǒng)的一個(gè)主要缺點(diǎn)：順序語(yǔ)言生成導(dǎo)致語(yǔ)法正確—但同質(zhì)、非自然和語(yǔ)義不相關(guān)的結(jié)構(gòu)。

研究者的方法是通過(guò)一個(gè)注意力文字說(shuō)明模型來(lái)解決這個(gè)問(wèn)題，模型使用它正在觀(guān)察的照片中的場(chǎng)景片段來(lái)造句。在每一個(gè)生成步驟中，團(tuán)隊(duì)的AI都可以選擇關(guān)注最后一步的視覺(jué)或文本提示。

為了確保生成的文字說(shuō)明聽(tīng)起來(lái)不太機(jī)械化，研究團(tuán)隊(duì)在訓(xùn)練時(shí)使用了生成對(duì)抗網(wǎng)絡(luò)(GANs)——由生成樣本的生成器和試圖區(qū)分生成樣本和現(xiàn)實(shí)世界樣本的鑒別器組成的兩部分神經(jīng)網(wǎng)絡(luò)。共同注意鑒別器通過(guò)一個(gè)在像素級(jí)匹配場(chǎng)景和生成單詞的模型對(duì)新句子的“自然度”進(jìn)行評(píng)分，使文字說(shuō)明者能夠通過(guò)圖像和句子成對(duì)來(lái)進(jìn)行合成。

文字說(shuō)明系統(tǒng)中的另一個(gè)常見(jiàn)問(wèn)題是，如何避免訓(xùn)練數(shù)據(jù)集的偏差，即經(jīng)常遭受過(guò)度擬合(特定數(shù)據(jù)集過(guò)于接近的分析)就需要構(gòu)建診斷工具，否則并不適合推廣到學(xué)習(xí)對(duì)象(“床和臥室”)出現(xiàn)在看不見(jiàn)的環(huán)境(“床和森林”)中的場(chǎng)景。為此，研究人員提出了一種標(biāo)題圖像的測(cè)試語(yǔ)料庫(kù)，其設(shè)計(jì)方式使得不良模型性能表明過(guò)度擬合。

在實(shí)驗(yàn)中，Amazon's Mechanical Turk評(píng)估人員負(fù)責(zé)識(shí)別AI模型生成的文字說(shuō)明，并判斷每句話(huà)對(duì)相應(yīng)圖像的描述程度，給出幾個(gè)真實(shí)的和合成的樣本，研究人員表示，他們的文字說(shuō)明總體上取得了“良好”的性能。他們相信他們的工作為強(qiáng)大的新計(jì)算機(jī)視覺(jué)系統(tǒng)奠定了基礎(chǔ)，并打算在未來(lái)的工作中繼續(xù)探索這些系統(tǒng)。另外，銜接語(yǔ)言和視覺(jué)語(yǔ)義的鴻溝表明需要將常識(shí)和推理融入場(chǎng)景理解中。

未來(lái)，圖像文字說(shuō)明的自動(dòng)生成和場(chǎng)景理解的進(jìn)步，使AI系統(tǒng)可以作為視覺(jué)障礙者的助理改善他們的日常生活。