本文總結(jié)了2018年下半年，最火的開源框架、模型，以及社區(qū)。同時還提到一個有趣的現(xiàn)象，每20分鐘就有一篇AI論文現(xiàn)世。最后作者為推薦3本經(jīng)典深度學(xué)習(xí)教程。

代筆們，槍手們，小心了！會改文風(fēng)的AI來了！

日前，在加拿大蒙特利爾舉辦的AI頂會NeurIPS 2018上，來自密歇根大學(xué)和谷歌大腦的研究人員提出了一種新的面向NLP任務(wù)的機器學(xué)習(xí)新架構(gòu)，不僅能夠根據(jù)給定的實例生成句子，而且能夠在保留句子意思的情況下，改變句子表達的感情、時態(tài)、復(fù)雜度等屬性。

論文鏈接：

https://papers.nips.cc/paper/7757-content-preserving-text-generation-with-attribute-controls.pdf

研究人員稱，這一技術(shù)有望可能用于多種用途，比如復(fù)述、小組會議、機器翻譯、對話系統(tǒng)等。該系統(tǒng)可以作為今年前不久微軟推出的NLP弱結(jié)構(gòu)關(guān)系推理工具的有力補充。

研究人員表示，“我們通過本文解決了對句子屬性的修改問題，在無需平行數(shù)據(jù)的情況下首次成功對句子的多個屬性進行了修改?！?/p>

本文中介紹的AI系統(tǒng)可以改變句子的感情色彩，即褒貶義、正負面感情色彩的改變。數(shù)據(jù)集來自Yelp用戶點評內(nèi)容和IMDB影片評論

該團隊首先解決感情控制問題。研究數(shù)據(jù)基于兩大用戶生成的文本數(shù)據(jù)集：點評應(yīng)用Yelp評論數(shù)據(jù)集的過濾版本，以及IMDB網(wǎng)站上的大量電影評論進行，這兩個數(shù)據(jù)集的句子數(shù)量分別達到44.7萬和30萬，用于訓(xùn)練系統(tǒng)。

在訓(xùn)練之后，研究人員使用12.8萬條Yelp餐廳評論和3.6萬條IMDB電影評論的測試數(shù)據(jù)集，嘗試從具有負面情緒的句子中生成具有正面情緒的文本片段，反之亦然。

BLEU是評估機器翻譯文本質(zhì)量的標(biāo)準(zhǔn)化指標(biāo)，本文中提出的AI系統(tǒng)在BLEU評估中的表現(xiàn)勝過了兩種當(dāng)前效果最好的文本生成方法。

此外，這個系統(tǒng)始終能夠生成與輸入句子相關(guān)的、語法正確的句子。在某種程度上，參與亞馬遜Mechanical Turk項目的人認為模型生成的輸出比以前的方法得到的輸出的真實度更高。

該模型生成的句子非常連貫自然。比如，它將“柜臺后面的人并不友好”轉(zhuǎn)換成了“柜臺上的人非常友好和樂于助人。”在另一個例子中，該模型把“這是關(guān)于這部電影，還有一個有趣的方面”，變成了這部電影“沒有值得關(guān)注的質(zhì)量”。

令人更加印象深刻的是，另一項測試中的研究人員使用該系統(tǒng)同時控制句子的多種屬性，包括情緒，時態(tài)，聲音和情緒等。在對多倫多BookCorpus數(shù)據(jù)集的200萬個文本片段的數(shù)據(jù)集進行訓(xùn)練之后，模型能夠?qū)頃r句子中的指示性情緒（“John將無法住在營地里”），轉(zhuǎn)換為條件時態(tài)中的虛擬語氣（“John不能住在營地“）。

如上圖所示，系統(tǒng)可以同時修改輸入句子的多個屬性，如感情、時態(tài)、主動/被動式以及肯定/否定等

研究人員表示，“本文表明，我們的轉(zhuǎn)換模型通過各種實驗和指標(biāo)有效地反映了條件信息。以前的成果主要是關(guān)于句子單個屬性的控制，并在兩種模式之間進行轉(zhuǎn)換，本文中的模型應(yīng)用很容易擴展到多屬性的轉(zhuǎn)換場景。在這個框架下，未來方向是轉(zhuǎn)換句子紅具有連續(xù)值的屬性，以及范圍更大的語義和句法屬性。“

量度標(biāo)準(zhǔn)與實驗結(jié)果

表1：情感條件句子生成的定量評估。 屬性兼容性表示生成的句子的標(biāo)簽的準(zhǔn)確性，由預(yù)訓(xùn)練后的分類器來量度。句子內(nèi)容的保留程度由（BLEU-1（B-1）和BLEU-4（B-4）分數(shù)）評估。 根據(jù)預(yù)訓(xùn)練的分類器量度生成“困惑度”指標(biāo)，來評估輸出句子的流暢度。 對于準(zhǔn)確性和內(nèi)容兼容性指標(biāo)，數(shù)值越高更好，對于困惑度，數(shù)字越低越好。

表2：對于模型生成的句子的人類評估結(jié)果。 表中數(shù)字分數(shù)表示由真人判斷為具有適當(dāng)屬性標(biāo)簽和內(nèi)容的句子占輸出的百分比。流利度評分采用5分制

表3：將古英語翻譯成現(xiàn)代英語的示例。表中seq2seq模型受并行數(shù)據(jù)監(jiān)控。研究人員在無監(jiān)督（無并行數(shù)據(jù)）和半監(jiān)督（成對和不成對數(shù)據(jù)）條件下對模型進行測試