來自：哈工大訊飛聯(lián)合實(shí)驗(yàn)室

本期導(dǎo)讀：本文是對(duì)受控文本生成任務(wù)的一個(gè)簡單的介紹。首先，本文介紹了受控文本生成模型的一般架構(gòu)，點(diǎn)明了受控文本生成模型的特點(diǎn)。然后，本文介紹了受控文本生成技術(shù)在故事生成任務(wù)和常識(shí)生成任務(wù)上的具體應(yīng)用，指出了受控文本生成技術(shù)在具體應(yīng)用場景下的改進(jìn)方向。

0. 什么是受控文本生成

文本生成任務(wù)是自然語言處理領(lǐng)域十分重要的一類任務(wù)。文本摘要、語法糾錯(cuò)、人機(jī)對(duì)話等很多自然語言處理任務(wù)都可以被視為文本生成任務(wù)。GPT-2、BART、T5等文本生成相關(guān)的技術(shù)也在這些任務(wù)上取得了較好的效果。

受控文本生成任務(wù)與常規(guī)的文本生成任務(wù)有一些不同。常規(guī)的文本生成任務(wù)對(duì)生成文本的內(nèi)容（Content）通常沒有強(qiáng)制性的約束，而受控文本生成任務(wù)會(huì)要求生成文本的內(nèi)容必須滿足一些既定的約束條件，如風(fēng)格（Style）、主題（Topic）等。

例如，文本風(fēng)格轉(zhuǎn)換（Text Style Transfer）就是一類十分經(jīng)典的受控文本生成任務(wù)，該任務(wù)要求生成文本的內(nèi)容在語義上需要與轉(zhuǎn)換前保持一致，在風(fēng)格上需要轉(zhuǎn)換為預(yù)定義好的目標(biāo)風(fēng)格。從應(yīng)用的角度來看，受控文本生成技術(shù)更有希望構(gòu)建出場景適配的、用戶可接受的文本生成系統(tǒng)。因此，受控文本生成技術(shù)已經(jīng)被越來越多的研究者關(guān)注。

1. 受控文本生成模型的一般架構(gòu)

CMU的一些研究者們發(fā)表在COLING 2020的一篇論文對(duì)受控文本生成模型的一般架構(gòu)（見圖1）進(jìn)行了比較細(xì)致的描述。受控文本生成模型在生成受控文本時(shí)可以通過5個(gè)子模塊對(duì)生成文本進(jìn)行控制。

第一個(gè)模塊稱為額外輸入模塊（External Input module），該模塊負(fù)責(zé)提供生成受控文本時(shí)的初始信號(hào)。

第二個(gè)模塊稱為序列輸入模塊（Sequential Input module），該模塊負(fù)責(zé)提供生成受控文本時(shí)每個(gè)時(shí)間步上的輸入。

第三個(gè)模塊稱為生成操作模塊（Generator Operations module），該模塊決定每個(gè)時(shí)間步向量表示的計(jì)算方式，即是使用RNN計(jì)算，還是使用Transformer計(jì)算，亦或是使用其他計(jì)算方式。

第四個(gè)模塊稱為輸出模塊（Output module），該模塊負(fù)責(zé)將每個(gè)時(shí)間步的向量表示映射為輸出結(jié)果。

第五個(gè)模塊稱為訓(xùn)練目標(biāo)模塊（Training Objective module），該模塊負(fù)責(zé)損失函數(shù)的計(jì)算。

其中額外輸入模塊，是受控文本生成模型中比較特殊且重要的一個(gè)模塊，該模塊通常會(huì)提供一個(gè)與控制目標(biāo)相關(guān)的向量表示作為受控文本生成的初始信號(hào)，從而保證生成的文本滿足預(yù)定義的控制目標(biāo)。另外，輸出模塊也是受控文本生成模型致力于改進(jìn)的一個(gè)模塊。常規(guī)的文本生成任務(wù)只需要將每個(gè)時(shí)間步的向量表示映射為詞表分布作為輸出空間即可，而在受控文本生成模型中就需要通過某種方式改變輸出空間的分布去獲得期望的輸出結(jié)果。

2. 受控文本生成技術(shù)在故事生成任務(wù)上的應(yīng)用

本節(jié)介紹一個(gè)發(fā)表在EMNLP 2020上的利用受控文本生成技術(shù)改進(jìn)故事生成的工作。該工作使用的數(shù)據(jù)集為ROCStories dataset（該數(shù)據(jù)集中的每個(gè)故事都由5個(gè)句子組成），其任務(wù)設(shè)定為給定故事的第一個(gè)句子，機(jī)器自動(dòng)生成后面的句子。

如果不使用受控文本生成技術(shù)，該任務(wù)就是一個(gè)簡單的語言模型式的文本生成任務(wù)，直接使用GPT-2就可以完成。但是，直接使用GPT-2生成的故事很難保證生成的結(jié)果是語義連貫且邏輯自洽的。因此，將受控文本生成技術(shù)引入到故事生成任務(wù)中就有可能控制故事生成的內(nèi)容，從而改進(jìn)故事生成的效果。

該工作首先使用一個(gè)基于GPT-2的關(guān)鍵詞預(yù)測模型預(yù)測出與下一句相關(guān)的關(guān)鍵詞，然后使用這些關(guān)鍵詞去大規(guī)模的知識(shí)庫中檢索出與這些關(guān)鍵詞相關(guān)的三元組，這些三元組會(huì)通過一些模板被轉(zhuǎn)化為句子。

由于這些由三元組轉(zhuǎn)化的句子數(shù)量較多且可能存在大量的噪音，因此，還需要一個(gè)與下一句信息相關(guān)聯(lián)的基于BERT的排序模型對(duì)這些句子進(jìn)行排序，從而選擇出與下一句信息最相關(guān)的TopN個(gè)句子。在獲得這些來源于知識(shí)庫的句子后，我們就可以將這些句子作為控制信息并與當(dāng)前句進(jìn)行拼接一起作為GPT-2的輸入去生成下一句。上述流程需要循環(huán)進(jìn)行直到生成故事中所有的句子。圖2是該工作整體的流程圖。

圖2 基于知識(shí)庫信息控制的故事生成流程圖

這個(gè)工作雖然沒有對(duì)受控文本生成模型進(jìn)行改進(jìn)，但是從大規(guī)模知識(shí)庫中獲取控制信息進(jìn)行文本生成的思路還是有一定借鑒意義的。

3. 受控文本生成技術(shù)在常識(shí)生成任務(wù)上的應(yīng)用

本節(jié)介紹一個(gè)發(fā)表在ACL 2021上將受控文本生成技術(shù)應(yīng)用在常識(shí)生成任務(wù)上的工作。常識(shí)生成任務(wù)是一項(xiàng)比較新穎的文本生成任務(wù)。該任務(wù)的設(shè)定為給定一個(gè)概念集合，機(jī)器需要自動(dòng)生成一個(gè)能夠描述這個(gè)概念集合的句子，并且生成的句子不能違背常識(shí)。例如，給定一個(gè)概念集合{apple， bag， put}，理想情況下機(jī)器應(yīng)該生成“A girl puts an apple in her bag”這樣的句子。如果機(jī)器生成了“A girl eats an apple”或者“A girl puts a bag in her apple”，都不能算是一個(gè)合格的生成結(jié)果。因此，要想獲得一個(gè)較好的生成結(jié)果，我們首先需要保證的就是概念集合里的概念都要出現(xiàn)在輸出結(jié)果中。

本節(jié)介紹的工作提出了一種名為“Mention Flags”的方法，通過在解碼端引入一個(gè)提及標(biāo)記矩陣（Mention Flag Matrix）來標(biāo)記輸入項(xiàng)與輸出項(xiàng)的提及關(guān)系，從而控制每個(gè)時(shí)間步解碼時(shí)的輸出。提及標(biāo)記矩陣中的元素共有3種不同的取值，取0時(shí)表示該輸入項(xiàng)不是控制項(xiàng)，取1時(shí)表示該輸入項(xiàng)是控制項(xiàng)，但在輸出項(xiàng)中未出現(xiàn)。取2時(shí)表示該輸入項(xiàng)是控制項(xiàng)，并已經(jīng)在輸出項(xiàng)中出現(xiàn)。以輸入為{apple， bag， put}，輸出為“A girl puts an apple in her bag”為例。

在訓(xùn)練時(shí)，提及標(biāo)記矩陣可以通過輸入與輸出的對(duì)齊數(shù)據(jù)直接轉(zhuǎn)換得到。在推理時(shí)，我們只需要在每個(gè)時(shí)間步遞增式地?cái)U(kuò)充提及標(biāo)記矩陣的每一列即可。

最后是如何將提及標(biāo)記矩陣融入到模型中的問題。由于該工作使用的是基于Transformer的文本生成模型，其作者將提及標(biāo)記矩陣視為輸入項(xiàng)與輸出項(xiàng)的相對(duì)位置（Relative Position），在計(jì)算輸出項(xiàng)與輸入項(xiàng)的交叉注意力（Cross Attention）時(shí)將相對(duì)位置信息融入到模型計(jì)算中。

4. 小結(jié)

本文簡單介紹了受控文本生成與常規(guī)文本生成任務(wù)的區(qū)別，并對(duì)受控文本生成模型的一般架構(gòu)進(jìn)行了闡述。受控文本生成的特殊點(diǎn)主要在于受控信息的獲取以及對(duì)輸出結(jié)果的控制。因此，要想獲得一個(gè)較好的受控文本生成系統(tǒng)，就可以從這兩點(diǎn)上對(duì)文本生成的模型或方案進(jìn)行改進(jìn)。另外，文本還介紹了受控文本生成技術(shù)在故事生成任務(wù)和常識(shí)生成任務(wù)上的應(yīng)用，這些方法和思想同樣可以借鑒到其他受控文本生成任務(wù)中。

編輯：jq