背景

生成表達(dá)復(fù)雜含義的多句文本需要結(jié)構(gòu)化的表征作為輸入，本文使用知識(shí)圖譜作為輸入的表征，研究一個(gè)端到端的graph-to-text生成系統(tǒng)，并將其應(yīng)用到科技類(lèi)文本寫(xiě)作領(lǐng)域。作者使用一個(gè)科技類(lèi)文章數(shù)據(jù)集的摘要部分，使用一個(gè)IE來(lái)為每個(gè)摘要提取信息，再將其重構(gòu)成知識(shí)圖譜的形式。作者通過(guò)實(shí)驗(yàn)表明，將IE抽取到知識(shí)用圖來(lái)表示會(huì)比直接使用實(shí)體有更好的生成效果。

graph-to-text的一個(gè)重要任務(wù)是從 Abstract Meaning Representation (AMR) graph生成內(nèi)容，其中圖的編碼方法主要有g(shù)raph convolution encoder，graph attention encoder，graph LSTM，本文的模型是graph attention encoder的一個(gè)延伸。

數(shù)據(jù)集

作者構(gòu)建了一個(gè)Abstract GENeration Dataset(AGENDA)，該數(shù)據(jù)包含40k個(gè)AI會(huì)議的論文標(biāo)題和摘要。對(duì)于數(shù)據(jù)集中的每篇摘要，首先使用SciIE來(lái)獲取摘要中的命名實(shí)體及實(shí)體之間的關(guān)系(Compare, Used-for, Feature-of, Hyponymof,Evaluate-for, and Conjunction)，隨后將得到的這些組織成無(wú)連接帶標(biāo)簽圖的形式。

模型

GraphWriter模型總覽

編碼器

構(gòu)建圖

將之前數(shù)據(jù)集中的無(wú)連接帶標(biāo)簽圖，轉(zhuǎn)化為有連接無(wú)標(biāo)簽圖，具體做法為：原圖中的每個(gè)表示關(guān)系的邊用兩個(gè)節(jié)點(diǎn)替代，一個(gè)表示正向的關(guān)系，一個(gè)表示反向的關(guān)系；增加一個(gè)與所有實(shí)體節(jié)點(diǎn)連接全局向量節(jié)點(diǎn)，該向量將會(huì)被用來(lái)作為解碼器的初始輸入。下圖中表示實(shí)體節(jié)點(diǎn)，表示關(guān)系，表示全局向量節(jié)點(diǎn)

最終得到的有連接，無(wú)標(biāo)簽圖為G=(V,E)，其中V表示實(shí)體/關(guān)系/全局向量節(jié)點(diǎn)，E表示連接矩陣(注意這里的G和V區(qū)別上述圖中的G和v)。

Graph Transformer

Graph Transformer由L個(gè)Block Network疊加構(gòu)成，在每個(gè)Block內(nèi)，節(jié)點(diǎn)的嵌入首先送入Graph Attention模塊。這里使用多頭自注意力機(jī)制，每個(gè)節(jié)點(diǎn)表征通過(guò)與其連接的節(jié)點(diǎn)使用注意力，來(lái)得到上下文相關(guān)的表征。得到的表征隨后再送入正則化層和一個(gè)兩層的前饋神經(jīng)網(wǎng)絡(luò)層。最后一層的得到的即表示上下文后的實(shí)體，關(guān)系，全局向量節(jié)點(diǎn)。

解碼器

在每個(gè)時(shí)間步t使用隱藏狀態(tài)來(lái)計(jì)算圖和標(biāo)題的上下文向量和，其中通過(guò)使用多頭注意力得到，

也通過(guò)類(lèi)似的方式得到，最終的上下文向量是兩者的疊加。隨后使用類(lèi)似pointer-network的方法來(lái)生成一個(gè)新詞或復(fù)制一個(gè)詞，

實(shí)驗(yàn)

實(shí)驗(yàn)包含自動(dòng)和人工評(píng)估，在自動(dòng)評(píng)估中，GraphWriter代表本篇文章的模型，GAT中將Graph Transformer encoder使用一個(gè)Graph Attention Network替換，Entity Writer僅使用到了實(shí)體和標(biāo)題沒(méi)有圖的關(guān)系信息，Rewriter僅僅使用了文章的標(biāo)題，

從上圖可以看到，使用標(biāo)題，實(shí)體，關(guān)系的模型（GraphWriter和GAT)的表現(xiàn)要顯著好于使用更少信息的模型。在人工評(píng)估中，使用Best-Worst Scaling，