9月份，我們兩位同學(xué)一起組隊(duì)，參加Byte Cup 2018國(guó)際機(jī)器學(xué)習(xí)競(jìng)賽。本次比賽由中國(guó)人工智能學(xué)會(huì)和字節(jié)跳動(dòng)主辦，IEEE中國(guó)代表處聯(lián)合組織。比賽的任務(wù)是文章標(biāo)題自動(dòng)生成。最終，我們隊(duì)伍獲得了第一名。

1.比賽介紹

本次比賽的任務(wù)是給定文章文本內(nèi)容，自動(dòng)生成標(biāo)題。本質(zhì)上和文本摘要任務(wù)比較類似。本次比賽有100多萬篇文章的訓(xùn)練數(shù)據(jù)。

1.1數(shù)據(jù)介紹

詳細(xì)參見：https://biendata.com/competition/bytecup2018/data/。

本次競(jìng)賽使用的訓(xùn)練集包括了約130萬篇文本的信息，驗(yàn)證集1000篇文章，

測(cè)試集800篇文章。

1.2數(shù)據(jù)處理

文章去重，訓(xùn)練數(shù)據(jù)中包含一些重復(fù)數(shù)據(jù)，清洗，去重；

清洗非英文文章。

1.3評(píng)價(jià)指標(biāo)

本次比賽將使用Rouge（Recall-Oriented Understudy for Gisting Evaluation）作為模型評(píng)估度量。Rough是評(píng)估自動(dòng)文摘以及機(jī)器翻譯的常見指標(biāo)。它通過將自動(dòng)生成的文本與人工生成的文本（即參考文本）進(jìn)行比較，根據(jù)相似度得出分值。

2.模型介紹

本次比賽主要嘗試了seq2seq的方法。參考的模型包括Transformer模型和pointer-generator模型。

模型如下圖：

（其實(shí)就是將pointer-generator的copy機(jī)制加到transformer模型上）。

同時(shí)，嘗試了將ner-tagger和pos-tagger信息加入到模型中，如下圖所示：

3.問題分析

最開始我們嘗試了最基本的transformer模型，通過查看數(shù)據(jù)，遇到以下幾類明顯錯(cuò)誤：

OOV(out of vocabulary)；

數(shù)字，人名，地名預(yù)測(cè)錯(cuò)誤；

詞形預(yù)測(cè)錯(cuò)誤。

OOV問題，主要原因是數(shù)據(jù)集詞表太大，但是，模型能夠?qū)嶋H使用的詞表較??；數(shù)字，人名，地名預(yù)測(cè)錯(cuò)誤，主要原因是低頻詞embedding學(xué)習(xí)不充分；詞形預(yù)測(cè)錯(cuò)誤，主要原因是模型中沒有考慮詞的形態(tài)問題（當(dāng)然，如果訓(xùn)練數(shù)據(jù)足夠大，是能避免這個(gè)問題的）。

為了解決這些問題，我們嘗試了以下方法。

4.重要組件

4.1copy機(jī)制

對(duì)于很多低頻詞，通過生成式方法生成，其實(shí)是很不靠譜的。為此，我們借鑒Pointer-generator的方法，在生成標(biāo)題的單詞的時(shí)候，通過Attention的概率分布，從原文中拷貝詞。

4.2subword

為了避免oov問題，我們采用subword的方法，處理文本。這樣，可以將詞表大小減小到20k，同時(shí)，subword會(huì)包含一些單詞詞形結(jié)構(gòu)的信息。

4.3ner-tagger和pos-tagger信息

因?yàn)閎aseline在數(shù)字，人名，地名，詞形上預(yù)測(cè)錯(cuò)誤率較高，所以我們考慮能不能將ner-tagger和pos-tagger信息加入到模型中。如上圖所示。實(shí)驗(yàn)證明通過加入這兩個(gè)序列信息能夠大大加快模型的收斂速度（訓(xùn)練收斂后，指標(biāo)上基本沒差異）。

4.4Gradient Accumulation

在實(shí)驗(yàn)過程中，我們發(fā)現(xiàn)transformer模型對(duì)batch_size非常敏感。之前，有研究者在機(jī)器翻譯任務(wù)中，通過實(shí)驗(yàn)也證明了這一觀點(diǎn)。然而，對(duì)于文章標(biāo)題生成任務(wù)，因?yàn)槊總€(gè)sample的文章長(zhǎng)度較長(zhǎng)，所以，并不能使用超大batch_size來訓(xùn)練模型，所以，我們用Gradient Accumulation的方法模擬超大batch_size。

4.5ensemble

采用了兩層融合。第一層，對(duì)于每一個(gè)模型，將訓(xùn)練最后保存的N個(gè)模型參數(shù)求平均值（在valid集上選擇最好的N）。第二層，通過不同隨機(jī)種子得到的兩個(gè)模型，一個(gè)作為生成候選標(biāo)題模型（選擇不同的beam_width, length_penalty）, 一個(gè)作為打分模型，將候選標(biāo)題送到模型打分，選擇分?jǐn)?shù)最高的標(biāo)題。

5.失敗的方法

將copy機(jī)制加入到transformer遇到一些問題，我們直接在decoder倒數(shù)第二層加了一層Attention層作為copy機(jī)制需要的概率分布，訓(xùn)練模型非常不穩(wěn)定，并且結(jié)果比baseline還要差很多；

我們嘗試了bert，我們將bert-encoder抽出的feature拼接到我們模型的encoder的最后一層，結(jié)果并沒有得到提升；

word-embedding的選擇，我們使用glove和fasttext等預(yù)訓(xùn)練的詞向量，模型收斂速度加快，但是，結(jié)果并沒有random的方法好。

6.結(jié)束語

非常感謝主辦方舉辦本次比賽，通過本次比賽，我們探索，學(xué)習(xí)到了很多算法方法和調(diào)參技巧。