1.開(kāi)篇

去年年底，各大榜單上風(fēng)起云涌，各路英雄在榜單上為了分?jǐn)?shù)能多個(gè)0.01而不停的躁動(dòng)，迫不及待地想要向外界秀秀自己的肌肉。

怎么回事呀，小老弟？

我們打開(kāi)了中文NLP知名的評(píng)測(cè)網(wǎng)站CLUE，卻看到……

怎么全是Bert和它的兄弟？

遙想4年前，還全是RNN，LSTM和CNN的天下，怎么轉(zhuǎn)眼都不見(jiàn)了？LSTM不禁長(zhǎng)嘆：年輕人，不講武德！欺負(fù)我這個(gè)25歲的老同志。

那么有沒(méi)有辦法讓LSTM重新煥發(fā)青春呢？有！知識(shí)蒸餾！

2.什么是知識(shí)蒸餾？

知識(shí)蒸餾的思想很簡(jiǎn)單，就是讓一個(gè)教師模型來(lái)指導(dǎo)學(xué)生模型，讓學(xué)生模型學(xué)到教師模型的知識(shí)，而知識(shí)蒸餾的的核心也就是知識(shí)。

依據(jù)蒸餾所用的知識(shí)，可以把蒸餾分成三種：

Response-based Distillation：學(xué)學(xué)教師最后的輸出就夠我喝一壺了。

Feature-based distillation：中間層的知識(shí)也不能放過(guò)，畢竟神經(jīng)網(wǎng)絡(luò)最擅長(zhǎng)的就是學(xué)習(xí)到層級(jí)信息。

Relation-based distillation：這些表面的知識(shí)完全不夠，還要深挖層與層之間的關(guān)系，樣本與樣本之間的關(guān)系。

而這些知識(shí)之所以有效，主要是因?yàn)殡[含的特征 (dark knowledge) 無(wú)法在數(shù)據(jù)層面表示出來(lái)，模型可以學(xué)習(xí)到這些特征。One-hot 無(wú)法衡量類(lèi)間的區(qū)別，知識(shí)蒸餾一定程度上起到了標(biāo)簽平滑的作用。比如說(shuō)馬，驢和樹(shù)他們?cè)跇?biāo)注上都是不同的，通過(guò)one-hot表示呈現(xiàn)的區(qū)別也一致，很顯然，馬和驢的相似性強(qiáng)于馬和樹(shù)，而我們的標(biāo)注無(wú)法衡量這種相似性，但是我們的教師模型卻可以學(xué)到這樣的知識(shí)。

細(xì)看這些年的BERT蒸餾都是這些套路：

DistilBERT: 學(xué)學(xué)教師最后的輸出就夠我喝一壺了

PKDBERT: 中間層的我也都要學(xué)

TinyBERT: embedding層的知識(shí)呢？我全都要！

TinyBERT對(duì)于知識(shí)的態(tài)度

既然能用蒸餾訓(xùn)練出一個(gè)性能強(qiáng)悍的小BERT，那可不可以用同樣的方法來(lái)蒸餾LSTM，讓他煥發(fā)第二春呢？

3.師夷長(zhǎng)技以制夷

蒸餾的第一步是要選取一個(gè)表現(xiàn)優(yōu)秀的教師模型，NER大榜的TOP1被RoBERTa搶先了，于是我們也選取RoBERTa作為我們的教師模型，在驗(yàn)證集上得分81.55。同時(shí)，在同樣的訓(xùn)練集下訓(xùn)練雙向LSTM，得分68.56。兩者F1得分差距較大，直接嘗試response-baseddistillation：

得分有所提升，但是和榜單上那個(gè)78、79的相比還是有很大的距離。這可怎么辦？

這可怎么辦？

有什么能進(jìn)一步提升模型能力的方法，想想各類(lèi)BERT都在幾個(gè)T的數(shù)據(jù)上用幾十塊GPU訓(xùn)練了幾百個(gè)小時(shí)，我們的LSTM只用個(gè)1萬(wàn)訓(xùn)練集當(dāng)然不可能擊敗他們。我們也要用數(shù)據(jù)增強(qiáng)！

4.數(shù)據(jù)增強(qiáng)

CLUE NER的數(shù)據(jù)集是來(lái)源于清華大學(xué)開(kāi)源的數(shù)據(jù)集THUCTC，所以我們嘗試使用THU-News數(shù)據(jù)集進(jìn)行增強(qiáng)。隨機(jī)采樣30萬(wàn)條進(jìn)行測(cè)試。

這個(gè)0如此之純粹，讓人一度以為是不是跑錯(cuò)了代碼，然后連續(xù)運(yùn)行三次，得到的結(jié)果都是0！

我們趕緊拿到報(bào)告，找到里面的bad case（沒(méi)有一條不是bad case），發(fā)現(xiàn)結(jié)果很直白，所有的預(yù)測(cè)全是O（非實(shí)體）。趕緊找來(lái)增強(qiáng)數(shù)據(jù)集出來(lái)看看，看到了這個(gè)：

THU-News新聞數(shù)據(jù)集-游戲部分

可以看出，大部分樣本一個(gè)實(shí)體都沒(méi)有，和我們的任務(wù)完全就不是相同的分布（skewed），用這種數(shù)據(jù)集來(lái)訓(xùn)練模型，訓(xùn)練出來(lái)的模型將所有的標(biāo)簽都認(rèn)為成O（非實(shí)體）。

5.那么怎么從這些雜亂的數(shù)據(jù)集中提取出可以用作增強(qiáng)的數(shù)據(jù)集呢？

如果讓人工來(lái)清洗數(shù)據(jù)集的話，對(duì)于數(shù)據(jù)增強(qiáng)需要幾十幾百倍的數(shù)據(jù)，NER標(biāo)注數(shù)據(jù)有有一點(diǎn)難度。人工根本行不通！

鑒于我們?cè)谑褂弥R(shí)蒸餾訓(xùn)練模型，那能不能請(qǐng)教師模型來(lái)幫忙清洗數(shù)據(jù)？

我們進(jìn)行了個(gè)大膽的嘗試，不對(duì)數(shù)據(jù)集進(jìn)行任何清洗，直接用教師模型對(duì)2000萬(wàn)的雜亂數(shù)據(jù)集進(jìn)行推理，然后只保留了教師模型認(rèn)為包含實(shí)體的數(shù)據(jù)：

教師模型輔助清洗后的數(shù)據(jù)

教師模型為我們選擇的這份數(shù)據(jù)集干凈的多，不包含無(wú)實(shí)體，無(wú)意義的句子。但是作為交換，原來(lái)的2000萬(wàn)數(shù)據(jù)集只剩下110萬(wàn)左右。

利用篩選后的數(shù)據(jù)集訓(xùn)練模型，得到：

CLUE NER 結(jié)果

不同增強(qiáng)數(shù)據(jù)集增強(qiáng)效果

可以看出，隨著增強(qiáng)數(shù)據(jù)集數(shù)量的提升，學(xué)生模型效果也在逐步提升。使用110萬(wàn)數(shù)據(jù)集，驗(yàn)證集的分?jǐn)?shù)可以達(dá)到79.68。繼續(xù)增加數(shù)據(jù)，效果應(yīng)該還會(huì)有進(jìn)一步提升。提交到榜單上，測(cè)試集的分?jǐn)?shù)可以達(dá)到78.299，CLUENER單項(xiàng)排第二名，眾多的BERT中擠出了一個(gè)LSTM。

nice!

6. 總結(jié)

利用少量的訓(xùn)練集訓(xùn)練教師模型，隨后收集增強(qiáng)數(shù)據(jù)集用來(lái)訓(xùn)練學(xué)生模型可以大幅提升學(xué)生模型的能力。這樣在業(yè)務(wù)的初期，只需要利用少量的標(biāo)注語(yǔ)料，便可達(dá)到一個(gè)相對(duì)可觀的一個(gè)效果，并且在服務(wù)部署方面使用小模型可以完成對(duì)GPU的一個(gè)釋放，實(shí)際測(cè)試中使用學(xué)生LSTMGPU加速比達(dá)到3.72倍，CPU加速比達(dá)到15倍。

而模型蒸餾這樣一個(gè)teacher-student的框架，可以十分靈活的選擇教師模型和學(xué)生模型選，比如教師模型可以通過(guò)集成選擇一個(gè)最好的效果，學(xué)生模型也可以任意嘗試各式的模型結(jié)構(gòu)比如CNN，LSTM，Transformers。當(dāng)然其他的模型壓縮方法，比如說(shuō)剪枝，近秩分解也可以與這樣的一個(gè)框架結(jié)合。而對(duì)于數(shù)據(jù)增強(qiáng)，在實(shí)際業(yè)務(wù)中，我們無(wú)需去尋找額外的公開(kāi)數(shù)據(jù)集，直接從實(shí)際業(yè)務(wù)中就能獲取大量的數(shù)據(jù)來(lái)進(jìn)行增強(qiáng)，這樣省去我們篩選數(shù)據(jù)的時(shí)間，也能更好的提升模型的效果。

這樣的一套框架在分類(lèi)，意圖識(shí)別槽位提取，多模態(tài)等相應(yīng)業(yè)務(wù)中都取得了較好的效果，甚至在增強(qiáng)數(shù)據(jù)集到達(dá)一定程度時(shí)超過(guò)了教師模型的效果。

原文標(biāo)題：【知識(shí)蒸餾】讓LSTM重返巔峰！

文章出處：【微信公眾號(hào)：深度學(xué)習(xí)自然語(yǔ)言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq