近日，自然語(yǔ)言處理領(lǐng)域權(quán)威數(shù)據(jù)集SuperGLUE最新榜單排名更新。Google預(yù)訓(xùn)練模型T5保持第一，中國(guó)AI創(chuàng)業(yè)公司追一科技AI Lab團(tuán)隊(duì)超越Facebook AI，躍居榜單第二。值得注意的是，相比谷歌T5等超大規(guī)模研究型模型，追一此次登榜的RoBERTa-mtl-adv模型在商業(yè)化能力也非常強(qiáng)勁，相關(guān)技術(shù)已經(jīng)落地到追一科技的AI數(shù)字員工產(chǎn)品線上，持續(xù)賦能銀行、保險(xiǎn)、證券、零售、地產(chǎn)、能源，教育，互聯(lián)網(wǎng)等多個(gè)行業(yè)。

追一科技躍居SuperGLUE測(cè)試榜第二

SuperGLUE(Super General Language Understanding Evaluation)是當(dāng)下NLP領(lǐng)域難度最大，權(quán)威性最高，含金量最足的測(cè)評(píng)標(biāo)準(zhǔn)之一，由紐約大學(xué)、華盛頓大學(xué)以及谷歌旗下的DeepMind聯(lián)合Facebook作為主要發(fā)起人推出，最大程度涵蓋了現(xiàn)實(shí)生活中可能遇到的不同類型的NLP任務(wù)，旨在更真實(shí)地反映當(dāng)前最前沿的NLP技術(shù)可以達(dá)到的認(rèn)知智能水平。

追一科技在為企業(yè)提供智能交互服務(wù)的過(guò)程中，技術(shù)和應(yīng)用互相驅(qū)動(dòng)，將實(shí)際商業(yè)化應(yīng)用中總結(jié)出的多任務(wù)學(xué)習(xí)、對(duì)抗訓(xùn)練、知識(shí)蒸餾等技術(shù)手段和經(jīng)驗(yàn)融入到參賽模型中，并在SuperGLUE測(cè)評(píng)數(shù)據(jù)集上拿到第二的成績(jī)。

除去作為參照的人類水平，目前排名榜單第一的是Google的T5模型。從學(xué)術(shù)研究看，T5模型達(dá)到了目前“實(shí)驗(yàn)室智能”的最好水平，但如果考慮商用，T5需要耗費(fèi)大量的算力，且模型自身體積過(guò)于龐大，目前還不能落地到實(shí)際業(yè)務(wù)場(chǎng)景中，缺少實(shí)際的商業(yè)應(yīng)用價(jià)值。

而追一科技通過(guò)多任務(wù)學(xué)習(xí)、對(duì)抗訓(xùn)練以及知識(shí)蒸餾的方式，使得RoBERTa-mtl-adv模型大小合理，效果僅次于Google的T5。同時(shí)，相關(guān)技術(shù)也落地到了追一科技AI數(shù)字員工的產(chǎn)品線上。就SuperGLUE排名而言，可以說(shuō)追一科技的RoBERTa-mtl-adv模型在目前全球具有實(shí)際落地能力的NLP模型中效果最好，排名最高。

“學(xué)霸”模型的商業(yè)化能力

SuperGLUE測(cè)試項(xiàng)目并非是“花拳繡腿”，而是實(shí)實(shí)在在考驗(yàn)?zāi)Ｐ屯ㄓ媚芰Φ摹拌F人三項(xiàng)”;參加SuperGLUE也并非只是為了刷新評(píng)分，更重要的是檢驗(yàn)當(dāng)前技術(shù)能否很好地落地到實(shí)際應(yīng)用場(chǎng)景中去。

SuperGLUE覆蓋了問(wèn)答、推斷、語(yǔ)義理解、常識(shí)判斷等自然語(yǔ)言理解維度，是人機(jī)智能交互過(guò)程中的核心環(huán)節(jié)，在具體的業(yè)務(wù)場(chǎng)景中都有很重要的應(yīng)用價(jià)值。追一科技此次參賽模型的相關(guān)NLP技術(shù)已經(jīng)被成熟運(yùn)用于到自主研發(fā)的全套AI數(shù)字員工產(chǎn)品線上，廣泛服務(wù)于銀行、保險(xiǎn)、泛互聯(lián)網(wǎng)、地產(chǎn)、政企等多個(gè)行業(yè)的標(biāo)桿客戶。例如，在追一科技的智能在線機(jī)器人Bot中就融入了多輪問(wèn)答技術(shù)、語(yǔ)義檢索、機(jī)器閱讀理解技術(shù)等NLP技術(shù)，能準(zhǔn)確識(shí)別用戶意圖，滿足用戶需求。

口說(shuō)無(wú)憑，接下來(lái)就結(jié)合SuperGLUE中的任務(wù)與Bot的具體案例，一探虛實(shí)。

單/多輪問(wèn)答技術(shù)是指機(jī)器人和用戶之間一問(wèn)一答，實(shí)現(xiàn)多輪對(duì)話的過(guò)程。例如下面這個(gè)智能在線機(jī)器人Bot服務(wù)餐飲行業(yè)的場(chǎng)景：

智能在線機(jī)器人Bot不僅可以從對(duì)話中準(zhǔn)確識(shí)別出地點(diǎn)，人數(shù)等信息，還能進(jìn)一步追問(wèn)用戶未給出的“用餐時(shí)間”的信息，滿足客戶的需求。而傳統(tǒng)的客服機(jī)器人并不會(huì)對(duì)未給出的潛在信息做出反應(yīng)。

機(jī)器閱讀理解技術(shù)在于機(jī)器人去“用力”理解文檔中內(nèi)容的意思，從而根據(jù)用戶需求輸出相應(yīng)的結(jié)果。例如在金融保險(xiǎn)領(lǐng)域會(huì)涉及到大量保險(xiǎn)業(yè)務(wù)文檔的修訂、新增等情況。在面對(duì)客戶時(shí)，即使是富有經(jīng)驗(yàn)的客戶經(jīng)理，往往也很難迅速結(jié)合所有新增的文檔內(nèi)容進(jìn)行有效回答。這時(shí)，定制了閱讀理解技術(shù)的智能在線機(jī)器人Bot就又可以發(fā)揮作用了——可以實(shí)時(shí)幫助業(yè)務(wù)人員，針對(duì)相關(guān)問(wèn)題從新文檔中提取出答案，解決問(wèn)題，降低出錯(cuò)的概率。

自然語(yǔ)言推斷任務(wù)中“文本蘊(yùn)含”是常出現(xiàn)的形式，在實(shí)際用語(yǔ)中非常的普遍，參考下面這個(gè)銀行領(lǐng)域的例子：

因?yàn)榘捉鹦庞每▽儆谛庞每ǎ虼恕拔业陌捉鹦庞每ㄐ枰獟焓А碧N(yùn)含在“我的信用卡需要掛失”中，因此，智能在線機(jī)器人Bot 在回答用戶時(shí)只需準(zhǔn)確指引用戶如何掛失信用卡即可。

指代消解在人的交流過(guò)程中非常常見(jiàn)，在表達(dá)中適當(dāng)?shù)厥褂弥复鷷?huì)讓表達(dá)更加簡(jiǎn)練卻不影響本意的闡述。如下面這個(gè)出行領(lǐng)域的例子：

智能在線機(jī)器人Bot理解了客戶問(wèn)句里的“上次”其實(shí)指代的是“上次中途取消訂單”，所以立馬給出了正確回復(fù)。

然而，最難為機(jī)器人的是常識(shí)推斷，對(duì)語(yǔ)言的理解離不開對(duì)常識(shí)的掌握。舉這么一個(gè)例子：

機(jī)器人需要具備“影子是由太陽(yáng)升起照射留下的”這樣的常識(shí)性推斷，才能正確的選擇答案。對(duì)于人來(lái)說(shuō)，這些常識(shí)很簡(jiǎn)單，但是對(duì)于機(jī)器來(lái)說(shuō)，大量的這種常識(shí)知識(shí)都潛藏在我們意識(shí)的深處，AI系統(tǒng)的研究者幾乎不可能把所有這樣的常識(shí)都總結(jié)出來(lái)，并灌入到系統(tǒng)中，所以機(jī)器人在該數(shù)據(jù)集的表現(xiàn)往往不盡如人意。

落地到現(xiàn)實(shí)場(chǎng)景中，比如我們可以對(duì)智能在線機(jī)器人Bot說(shuō)“我銀行卡弄丟了”，Bot就會(huì)詢問(wèn)你是否需要掛失。因?yàn)樗邆淞恕芭獊G銀行卡需要掛失”這樣的業(yè)務(wù)常識(shí)。

可以看到，真實(shí)的交互場(chǎng)景中模型需要對(duì)語(yǔ)言的不同維度都具有理解能力才能完全正常流暢的對(duì)話。而上述的幾個(gè)例子中的問(wèn)題形式都很好地包含在了SuperGLUE的不同數(shù)據(jù)集中，因此，此次追一科技在SuperGLUE測(cè)評(píng)指標(biāo)上獲得的成績(jī)，不僅是對(duì)其RoBERTa-mtl-adv模型在理解自然語(yǔ)言技術(shù)上的一個(gè)肯定，還驗(yàn)證了“技術(shù)驅(qū)動(dòng)應(yīng)用，應(yīng)用導(dǎo)向技術(shù)”策略的可行性，更加堅(jiān)定了追一科技繼續(xù)深耕技術(shù)，持續(xù)用AI賦能百業(yè)的信念。