01

—

研究動機(jī)

近年來，神經(jīng)機(jī)器翻譯（Neural Machine Translation, NMT）研究取得了重大的進(jìn)展。從大規(guī)模平行數(shù)據(jù)中學(xué)習(xí)具有大規(guī)模參數(shù)的通用神經(jīng)機(jī)器翻譯模型已經(jīng)比較成熟。當(dāng)需要處理特定場景中的翻譯任務(wù)時，人們廣泛采用領(lǐng)域自適應(yīng)技術(shù)將一個通用領(lǐng)域的神經(jīng)機(jī)器翻譯模型遷移到目標(biāo)領(lǐng)域。

然而現(xiàn)有領(lǐng)域自適應(yīng)研究考慮的領(lǐng)域仍比較粗糙，例如法律、醫(yī)療、科技、字幕等領(lǐng)域。事實上，在這些領(lǐng)域下還存在著非常多的細(xì)粒度領(lǐng)域。例如，科技領(lǐng)域下還包含著自動駕駛(Autonomous Vehicles, AV)、AI教育(AI Education, AIE)、實時網(wǎng)絡(luò)通信(Real-Time Networks, RTN)、智能手機(jī)(Smart Phone, SP)等等細(xì)粒度領(lǐng)域。即使這些領(lǐng)域都屬于科技領(lǐng)域，但是在這些領(lǐng)域中卻存在著不同的翻譯現(xiàn)象。在詞級別，以中文“卡”字為例，它在不同的細(xì)粒度科技領(lǐng)域中其實對應(yīng)著不同的英文翻譯（表格1）。在句子級別，在科技領(lǐng)域（FGraDA）和通用領(lǐng)域（CWMT）的分布存在著較大的差異的同時（圖1的左圖），科技領(lǐng)域內(nèi)部的細(xì)粒度領(lǐng)域的分布仍然存在著一定的差異（圖1的右圖）。

表格1中文“卡”在幾個科技細(xì)粒度領(lǐng)域?qū)?yīng)的翻譯

圖1數(shù)據(jù)分布差異可視化分析

細(xì)粒度領(lǐng)域自適應(yīng)問題是一個重要的實際應(yīng)用問題。當(dāng)研發(fā)人員需要為某個特定主題提供翻譯服務(wù)（比如為某個主題的會議提供翻譯）時，往往需要在特定的細(xì)粒度領(lǐng)域上取得更好的翻譯性能。在這些場景中，細(xì)粒度領(lǐng)域的專業(yè)性、研發(fā)部署的預(yù)算要求使得人們難以獲取大規(guī)模的細(xì)粒度領(lǐng)域平行數(shù)據(jù)，這進(jìn)一步加大了建模細(xì)粒度領(lǐng)域的難度。當(dāng)細(xì)粒度領(lǐng)域建模不準(zhǔn)確時，NMT模型很容易出現(xiàn)翻譯錯誤，包括專有名詞錯誤、一詞多義錯誤、漏譯錯誤等（表格2）。為了精確建模細(xì)粒度領(lǐng)域、解決細(xì)粒度領(lǐng)域自適應(yīng)問題，需要思考如何從多樣的非平行數(shù)據(jù)中挖掘有效的目標(biāo)領(lǐng)域信息。

表格2三種典型翻譯錯誤及樣例

02

—

貢獻(xiàn)

本文構(gòu)建了一份細(xì)粒度領(lǐng)域自適應(yīng)的中英機(jī)器翻譯數(shù)據(jù)集(FGraDA)。該數(shù)據(jù)集并不是為特定領(lǐng)域的翻譯提供數(shù)據(jù)支持，而是展示了一個包含多個細(xì)粒度領(lǐng)域的實際場景，制作了評估領(lǐng)域翻譯效果的驗證集和測試集數(shù)據(jù)，并提供了實際應(yīng)用中可能面臨的多種類型的數(shù)據(jù)資源。希望該數(shù)據(jù)集可以支持在細(xì)粒度領(lǐng)域自適應(yīng)方向的研究。

在FGraDA數(shù)據(jù)集上，我們比較了現(xiàn)有的部分自適應(yīng)方法，可以作為后續(xù)研究工作的實驗基準(zhǔn)；也分析了現(xiàn)有方法在進(jìn)行細(xì)粒度領(lǐng)域自適應(yīng)時存在的一些缺陷，希望能為后續(xù)研究工作提供參考。

03

—

數(shù)據(jù)集構(gòu)建

為了模擬真實場景，我們以四個有代表性的會議（CCF-GAIR, GIIS, RTC, Apple-Events）為基礎(chǔ)構(gòu)建FGraDA數(shù)據(jù)集。這四個會議對應(yīng)的領(lǐng)域分別是：自動駕駛、AI教育、實時網(wǎng)絡(luò)通信、智能手機(jī)，這些領(lǐng)域都屬于科技領(lǐng)域下的細(xì)分領(lǐng)域。我們?yōu)槊總€領(lǐng)域配備了詞典資源、wiki資源、驗證集、測試集（數(shù)據(jù)規(guī)模如表格3所示）。詞典資源和wiki資源作為獲取成本較低的非平行資源，包含著豐富的領(lǐng)域信息，用于細(xì)粒度領(lǐng)域建模及自適應(yīng)。驗證集和測試集則用于評估自適應(yīng)效果。下面將具體介紹這些資源的構(gòu)建過程。

表格3FGraDA數(shù)據(jù)集各領(lǐng)域數(shù)據(jù)規(guī)模報告

詞典相比于平行句對是一種獲取成本更低的資源。與此同時，詞典資源可以提供領(lǐng)域詞語的翻譯信息，這對于處理細(xì)粒度領(lǐng)域翻譯任務(wù)是非常有幫助的。因此，我們?yōu)槊總€領(lǐng)域人工標(biāo)注了一定規(guī)模的雙語詞典資源。表格4中展示了一些我們標(biāo)注的詞典條目示例。標(biāo)注完成后，我們請語言專家確認(rèn)了詞典的準(zhǔn)確性和可靠性。

表格4詞典條目示例

Wiki資源是機(jī)器翻譯研究中的一種重要的可利用資源。鑒于領(lǐng)域詞典中包含大量的領(lǐng)域詞語，我們利用這些英文領(lǐng)域詞語抽取細(xì)粒度領(lǐng)域相關(guān)的wiki頁面。具體來說，我們首先抽取標(biāo)題中包含領(lǐng)域詞語的wiki頁面作為種子頁面（seed page）。這些種子頁面中的內(nèi)容是與細(xì)粒度領(lǐng)域高度相關(guān)的，并且這些頁面中的部分內(nèi)容還會鏈接到其他相關(guān)頁面（如圖2所示）。因此我們利用這種天然存在的鏈接關(guān)系，收集種子頁面所鏈接到的一跳頁面（one-hop-link page），進(jìn)一步擴(kuò)充wiki資源。最終，抽取出的種子頁面和一跳頁面共同構(gòu)成了細(xì)粒度領(lǐng)域相關(guān)的wiki資源（數(shù)據(jù)規(guī)模如表格5所示）。該資源不僅包含了大量的單語文本，還包含了諸如鏈接關(guān)系的結(jié)構(gòu)知識，具有非常大的利用價值。

圖2Wiki資源示例

表格5Wiki資源數(shù)據(jù)規(guī)模報告

最后，為了評估細(xì)粒度領(lǐng)域自適應(yīng)效果，我們?yōu)楦鱾€細(xì)粒度領(lǐng)域標(biāo)注了平行數(shù)據(jù)作為驗證集和測試集。我們從上面提到的四個會議上收集了70個小時的錄音，然后使用內(nèi)部工具將其轉(zhuǎn)錄為文本。隨后我們進(jìn)行了數(shù)據(jù)清洗和數(shù)據(jù)脫敏，去除了文本語料中領(lǐng)域無關(guān)的句子和涉及隱私的人名、公司名。最終，經(jīng)過語言專家標(biāo)注，一共在四個領(lǐng)域上得到了4767條中英平行句對。我們把每個領(lǐng)域的平行數(shù)據(jù)分為兩部分：200條作為驗證集，剩下的作為測試集。我們可以看到，僅僅是收集少量平行數(shù)據(jù)用于評估就需要花費大量的人力、物力代價。在這種情況下，期望收集更多的平行數(shù)據(jù)用于自適應(yīng)學(xué)習(xí)是不現(xiàn)實的，因此本數(shù)據(jù)集也沒有提供這種資源。

04

—

基線結(jié)果

我們在FGraDA數(shù)據(jù)集上比較了部分現(xiàn)有自適應(yīng)方法（實驗結(jié)果如表格6所示）。實驗結(jié)果表明現(xiàn)有方法能夠利用數(shù)據(jù)集中提供的資源取得一定的提升，并且綜合使用詞典資源和wiki資源取得的提升最多。但是，這些方法在部分領(lǐng)域上的翻譯性能仍然較弱。為了進(jìn)一步對自適應(yīng)效果進(jìn)行分析，我們統(tǒng)計了表現(xiàn)最好的基線方法在測試集上的句子級別BLEU的分布情況（如圖3所示）。分布情況顯示自適應(yīng)模型在大部分句子上的翻譯狀況還不理想（BLEU分?jǐn)?shù)低于20），這也表明細(xì)粒度領(lǐng)域的翻譯效果仍然有待提升。

表格6基線方法在細(xì)粒度領(lǐng)域上的翻譯性能（BLEU）

圖3句子級別BLEU分布情況

05

—

有待解決的挑戰(zhàn)

在詞典資源方面，我們發(fā)現(xiàn)現(xiàn)有的領(lǐng)域自適應(yīng)方法還無法充分利用這些詞語翻譯知識。我們在測試集上統(tǒng)計了領(lǐng)域詞典條目的翻譯準(zhǔn)確率（實驗結(jié)果如表格7所示）。實驗結(jié)果表明，即使采用詞約束解碼算法Grid Beam Search（GBS），自適應(yīng)模型也無法100%正確翻譯出領(lǐng)域詞典中的領(lǐng)域詞語。為了進(jìn)一步分析在細(xì)粒度領(lǐng)域自適應(yīng)中使用詞典資源的挑戰(zhàn)，我們嘗試了調(diào)節(jié)GBS算法中的權(quán)重超參數(shù)（實驗結(jié)果如圖4所示）。實驗結(jié)果表明盡管我們可以調(diào)節(jié)GBS算法中的權(quán)重超參數(shù)強(qiáng)制模型翻譯出更多領(lǐng)域詞語，但是翻譯結(jié)果的BLEU分?jǐn)?shù)會大幅下降。這說明，簡單地通過詞約束解碼的方式并不能翻譯好領(lǐng)域詞語，如何更好地利用領(lǐng)域詞典仍然有待探索。

表格7領(lǐng)域詞典條目翻譯準(zhǔn)確率（%）

圖4不同權(quán)重下詞典詞語翻譯準(zhǔn)確率和BLEU分?jǐn)?shù)的變化情況

在wiki資源方面，現(xiàn)有的領(lǐng)域自適應(yīng)方法主要將wiki頁面中包含的文本作為單語數(shù)據(jù)使用，忽視了wiki頁面中包含的各種結(jié)構(gòu)化知識。這些知識對于理解領(lǐng)域詞語語義可能會起到非常重要的作用。我們在這里列舉出兩種重要的結(jié)構(gòu)化知識：（1）wiki頁面正文的第一句話通常是標(biāo)題的定義。以圖2中的頁面標(biāo)題“HDR”為例，正文的第一句話“High dynamic range (HDR) is a dynamic range higher than usual”，這是“HDR”的定義，可以幫助理解HDR的含義。（2）當(dāng)前wiki頁面中鏈接到其他wiki頁面的詞語往往和當(dāng)前wiki頁面的標(biāo)題是高度相關(guān)的。同樣以圖2中的頁面標(biāo)題“HDR”為例，該頁面中包含的“dynamic range”，“display devices”，“photography”等詞語都是和“HDR”高度相關(guān)的，也可以幫助理解“HDR”的含義。

在領(lǐng)域?qū)蛹壏矫?，現(xiàn)有的領(lǐng)域自適應(yīng)方法只考慮使用目標(biāo)領(lǐng)域?qū)?yīng)的領(lǐng)域資源進(jìn)行領(lǐng)域自適應(yīng)，忽略了利用相近細(xì)粒度領(lǐng)域中的資源。為了量化細(xì)粒度領(lǐng)域之間的近似關(guān)系，我們評估了適應(yīng)到各個領(lǐng)域的模型在另外三個領(lǐng)域的翻譯性能（實驗結(jié)果如表格8所示）。從翻譯性能的差異可以看出細(xì)粒度領(lǐng)域之間有的差距較大，有的差距較小。如何利用相近細(xì)粒度領(lǐng)域中的資源輔助當(dāng)前目標(biāo)細(xì)粒度領(lǐng)域建模，以及如何利用粗細(xì)粒度領(lǐng)域間的層級關(guān)系仍然是值得探究的問題。

表格8遷移到不同細(xì)粒度領(lǐng)域上的模型翻譯性能對比（BLEU）

06

—

總結(jié)

本文從實際問題出發(fā)，構(gòu)建了細(xì)粒度領(lǐng)域自適應(yīng)機(jī)器翻譯數(shù)據(jù)集FGraDA。我們在FGraDA 數(shù)據(jù)集對比了現(xiàn)有的部分領(lǐng)域自適應(yīng)方法，發(fā)現(xiàn)細(xì)粒度領(lǐng)域的翻譯效果仍然有待提升。進(jìn)一步的分析顯示FGraDA數(shù)據(jù)集中提供的多樣非平行資源中仍然存在著非常多有待挖掘的、對自適應(yīng)有益的信息。如何從各種不同資源中挖掘、利用這些信息建模細(xì)粒度領(lǐng)域，實現(xiàn)細(xì)粒度領(lǐng)域自適應(yīng)是一個有待研究的重要課題。

審核編輯 ：李倩