寫在前面

自然語言文本中經(jīng)常會出現(xiàn)一些拼寫錯誤（typo），在中文文本里即所謂的錯別字，中文拼寫糾錯（Chinese Spelling Correction，CSC）可以對中文文本中的 typo 進行檢測和糾正。拼寫糾錯在諸多 NLP 任務和應用中都有重要作用，如 OCR、語音識別和搜索引擎等。在 NLP 任務和日常工作生活場景中，中文文本中的 typo 主要是拼音和字形相似導致的，示例如表 1 所示。

表 1

一般 CSC 系統(tǒng)的輸入和輸出序列長度相同，所以現(xiàn)在 CSC 系統(tǒng)主要采用基于 BERT 的非自回歸生成模型，這些模型依據(jù)輸入序列中的所有字符來平行生成每個位置的字符，而隨著 BERT 等預訓練模型的成功，CSC 模型的性能也有了極大的提升。

雖然 BERT 模型很強大，但其在解決 CSC 任務時也會遇到一些問題。

首先，基于 BERT 的 CSC 模型根據(jù) typo 本身及其上下文對該處 typo 進行檢測和糾正，但當一個句子中有多處拼寫錯誤（multi-typo）時，則句子中每個字符的上下文都至少包含一處 typo，這導致其信息中含有噪聲，從而影響模型的效果。論文統(tǒng)計了中文拼寫糾錯任務 SIGHAN13、14、15 的測試集中的 multi-typo 數(shù)據(jù)，如表 2 所示，并且把這些數(shù)據(jù)抽出做成測試集，測試模型對 multi-typo 文本的糾錯能力，結(jié)果如表 3 所示（character-level），結(jié)果證實了上述結(jié)論。

其次，BERT 是掩碼語言模型，其從大規(guī)模語料中學習怎樣根據(jù)上下文恢復被遮掩的 token，但對于一個被遮掩的位置可能有多個有效的字符，這時候 BERT 模型則會傾向于恢復成最常見的那一個，而在 CSC 任務中，則表現(xiàn)為模型可能會把一個有效的表述改成另外一種更常見的表述，比如將“這并非是說……”改成“這并不是說……”。

表 2

表 3

針對上述的兩個問題，來自騰訊 AI 平臺部門和北京大學的研究人員提出了一種名為 CRASpell 的解決方法，讓我們一起來看看吧。

論文標題

CRASpell： A Contextual Typo Robust Approach to Improve Chinese Spelling Correction

論文作者

Shulin Liu， Shengkang Song， Tianchi Yue， Tao Yang， Huihui Cai， Tinghao Yu， Shengli Sun

作者單位

Tencent AI Platform Department， China

Peking University， China

論文鏈接

https://aclanthology.org/2022.findings-acl.237/

項目代碼

https://github.com/liushulinle/CRASpell

CRASpell 介紹

該論文將 multi-typo 降低模型性能的問題稱作 Contextual Typo Disturbance，將模型對文本不必要的糾正稱為 Overcorrection，并針對這兩個問題提出了 CRASpell 模型，其結(jié)構(gòu)如圖 1 所示：

圖 1

由圖 1 我們可以看到，CRASpell 主要分為兩部分，左邊為 Correction Module，右邊為 Noise Modeling Module。

1. Correction Module

Correction Module 中，Transformer Encoder 加 Generative Block 就是一個基本的 CSC 模型，Generative Block 計算并輸出一個 generative distribution，其過程可以描述為：

（1）

論文中使用 copy mechanism ［1-2］ 來解決 Overcorrection 的問題，其對于輸入序列中的每一個 token，都有一個 one-shot 向量的 copy distribution，其形式可以描述為：

（2）

Copy Block 則是用來輸出一個 copy probability，計算過程如下：

（3）

然后以 copy probability 為權(quán)重，將 copy distribution 和 generative distribution 相加作為最后輸出，這樣相當于給輸入的 token 額外加上了一個偏重，讓模型更加傾向于保留原來的 token：

（4）

2. Noise Modeling Module

針對 Contextual Typo Disturbance 問題，CRASpell 提出了 Noise Modeling Module，其思想是訓練模型在原始上下文和有噪聲的上下文中輸出相似的概率分布。

Noise Modeling Module 的結(jié)構(gòu)也是 Transformer Encoder 加 Generative Block，不同的是其前面還有一個 Noisy Block，其通過替換的方式在 typo 的上下文中插入噪聲，而噪聲上下文的質(zhì)量又受到兩個因素的影響：

a. 插入噪聲的位置

作者根據(jù)表 3 的實驗結(jié)果，決定在 typo 周圍 個字符內(nèi)選擇， 時如圖 2 所示，如果句子中沒有錯誤或者選擇的位置正好是一處 typo，則不插入噪聲。

圖 2

b. 應該替換成什么字符

論文中使用公開的混淆集（confusion set）［3］，將選擇位置上的字符替換成其相似字符，這也是 CSC 任務中制作偽數(shù)據(jù)的常用方法，不同類型字符的替換比例為：70%近音字、15%近形字以及 15%隨機選擇的字符。

原始輸入經(jīng)過 Noisy Block 插入噪聲后得到新的輸入，經(jīng)過 Noise Modeling Module 后的輸出為 ， 最后將其與 Correction Module 中的 generative distribution 共同計算 KL 散度損失：

（5）

在 Correction Module 中，給定訓練樣本 （X， Y），對于式 （4） 中的 ，其每個位置的 token 的 loss 為：

（6）

結(jié)合式 （5） 和式 （6），得到整個模型訓練的損失函數(shù)為：

（7）

（8）

這里我們可以看到，Noise Modeling Module 只在訓練時被用到，而插入噪聲的位置沒有計算在 loss 內(nèi)，這樣做是為了不改變訓練過程中數(shù)據(jù)里 typo 的數(shù)量，讓插入的噪聲只起到改變上下文信息的作用。

實驗設(shè)置和結(jié)果

數(shù)據(jù)集方面，論文中的訓練集包括 10K 人工標注的 SIGHAN 數(shù)據(jù) ［3-5］，加上 271K 的自動生成的數(shù)據(jù) ［6］，測試集使用的是 SIGHAN15 的測試集，另外作者還抽取了 SIGHAN15 測試集中所有的 multi-typo 數(shù)據(jù)以及相同數(shù)量的 negative（不含 typo）數(shù)據(jù)，組成了 multi-typo 測試集，如表 4 所示。指標采用了 character-level 的 precision、recall 和 F1 分數(shù)，即預測對一個 typo 標簽算一個正確的預測結(jié)果，這樣更能體現(xiàn)論文提出的方法對 multi-typo 的提升效果。

表 4

基線模型：

SoftMask：提出 soft-masking 策略提升 BERT 的錯誤檢測性能；

SpellGCN：將 GCN 與 BERT 結(jié)合對字符間的關(guān)系進行建模；

Tail2Tail：基于 BERT 的模型，但把解碼器換成了 CRF；

cBERT：論文作者發(fā)表于 2021 年的工作，用 CSC 數(shù)據(jù)進行預訓練的 BERT，論文提出的 CRASpell 模型也用 cBERT 進行初始化；

PLOME：與 cBERT 相同，但另外融合了從拼音和筆畫獲取的發(fā)音和字形特征；

cBERTCopy：將 copy mechanism 應用在 cBERT 上；

cBERTNoise：將 Noise Modeling Module 應用在 cBERT 上；

cBERTRdrop：基于 cBERT 實現(xiàn)的 Rdrop 方法 ［7］。

1. Main Results

表 5

我們可以從表 5 中看到，Noise Modeling Module 和 copy mechanism 都能提升模型性能，使用了 Noise Modeling Module 的 cBERTNoise 和 CRASpell 在 multi-typo 測試集上均取得了優(yōu)于其他方法的結(jié)果（Correction-level 的 Precision 高于 Detection-level，是因為其分母是在 ground-truth 范圍內(nèi)的預測標簽的數(shù)量，而不是所有預測標簽的數(shù)量），而另外還使用了 copy mechanism 的 CRASpell 則在兩個測試集都取得了最好結(jié)果。作者也從 SIGHAN14 的測試集中篩選出了一個 multi-typo 測試集，結(jié)果如表 6 所示。

表6

2. Effects of Different Replaced Positions

論文中對比了 Noisy Block 在輸入句子中選擇插入噪聲位置的兩種方式：

在整個句子中隨機選擇

在 typo 附近選擇結(jié)果如表 7 所示，作者還在測試集的數(shù)據(jù)中插入噪聲，測試噪聲與 typo 的距離對結(jié)果的影響，結(jié)果如圖 3 所示，兩組實驗的結(jié)果都表明距離 typo 較近的噪聲對模型的性能影響較大。

表 7

圖 3

3. Effects of Different Replaced Characters & the Copy Block

表 8 展示了插入噪聲的兩種方法：隨機從詞典中選取和從 confusion set 中選取的結(jié)果，可以看出 confusion set 的效果更好，因為從 confusion set 中選取的近音、近形字更接近實際場景下的 typo。Copy Block 被用來減少 BERT 模型對有效字符的修改，從表 9 可以看出其對 BERT 模型性能的提升，cBERT 因為在 CSC 數(shù)據(jù)上預訓練過，所以 Copy Block 對其提升幅度較小。

表 8

表 9

4. Comparison of Different Methods for Multi-typo Texts

作者為了展示 Noise Modeling Module 對模型的提升，另外實現(xiàn)了兩種基于 cBERT 的方法：

MultiRound：用 cBERT 對輸入進行多輪預測，直至不再修改；

NoiseTrain：用 Noise Block 生成的數(shù)據(jù)訓練 cBERT，插入噪聲的位置也參與 loss 計算。結(jié)果如表 10 所示，可以看出 NoiseTrain 提升效果最差，作者猜測是因為插入的噪聲使訓練數(shù)據(jù)中 typo 數(shù)量增加，且質(zhì)量偏低，從而導致模型在 single-typo 和 zero-typo 的數(shù)據(jù)上的效果變差，而 Noise Modeling Module 中插入的噪聲只作為上下文，不參與 loss 計算，作者認為這是導致結(jié)果差別巨大的關(guān)鍵所在。

表 10

總結(jié)

針對之前 CSC 模型的兩個限制：Contextual Typo Disturbance 和 Overcorrection，這篇論文提出了一種新的拼寫糾錯模型。針對第一個問題，論文提出了 Noise Modeling Module，在訓練過程中生成含噪聲的上下文，該方法有效地提升了模型在 multi-typo 文本上的糾錯效果。針對 Overcorrection 問題，論文將 Copy Block 與 CSC 模型結(jié)合，訓練模型在原字符有效的情況下盡量不進行修改。最終，該方法也是在 SIGHAN15 任務上取得了新的 SOTA。

原文標題：文本糾錯 | 怎樣改善模型對 multi-typo 的糾正效果？

文章出處：【微信公眾號：深度學習自然語言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。