NER（命名實體識別）作為NLP的一項基本任務(wù)，其日常是訓(xùn)練人工智能（zhang）對一段文本中的專有名詞（人名、地名、機構(gòu)名等）進行識別和分類。

翻譯成計算機語言，就是從一段非結(jié)構(gòu)化的自然語言中找到各種實體，并將其分為合適的類別。且避免出現(xiàn)“江大橋同志到底就任了多少年南京市長”這樣的問題

但在數(shù)據(jù)缺乏，樣本不足的前提下，如何基于先驗知識進行分類和學(xué)習(xí)，這就是目前NLPer面臨的一道難題——少樣本（Few-Shot）。

雖然已有越來越多針對少樣本NER的研究出現(xiàn)（比如預(yù)訓(xùn)練語言模型BERT），但仍沒有一個專屬數(shù)據(jù)集以供使用。

而現(xiàn)在，共包含來自維基百科的18萬條句子，49萬個實體和460萬標注，并具有8個粗粒度（coarse-grained types）實體類型和66個細粒度（fine-grained types）實體類型的數(shù)據(jù)集來了。

這就是清華大學(xué)聯(lián)合阿里達摩院共同開發(fā)的，行業(yè)內(nèi)第一個人工標注（human-annotated）的少樣本NER數(shù)據(jù)集，F(xiàn)EW-NERD。

什么樣的數(shù)據(jù)集？

對比句子數(shù)量、標記數(shù)、實體類型等統(tǒng)計數(shù)據(jù)，F(xiàn)EW-NERD比相關(guān)領(lǐng)域內(nèi)已有的NER數(shù)據(jù)集都要更大。

此外，它也是規(guī)模最大的人工標注的數(shù)據(jù)集。

為實體命名常常需要聯(lián)系上下文，尤其是在實體類型很多時，注解難度將大大增加。

而FEW-NERD的注釋來自70位擁有語言學(xué)知識的注釋者，以及10位經(jīng)驗豐富的專家。

具體而言，每個段落會交由兩人獨立完成注釋，然后由專家審查，再對分批抽取數(shù)據(jù)進行雙重檢查。這很好地保證了注釋的準確性。

比如上述“London is the fifth album by the British rock band…”這句話中的實體“London”，就被準確標注成了“Art-Music”。

而在以段落為單位進行標注時，因為樣本量并不多，所以FEW-NERD數(shù)據(jù)的類別分布預(yù)計是相對平衡的，這也是它與以往NER數(shù)據(jù)集的一個關(guān)鍵區(qū)別。

并且在實踐中，大多數(shù)未見的實體類型都是細粒度的。而傳統(tǒng)的NER數(shù)據(jù)集（如CoNLL’03、WNUT’17、OntoNotes）只包含4-18個粗粒度的類型。

這就難以構(gòu)建足夠多的N元任務(wù)（N-way metatasks），并訓(xùn)練學(xué)習(xí)相關(guān)特征。

相比之下，F(xiàn)EW-NERD共包含了112個實體標簽， 并具有8個粗粒度實體類型，和66個細粒度實體類型。

基準的選擇

為了探索FEW-NERD所有實體類型之間的知識相關(guān)性（knowledge correlations），研究者進行了實體類型相似性的實證研究。

從實驗結(jié)果得知，相同粗粒度類型的實體類型具有較大的相似性，從而使知識遷移更加容易。

這啟發(fā)了研究者從知識遷移的角度進行基準設(shè)定。最終設(shè)置了三個基準：

FEW-NERD (SUP)
采用標準的監(jiān)督式NER設(shè)置，將70%的數(shù)據(jù)隨機分割為訓(xùn)練數(shù)據(jù)，10%為驗證數(shù)據(jù)，20%為測試數(shù)據(jù)。

FEW-NERD(INTRA)
少樣本學(xué)習(xí)任務(wù)，只包含粗粒度實體類型。

FEW-NRTD (INTER)
少樣本學(xué)習(xí)任務(wù)，包含60%的細粒度類型，20%的細粒度類型。

實際的應(yīng)用

針對少樣本命名實體識別，F(xiàn)EW-NERD提供了一個同時包含粗粒度和細粒度，且統(tǒng)一基準的大型數(shù)據(jù)集。

而作者也指出，由于精確的上下文標注，F(xiàn)EW-NERD數(shù)據(jù)集不僅可以用于少樣本場景，在監(jiān)督學(xué)習(xí)、終身學(xué)習(xí)、開放信息抽取、實體分類等任務(wù)上也可以發(fā)揮作用。

此外，建立在FEW-NERD基礎(chǔ)上的模型和系統(tǒng)，還能幫助構(gòu)建各個領(lǐng)域的知識圖譜（KGs），包括生物醫(yī)學(xué)、金融和法律領(lǐng)域，并進一步促進NLP在特定領(lǐng)域的應(yīng)用發(fā)展。

開發(fā)者還表示，將在未來增加跨域注釋、遠距離注釋和更精細的實體類型來擴展FEW-NERD。

原文標題：ACL-IJCNLP 2021|行業(yè)首個少樣本NER數(shù)據(jù)集，清華聯(lián)合阿里達摩院開發(fā)

文章出處：【微信公眾號：深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq