微軟亞洲研究院成立20周年時(shí)表示：NLP將迎來黃金十年。

ACL2019NLP進(jìn)展趨勢(shì)也主要包括：預(yù)訓(xùn)練語言模型、低資源NLP任務(wù)（遷移學(xué)習(xí)/半監(jiān)督學(xué)習(xí)/多任務(wù)學(xué)習(xí)/主動(dòng)學(xué)習(xí)）、模型可解釋性、更多任務(wù)&數(shù)據(jù)集。

【預(yù)訓(xùn)練語言模型】已經(jīng)形成了一種新的 NLP 范式：使用大規(guī)模文本語料庫進(jìn)行預(yù)訓(xùn)練，對(duì)特定任務(wù)的小數(shù)據(jù)集微調(diào)，降低單個(gè) NLP 任務(wù)的難度。

預(yù)訓(xùn)練模型最開始是在圖像領(lǐng)域提出的，獲得了良好的效果，近幾年才被廣泛應(yīng)用到自然語言處理各項(xiàng)任務(wù)中。

預(yù)訓(xùn)練模型的應(yīng)用通常分為兩步：

第一步：在計(jì)算性能滿足的情況下用某個(gè)較大的數(shù)據(jù)集訓(xùn)練出一個(gè)較好的模型；

第二步：根據(jù)不同的任務(wù)，改造預(yù)訓(xùn)練模型，用新任務(wù)的數(shù)據(jù)集在預(yù)訓(xùn)練模型上進(jìn)行微調(diào)。

預(yù)訓(xùn)練模型的好處是訓(xùn)練代價(jià)較小，配合下游任務(wù)可以實(shí)現(xiàn)更快的收斂速度，并且能夠有效地提高模型性能，尤其是對(duì)一些訓(xùn)練數(shù)據(jù)比較稀缺的任務(wù)。

今天，給大家推薦的這10篇學(xué)術(shù)論文，都是經(jīng)典中的經(jīng)典，對(duì)大家在學(xué)習(xí)預(yù)訓(xùn)練模型時(shí)有很大幫助。其中有圖靈獎(jiǎng)得主的經(jīng)典之作，也有最強(qiáng)的特征提取器、最強(qiáng)的NLP模型、最全的大規(guī)模預(yù)訓(xùn)練模型，還有ACL2020最佳論文。

10篇經(jīng)典人工智能學(xué)術(shù)論文

這些論文是由老師盡心挑選的，非常適合對(duì)預(yù)訓(xùn)練模型有所了解的同學(xué)、有一定基礎(chǔ)的NLP同學(xué)、對(duì)詞向量有了解的同學(xué)、合適NLP知識(shí)進(jìn)階同學(xué)等。