自然語言處理（NLP）是一門集語言學、計算機科學、人工智能于一體的科學，解決的是“讓機器可以理解自然語言”——這一到目前為止都還只是人類獨有的特權，因此被譽為人工智能皇冠上的明珠。

近日，采訪到了 NLP 領域的華人新星——加州大學圣巴巴拉分校助理教授王威廉，向他請教了 NLP 領域最前沿的研究問題，以及 NLP 研究方向的一些建議。

關于王威廉：2009 年畢業(yè)于深圳大學，隨后赴美留學，并先后在哥倫比亞大學和卡耐基梅隆大學獲得碩士和博士學位。他的研究范圍包括統(tǒng)計關系學習、信息提取、社交媒體、語音和視覺等等。2016 年博士畢業(yè)之后，王威廉加盟加州大學圣巴巴拉分校。如今，王威廉已經(jīng)是該校 NLP 小組的負責人，同時也是計算機科學系的助理教授。近幾年來，王威廉在一些重要的 NLP/AI/ ML 等會議和期刊上發(fā)表了 60 多篇論文，并多次獲得知名學術會議的最佳論文獎及提名。

1）您現(xiàn)在的主要研究領域是什么？有哪些最新進展？

王威廉：我的主要研究領域現(xiàn)在有三個：自然語言處理、機器學習、人工智能。

在自然語言處理領域，我們實驗室主要關注的方向是信息抽取，社交媒體，語音、語言處理，以及語言與視覺方面的研究；

在機器學習領域，我們比較關注的是強化學習、對抗學習以及深度學習技術的突破；

在人工智能總體領域，我們對知識的表示、推理、知識圖譜非常關注。

我們最近的一些突破，比如發(fā)表在 EMNLP 2017 上 DeepPath 首先提出了用強化學習的方法去做知識圖譜上的推斷，這項工作取得了很大的關注。我們還有一些相關的工作，比如用變分推理的方法去進一步提高知識圖譜路徑找尋的效率。

此外，我們還有不少在語言與視覺方面的嘗試，包括 video captioning，video storytelling，以及如何把深度強化學習技術與這些復雜的語言與視覺的技術相結合。我們嘗試了逆向的強化學習，去學習生成文本描述的多樣性，主動學習它的一些獎勵函數(shù)。我們最近也做了一些 language grounding 的工作，比如教機器人根據(jù)語言與視覺的信息來完成路徑的找尋，到達目的地。同時我們也在社交媒體領域做了不少關于假新聞、仇恨言論檢測的工作。

2）NLP 領域目前有哪些突破？未來的研究難點有哪些？

王威廉：在 NLP 領域，實體標注等工作的結果都非常好了，基本上都超過 90% 的準確率?，F(xiàn)在的一些工作，包括大家很關心的閱讀理解，在 SQuAD 上面第一版的結果已經(jīng)非常好了。在未來，我認為語言的生成還是一個很難的問題，就是如何去做一些可以控制的生成，如何保證語義的連貫性以及語法的正確性，這些都是在神經(jīng)網(wǎng)絡框架下難以做到的。

還有一個是推理的問題。我們?nèi)绾芜M一步地在分類、在序列標注等任務的基礎上設計一些算法以及機器學習的模型，然后讓機器能夠在一些復雜的任務上，尤其是一些推理的相關的任務上取得一些突破，這些還是相當難的問題。

3）NLP 領域里比較流行的 SQuAD 數(shù)據(jù)集的局限性在哪？NLP 領域需要怎樣的數(shù)據(jù)集？以及怎樣的評價標準？

王威廉：它的局限性有幾個，第一是數(shù)據(jù)量還不大，第二是機器做閱讀理解的時候其實并不需要完全理解這個問題，也不需要完全理解這個篇章，它可以用很簡單的模式識別的方法去找 pattern。比如說這個問題里面的哪個詞和篇章里面的哪個詞比較匹配，然后來回答答案。所以它并不能真正地理解語言，不能很好地理解問題，遇到復雜的問題就回答不了。

NLP 領域需要更加復雜的數(shù)據(jù)集，比如說多個文本，需要在知識圖譜里做一些推斷，需要根據(jù)上下文不同的假設去做一些推測，這樣的數(shù)據(jù)集可能會有更多的幫助。

評價標準是很多人在討論的一個話題，像 BLEU 等已經(jīng)用了一二十年了，它局限性非常大，比如說它不是通過語義的方法來做評價，而是是通過詞之間的 overlap（重疊）做的一個評價標準，所以它不能代替人類的評價。

4）Salesforce 開發(fā)了一個針對十大自然語言常見任務（問答、機器翻譯、摘要、自然語言推理、情感分析、語義角色標注、關系抽取、任務驅(qū)動多輪對話、數(shù)據(jù)庫查詢生成器和代詞消解）通用模型 decaNLP，這種通用模型有哪些優(yōu)缺點？

王威廉：個人認為多任務學習、是非常有意思的一個方向。你可以看一下 decaNLP 的單項結果，確實是比各個單項的 SOTA 還是有一些距離的。總體來說，這是非常有意思的一個研究方向，但是在實際應用中，每一個單項的成績比單項的 SOTA 還是有不小的距離。

5）基于 Attention 的網(wǎng)絡真的可以取代 RNN 及其變種嗎？為什么？

王威廉：不一定。RNN 及其變種確實有一些優(yōu)勢，比如它能夠把握 非常準確的本地語義關系，像LSTM 在 sequence tagging 等任務上還是能取得非常不錯的結果?？傮w來說，Transformer 還是很有意思的研究角度，但是實際情況是，它并沒有在除了機器翻譯之外的 NLP 任務上面取得最好的結果。

6）強化學習和 GAN 現(xiàn)在非常熱門，但在 NLP 任務中又有很多限制，面對這種現(xiàn)狀，科研人員應該怎么做？

王威廉：我覺得首先你要搞清楚為什么要用強化學習。在我看來，強化學習在 NLP 中可以做三件事情。第一件事情，你可以用它去做 learning to search，learning to rank，然后用強化學習作為解決傳統(tǒng)方法解決不了的問題的一種手段。第二件，我們發(fā)現(xiàn)在 reinforcedco-training 這個工作中，強化學習可以學習選擇數(shù)據(jù)，然后我們可以用強化學習去做 denoiser（去噪）。此外，還可以用強化學習去優(yōu)化 BLEU Score，ROUGE Score，我們最近發(fā)表在 ACL 2018 上的工作也有用逆向強化學習去學它的評價標準?？傊?，還是有不少值得研究的空間。

GAN 更是一個很有意思的方向。GAN 在 CV 領域取得了很好的結果，在 NLP 領域，由于語言是離散的，所以大家還在研究如何通過更好地設計對抗網(wǎng)絡，讓判別器可以去反向傳播錯誤，從而更好地更新生成器。我們在負例生成與遠程監(jiān)督去噪上也做了一些嘗試，包括今年的 KBGAN 和 DSGAN 。

總體來說，首先要搞清楚你為什么要做這個事情？你到底要做什么事情？強化學習跟 GAN 適不適合這個任務？搞清楚了這幾點，然后才有可能使得你的 NLP 的結果得到提升。如果搞不清楚就盲目應用 GAN 和強化學習，是是很難在你的任務中取得很好的結果的。

7）對于科研人員來說，NLP 里哪些研究方向更容易取得突破？

王威廉：自然語言研究有兩塊，一個是生成，一個是理解。生成和理解這兩塊其實都非常重要，比較難說哪一塊更容易取得突破。

但是生成的任務肯定是非常難的，因為首先詞匯量是無窮無盡的，然后 latent space 和詞的映射關系也是非常難做的，所以生成會是比較難一點。

至于理解任務，要看你做到哪一步了。如果你是做文本分類這些簡單一點的 任務，當然也有難一點的，比如說結構化預測，sequence tagging 會更難一點，那最難的可能就是比如說句法樹的生成，比如依存句法分析或者是語義分析。

8）面對目前 NLP 領域的研究困境，以往我們會在數(shù)據(jù)、ML 或 DL 等方法上做創(chuàng)新或改變，現(xiàn)在是否依然是這個思路？是否需要懂得語言學知識或者融合其他學科知識？

王威廉：在早些年，大家做 NLP 研究可能是研究計算語言學，就是怎樣用計算的方法去更好地理解語言學。現(xiàn)在基本上已經(jīng)變了，過去 10-15年，NLP 基本上是計算機科學家為主，他們可能會關心一些更加實用的任務，比如說機器翻譯，對話系統(tǒng)。大家可以看到，很多的 NAACL 、EMNLP 論文，往往是在數(shù)據(jù)、任務或者是機器學習的方法上做一些創(chuàng)新。

這其實也跟計算機學科有關，因為計算機學科本身喜歡在算法層面上做創(chuàng)新。至于需不需要語言學知識？在深度學習之前，大家覺得是需要的，有了深度學習之后，大家覺得可能不需要。但是現(xiàn)在大家又發(fā)現(xiàn)，像 Seq2Seq 模型的結果非常差，語義連貫性、語法正確性也都沒有保證，而大家又想把結構融合到深度學習模型里。所以我個人認為還是需要掌握一些語言學知識，至少對你學習和研究的語言要有一些基本的知識，而其他學科的知識，根據(jù)你不同的應用也是非常重要的。比如說你做計算社會科學，你當然是需要知道一些社會科學，包括心理學、社會學一些相關的知識，然后才能更好地讓你的研究取得突破。

9）近幾年中國在 NLP 領域的發(fā)展狀況？

王威廉：最近幾年中國在 NLP 領域的發(fā)展是非常迅猛的，主要體現(xiàn)在下以下幾個方面。第一，大家可以看到，在 NLP領域的 ACL、NAACL、EMNLP 這三大會議上，中國人基本上已經(jīng)撐起了半邊天?，F(xiàn)在有一半的論文至少都是來自于國內(nèi)的高校，然如果看第一作者，華人作者的比例可能會更高。國內(nèi)工業(yè)界的發(fā)展也非常迅猛，尤其在自然語言處理領域。另外，現(xiàn)在國內(nèi)是百花齊放，不光是傳統(tǒng)的清華、北大、中科院、哈工大，很多其他的學校都陸陸續(xù)續(xù)有很多的優(yōu)秀的教授以及一些非常優(yōu)秀的研究。相比美國，中國的增速肯定是快很多的。總體來說，中美已經(jīng)是 NLP 領域的兩個強國了，接下來就希望更多的中國論文能夠獲得最佳論文獎。

10）中文 NLP 和英文 NLP 的區(qū)別在哪？

王威廉：中文 NLP 難點在于它的處理單元不是詞，而是字符。不管是做強化學習，還是做 Seq2Seq ，在詞級別來做和字符級別還是差很遠的。如果是做字符級別的話，你的 sequence 可能會變得非常長，并不太容易做。所以中文的挑戰(zhàn)在于語言本身比較難。除了漢語，也有其他少數(shù)民族的語言非常值得關注和留意。