比爾·蓋茨曾說過，「語言理解是人工智能皇冠上的明珠」。自然語言處理的進(jìn)步將會推動(dòng)人工智能整體進(jìn)展。NLP 的歷史幾乎跟計(jì)算機(jī)和人工智能的歷史一樣長。自計(jì)算機(jī)誕生，就開始有了對人工智能的研究，而人工智能領(lǐng)域最早的研究就是機(jī)器翻譯以及自然語言理解。

隨著大數(shù)據(jù)和技術(shù)設(shè)施的完善，人工智能技術(shù)在近年來迎來了井噴式的發(fā)展。在產(chǎn)業(yè)方面，不少專注于計(jì)算機(jī)視覺的公司也獲得了長足發(fā)展。其中比較具有代表性的是估值已經(jīng)超過 20 億美元的商湯科技，在經(jīng)歷了數(shù)輪大額融資之后，其隱隱有從獨(dú)角獸變成巨頭的趨勢。

不過，人工智能另一個(gè)相關(guān)領(lǐng)域自然語言處理似乎沒有達(dá)到這種高度。在技術(shù)方面，這一領(lǐng)域的技術(shù)準(zhǔn)確率遠(yuǎn)遠(yuǎn)沒有達(dá)到計(jì)算機(jī)視覺和語音識別的水平，技術(shù)產(chǎn)品也因?yàn)檩^高的錯(cuò)誤率，缺少實(shí)際價(jià)值。那么 NLP 技術(shù)到底有哪些難點(diǎn)呢？

什么是 NLP？

在人工智能出現(xiàn)之前，計(jì)算機(jī)只能處理結(jié)構(gòu)化的數(shù)據(jù)，就比如我們平時(shí)用的表格里的數(shù)據(jù)，但是網(wǎng)絡(luò)中大部分的數(shù)據(jù)都是非結(jié)構(gòu)化的，比如我們看到的文章、圖片、視頻等等。在這些數(shù)據(jù)中，文本數(shù)據(jù)又往往是最多的，為了能夠分析和利用這些文本信息，我們就需要利用 NLP 技術(shù)，讓機(jī)器理解這些文本信息，并加以利用。

人類可以通過語言來交流，而為了讓計(jì)算機(jī)之間互相交流，人們讓所有計(jì)算機(jī)都遵守一些規(guī)則，計(jì)算機(jī)的這些規(guī)則就是計(jì)算機(jī)之間的語言。自然語言處理（NLP）就是在機(jī)器語言和人類語言之間溝通的橋梁，以實(shí)現(xiàn)人機(jī)交流的目的。

NLP 的兩個(gè)部分：NLU 和 NLG

自然語言理解（NLU） 則是 NLP 的一部分，這幾年深度學(xué)習(xí)技術(shù)的發(fā)展使 NLU 能在一些場景中落地。自然語言理解就是希望機(jī)器像人一樣，具備正常人的語言理解能力，由于自然語言在理解上有很多難點(diǎn) (下面詳細(xì)說明)，所以 NLU 是至今還遠(yuǎn)不如人類的表現(xiàn)。

NLU 目前應(yīng)用的領(lǐng)域主要集中在機(jī)器翻譯、機(jī)器客服、智能音箱等領(lǐng)域，但由于需要大量的數(shù)據(jù)訓(xùn)練和 NLU 本身存在的一些語言語義上的難點(diǎn)，其實(shí)機(jī)器還不是非常智能。

自然語言生成（NLG）是 NLP 的重要組成部分，NLU 負(fù)責(zé)理解內(nèi)容，NLG 負(fù)責(zé)生成內(nèi)容。他的主要目的是降低人類和機(jī)器之間的溝通鴻溝，將非語言格式的數(shù)據(jù)轉(zhuǎn)換成人類可以理解的語言格式。

自然語言生成 – NLG 有 2 種方式：

text – to – text：文本到語言的生成

data – to – text ：數(shù)據(jù)到語言的生成

NLP 的難點(diǎn)

對于機(jī)器來說，難點(diǎn)主要分為 5 類問題：

語言的多樣性，我們?nèi)粘Ｋ玫恼Z言是沒有規(guī)律的，不同的組合可以表達(dá)出很多的含義。

語言的歧義性，如果不聯(lián)系上下文，缺少環(huán)境的約束，語言有很大的歧義性

語言是一個(gè)開放集合，我們可以任意的發(fā)明創(chuàng)造一些新的表達(dá)方式。

語言需要知識依賴，需要聯(lián)系到實(shí)踐知識。

語言的上下文

應(yīng)用場景復(fù)雜，很難出現(xiàn)“獨(dú)角獸”

總的來說，NLP 技術(shù)領(lǐng)域之所以沒有出現(xiàn)如計(jì)算機(jī)視覺領(lǐng)域那些獨(dú)角獸公司，是因?yàn)樽匀徽Z言處理的技術(shù)難度太大，和應(yīng)用場景太復(fù)雜。一個(gè)公司的成立發(fā)展都是由需求驅(qū)動(dòng)的，自然語言應(yīng)用主要是機(jī)器翻譯，雖然機(jī)器翻譯的需求長期存在，但機(jī)器翻譯的水平一直未取得突破性的進(jìn)展，即使到今天，機(jī)器也很難翻譯有背景的復(fù)雜句子。

另外，自然語言處理的應(yīng)用太依賴于UI了。圖像識別基本不需要 UI，直接在系統(tǒng)內(nèi)部集成一些技術(shù)就行。一些公司做翻譯軟件，如果UI做得不行，用戶體驗(yàn)不行，人們就不會愿意使用。

技術(shù)產(chǎn)業(yè)化最重要的是商業(yè)模式，也就是怎么讓技術(shù)掙錢。圖像識別公司的掙錢模式已經(jīng)成立了，但翻譯付費(fèi)就難多了。所以自然語言是從研究到技術(shù)到落地到商業(yè)化，面臨一系列的挑戰(zhàn)。目前的現(xiàn)狀是，自然語言處理技術(shù)更多的是作為公司內(nèi)部技術(shù)，比如內(nèi)部的商業(yè)情報(bào)或人機(jī)接口功能。

NLP 技術(shù)發(fā)展，未來可期

從今年的 ACL 大會可以看出 NLP 技術(shù)的火爆。會議共收到了 2900 余篇提交的論文，投稿規(guī)模相較于 2018 年增長了 75%！自然語言處理領(lǐng)域?qū)嵲谑侵耸挚蔁?，學(xué)術(shù)界和工業(yè)界的熱情都創(chuàng)下了歷史新高。

從商業(yè)層面來講也涌現(xiàn)出了微軟小冰、小米小愛等比較成熟的機(jī)器人產(chǎn)品，相信在未來的不久 NLP 技術(shù)一定會給我們帶來更多的驚喜。

大咖現(xiàn)場分享 NLP 技術(shù)干貨

王斌博士，是小米人工智能實(shí)驗(yàn)室主任，NLP 首席科學(xué)家。中國中文信息學(xué)會理事，計(jì)算語言學(xué)、信息檢索、社會媒體處理、語言與知識計(jì)算等專委會委員及《中文信息學(xué)報(bào)》編委，中國計(jì)算機(jī)學(xué)會中文信息處理專業(yè)委員會委員。

加入小米之前，他在中科院計(jì)算所、信工所從事自然語言處理和信息檢索相關(guān)的科研工作。在AICon 全球人工智能與機(jī)器學(xué)習(xí)大會現(xiàn)場，他將會帶來 NLP 技術(shù)方面的相關(guān)演講，各位感興趣的小伙伴歡迎來現(xiàn)場聽他分享。

AICon 全球人工智能與機(jī)器學(xué)習(xí)技術(shù)大會，將于 11 月 21-22 日在北京國際會議中心舉行。顏水成、賈揚(yáng)清、崔寶秋等 AI 技術(shù)大咖屆時(shí)也會來現(xiàn)場，跟大家聊一聊今年在 AI 商業(yè)化場景落地的大背景下，又涌現(xiàn)出了哪些新技術(shù)。本次大會我們設(shè)立了機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、NLP、AI芯片、搜索推薦、產(chǎn)業(yè)互聯(lián)網(wǎng)、硅谷 AI 技術(shù)實(shí)踐等 13+ 技術(shù)專場，細(xì)分到 AI 技術(shù)的各個(gè)領(lǐng)域，為大家全方位的展示 AI 技術(shù)在國內(nèi)目前發(fā)展的現(xiàn)狀。