如果你在初來乍到的城市里迷了路，身邊又沒有地圖或者手機(jī)導(dǎo)航，你可能會自然而然地向其他人問路。

這件在你看來順理成章的事情對于人工智能來說卻是一個大難關(guān)。

AI不能獨立地徹底理解人類的自然語言，自然也聽不懂使用自然語言的指路，對于虛擬助手而言，僅僅能夠?qū)θ祟愄岢龅膯栴}做出簡單的回應(yīng)，這遠(yuǎn)遠(yuǎn)達(dá)不到要求。

Facebook的人工智能研究室（FAIR）正在試圖突破這一難關(guān)。

要讓人工智能系統(tǒng)理解人類語言，方法之一就是把語言和特定環(huán)境聯(lián)系起來，以更加自然的方式來訓(xùn)練這些系統(tǒng)。就像嬰兒最先學(xué)會說的是他們能看到摸到的東西一樣，這種方式也被稱為具體的人工智能，更偏向于在真實環(huán)境中學(xué)習(xí)，而不是通過大量的文本數(shù)據(jù)進(jìn)行訓(xùn)練。

FAIR的研究人員把這一新的研究課題稱為Talk the Walk。在這個研究課題中，一對AI智能體相互交流，共同完成導(dǎo)航到指定位置的任務(wù)。

但是他們不是將AI智能體置于一個簡單的類似于游戲的環(huán)境中，而是設(shè)計了一個機(jī)器人游客，向它展示紐約街區(qū)真實的全景照片，讓它模擬一位迷路的游客來問路。另一個只記錄下周圍街區(qū)二維地圖的機(jī)器人作為指路人，輸出自然語言，來幫助“游客”找到它的目的地。

通過一種新型的被稱為MASC (Masked Attention for Spatial Convolution) 的注意力機(jī)制，讓導(dǎo)航機(jī)器人專注于地圖上正確的地方。這種方式使得在測試集上導(dǎo)航的準(zhǔn)確率提高了一倍。

Facebook表示，這項工作的目標(biāo)是要提高學(xué)術(shù)界對于交流、感知和行動如何影響基礎(chǔ)語言學(xué)習(xí)問題的理解，同時也為把自然語言作為一種人機(jī)交互方式提供了壓力測試。

FAIR也將發(fā)布Talk the Walk的基線和數(shù)據(jù)集。他們認(rèn)為開源這項工作可以為其他研究人員提供一個測試他們自己的具體AI系統(tǒng)的框架，特別是在對話方面。

AI將如何扮演游客和導(dǎo)游？

為了為他們的系統(tǒng)提供學(xué)習(xí)和演示基礎(chǔ)語言的環(huán)境，F(xiàn)AIR研究人員使用全景攝像頭分別拍攝了紐約市五個街區(qū)的部分街道，包括曼哈頓的Hell’s Kitchen、East Village、Financial District、Upper East Side以及布魯克林的Williamsburg。

選定的這些區(qū)域都具有統(tǒng)一的、網(wǎng)格狀的布局，同時為實驗中的每一對AI智能體雙方分別提供了一半的第一人稱環(huán)境視角。

另一方面，AI“導(dǎo)游”只能獲取帶有通用地標(biāo)的2D俯視地圖，例如“餐廳”和“酒店”。“導(dǎo)游”和“游客”都不能和對方共享自己的視圖，因此，必須要溝通才能導(dǎo)航到指定位置。

當(dāng)導(dǎo)游預(yù)測游客已經(jīng)到達(dá)目標(biāo)位置時，就意味著本次實驗的結(jié)束。如果預(yù)測正確，則導(dǎo)航過程被標(biāo)記為成功；失敗的預(yù)測則被標(biāo)記為不正確。實驗不限制移動或交流的次數(shù)。

在真實環(huán)境中學(xué)習(xí)對于這一領(lǐng)域來說是全新的，對環(huán)境的完全仿真可能會是未來的方向。

FAIR研究人員還創(chuàng)建了智能體之間的自然語言互動，收集了來自人類玩家的真實互動數(shù)據(jù)，例如“一直走到下一個街區(qū)，然后右轉(zhuǎn)進(jìn)入餐廳”，而不是專門為機(jī)器人生成的、經(jīng)過仔細(xì)措辭的信息。

這些人類參與者也和機(jī)器人一起被分配了導(dǎo)游和游客的角色，具有相同的共享導(dǎo)航目標(biāo)和信息約束（第一人稱視角或俯視地圖）。

強(qiáng)調(diào)使用真實環(huán)境和現(xiàn)實生活語言使整體問題更加困難。與實際城市街區(qū)的全景圖像相比，模擬的環(huán)境一般不會那么混亂，而且更具有可預(yù)測性。一系列精心編寫的回復(fù)也不太可能捕捉到在人與人真實對話中那種微妙的、不精確的和混亂的信息傳遞。

但是提高任務(wù)難度可以使其結(jié)果更具相關(guān)性。為了能夠有效地與人類進(jìn)行交互，未來的AI系統(tǒng)需要理解在復(fù)雜環(huán)境中的文本和超出有限的預(yù)定短語列表的語言。

探索自然和人造交流

盡管自然語言交流是這項研究的主要焦點，但FAIR團(tuán)隊還設(shè)計了兩種額外的“緊急通信”設(shè)定，在其中智能體使用不同的通信協(xié)議而不是模仿人類語言。

第一個設(shè)定是，智能體通過連續(xù)向量進(jìn)行通信，這意味著它們將原始數(shù)據(jù)相互傳輸。例如，這些連續(xù)的向量包括游客正在看到的和做的事情的表示，這能夠幫助基于地圖的導(dǎo)游來定位他們的同伴。

第二個緊急通信設(shè)定采用了完全不同的方法，研究人員稱之為人造語言。在這種情況下的交流比自然語言簡單得多，使用的是一組非常有限的離散符號來傳達(dá)信息。

通過為機(jī)器人提供以最簡單的形式進(jìn)行通信的選項，從而能夠?qū)崿F(xiàn)快速而精確的互動，這也讓我們能更好地了解到自然語言的魅力。

當(dāng)使用這兩種緊急協(xié)議而不是自然語言時，AI游客和導(dǎo)游都會表現(xiàn)得更好。這對于研究人員來說并不奇怪，因為AI使用的自然語言沒有得到明確的信息交換。

緊密聯(lián)系A(chǔ)I與其應(yīng)用環(huán)境

將這些研究結(jié)果以及FAIR的研究放在適當(dāng)?shù)谋尘爸蟹浅Ｖ匾篢alk the Walk不是自然語言和合成交互之間的競爭，而是試圖為創(chuàng)建能夠和人類有效交互的機(jī)器這一最終目標(biāo)，提供一個清晰而可衡量的結(jié)果。

為了證明語言基礎(chǔ)的價值，研究人員創(chuàng)建了MASC，一種新型的注意力機(jī)制，使得導(dǎo)游根據(jù)游客提供的俯視地圖的信息，可以預(yù)測其位置。

注意力機(jī)制通常用于深度學(xué)習(xí)，以允許系統(tǒng)集中處理某些任務(wù)，類似于人們將注意力集中的狀態(tài)。

MASC根據(jù)游客的狀態(tài)轉(zhuǎn)換（例如向左，向右移動，從俯視角度，向上和向下移動）識別地標(biāo)嵌入（例如，“餐館”，“酒吧”等），并將其表示為地圖嵌入的2D卷積。該空間掩膜基于對游客可能行進(jìn)的追蹤來預(yù)測游客當(dāng)前的位置。

MASC具有廣泛的有效性。它提高了所有通信協(xié)議、自然語言和緊急通信方法的本地化性能。

通過將旅游系統(tǒng)的話語與導(dǎo)航系統(tǒng)的地圖相關(guān)聯(lián)，MASC的準(zhǔn)確性有了大幅改進(jìn)，是基于合成通信的系統(tǒng)準(zhǔn)確度的兩倍以上。

人工智能代理經(jīng)過培訓(xùn)可以生成自己的自然語言信息，在使用這些自然語言的任務(wù)中也有更好的表現(xiàn)。用自動生成的自然語言，而不是簡單地使用從人類玩家的互動中提取的文字例子，可以明確溝通任務(wù)內(nèi)容。

不相關(guān)的閑聊通常是自然語言交互的優(yōu)勢，但對于基于通信交流的任務(wù)并非有利，因為閑聊會帶來性能的不穩(wěn)定。

例如，一個人類參與者在看到兩家咖啡店和一家鄰近的Chipotle后，發(fā)出了信息：“天吶，如果我來紐約，這就是我要去的地方！”，其他玩家對此發(fā)出“這是天堂?。　钡幕貞?yīng)。通過微調(diào)和AI代理來生成僅與任務(wù)相關(guān)的自然語言，由此產(chǎn)生的交互就避免了這些閑聊的分歧和干擾。

最后，這項研究表明，使用自然語言的人類比使用合成通信的AI代理人在本地化方面更糟糕。和Talk the Walk得出的其他人機(jī)性能間的比較一樣，這是一個重要的結(jié)果，它有助于為進(jìn)一步研究與開發(fā)依賴自然語言的AI系統(tǒng)相關(guān)的挑戰(zhàn)建立基線和可能的機(jī)會。

未來的系統(tǒng)能否利用自然語言的多功能性，同時避免人們溝通方式固有的模糊性和低效率？或者對話是否施加了無法規(guī)避的限制？作為基礎(chǔ)研究，這項研究提出了這些問題，而對它們的回答還有待進(jìn)一步的研究。