在加拿大作家瑪格麗特?阿特伍德的著作《盲人殺手》中有這樣一段描述：“觸覺(jué)，先于視覺(jué)也先于語(yǔ)言，既是第一語(yǔ)言也是最后的語(yǔ)言，并總是訴說(shuō)真相?！?/p>

被編寫(xiě)為視覺(jué)或者觸覺(jué)的機(jī)器人一般不能實(shí)現(xiàn)此兩種感官信息的交互。為打破這種隔絕，來(lái)自MIT（麻省理工學(xué)院）CSAIL（計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室）的研究團(tuán)隊(duì)提出了一種可預(yù)測(cè)AI，它可以通過(guò)觸覺(jué)信息的訓(xùn)練學(xué)習(xí)到視覺(jué)特征，反之亦然，也能通過(guò)視覺(jué)信息的訓(xùn)練學(xué)習(xí)到物體的觸覺(jué)特征。

該團(tuán)隊(duì)所提出的模型可以從視覺(jué)信號(hào)中“創(chuàng)造”出逼真的觸覺(jué)信號(hào)，并直接利用觸覺(jué)信息預(yù)測(cè)所檢測(cè)目標(biāo)及觸摸部位。他們使用的庫(kù)卡機(jī)械臂上裝有一個(gè)特殊的觸覺(jué)傳感器GelSight，這是由MIT的另一研究團(tuán)隊(duì)設(shè)計(jì)的。

該團(tuán)隊(duì)利用一個(gè)簡(jiǎn)單的網(wǎng)絡(luò)攝像頭采集了近200種物體圖像，包括工具、家庭用品、紡織物等，這些物體被“觸摸”超過(guò)12000次。通過(guò)將這12000個(gè)小視頻分解為靜態(tài)幀從而生成了名為“VisGel”的數(shù)據(jù)集，該數(shù)據(jù)集包含300多萬(wàn)個(gè)視覺(jué)-觸覺(jué)對(duì)應(yīng)的圖像。

CSALL博士生Yunzhu Li在其一篇相關(guān)論文中談到：“通過(guò)觀察觸摸情景，我們的模型可以“想象”出觸摸平坦表面或者尖銳邊緣的感覺(jué)”，“當(dāng)機(jī)器人只有觸覺(jué)感官的時(shí)候，此模型可以僅憑觸覺(jué)信號(hào)來(lái)完成和周圍環(huán)境的交互。將觸覺(jué)和視覺(jué)這兩種感官結(jié)合在一起無(wú)疑是錦上添花。它還可能減少機(jī)器人為完成抓取任務(wù)所需的數(shù)據(jù)集”。

目前使能機(jī)器人具備更多感官能力的研究，比如MIT在2016年的項(xiàng)目：利用深度學(xué)習(xí)實(shí)現(xiàn)聲音可視化、預(yù)測(cè)物體對(duì)外力反應(yīng)，都使用了大量的訓(xùn)練數(shù)據(jù)，但不能實(shí)現(xiàn)視覺(jué)和觸覺(jué)的交互。該團(tuán)隊(duì)使用VisGel數(shù)據(jù)集和生成式對(duì)抗網(wǎng)絡(luò)（GANs）實(shí)現(xiàn)上述功能。

此GANs算法利用視覺(jué)或觸覺(jué)的圖像生成其他形式的圖像。其原理簡(jiǎn)而言之，就是GANs利用生成器（generator）捏造假的圖像試圖騙過(guò)判別器（discriminator），判別器將辨別結(jié)果反饋給生成器以調(diào)參，以使得生成器生成更高質(zhì)量的預(yù)期圖像，如此相得益彰。

所見(jiàn)即所觸

人可以通過(guò)觀察物體來(lái)判斷其手感，欲將這種能力賦予機(jī)器人，首先要標(biāo)定目標(biāo)位置，其次要推斷目標(biāo)區(qū)域的形狀和手感。

為此，需要一張參考圖像，它記錄了機(jī)器人沒(méi)有與外界交互時(shí)的所處的環(huán)境信息。模型在識(shí)別過(guò)程中會(huì)對(duì)比當(dāng)前捕捉到的幀圖像和參考圖像以輕松判斷所觸物體的位置和大小。

好比給模型“看”了一張鼠標(biāo)的圖像，模型將預(yù)測(cè)可能觸碰到鼠標(biāo)的區(qū)域，并告訴機(jī)器人從而使其實(shí)現(xiàn)安全高效的抓取任務(wù)。

所觸即所見(jiàn)

利用觸覺(jué)數(shù)據(jù)產(chǎn)生視覺(jué)圖像即所謂“所觸即所見(jiàn)”。模型通過(guò)觀察觸覺(jué)圖像推斷所接觸位置的物體形狀和材質(zhì)，并和參考圖像對(duì)比進(jìn)而“想象”出交互過(guò)程。

舉個(gè)例子，將一只鞋的觸覺(jué)數(shù)據(jù)傳給模型，其輸出將是一張圖像，這張圖像則顯示了最有可能觸摸到這只鞋的區(qū)域位置。

當(dāng)燈被關(guān)掉，或者盲人進(jìn)入未知區(qū)域的時(shí)候，這種技能就可以發(fā)揮其作用了。

展望

目前的訓(xùn)練數(shù)據(jù)只能實(shí)現(xiàn)特定環(huán)境下的交互。該團(tuán)隊(duì)希望收集更復(fù)雜環(huán)境下的訓(xùn)練數(shù)據(jù)以提升模型的泛化性能。MIT的新設(shè)計(jì)——tactile glove或許可以幫助他們獲取更多更密集的訓(xùn)練數(shù)據(jù)。

翹首以盼，此類模型將協(xié)助機(jī)器人和其視覺(jué)緊密合作以實(shí)現(xiàn)無(wú)縫的人機(jī)交互。這些合作包括對(duì)象識(shí)別、抓取、場(chǎng)景理解等。

加州大學(xué)伯克利分校的博士后Andrew Owens說(shuō)：“這是首次提出的視覺(jué)和觸覺(jué)信號(hào)可靠的轉(zhuǎn)換方法，此類方法于機(jī)器人而言將大有裨益，彼時(shí)，它們就可以回答諸如‘這東西的硬度如何？’，‘如果我用手柄握住馬克杯，我會(huì)握得多好？’的問(wèn)題，這是一個(gè)十分有挑戰(zhàn)性的項(xiàng)目，因?yàn)閱?wèn)題的信號(hào)是如此的不同，其優(yōu)越性也可見(jiàn)一斑”。

李和MIT的教授Russ Tedrake 、 Antonio Torralba，博士后Jun-Yan Zhu共同完成這篇論文。它將于下周在加利福尼亞長(zhǎng)沙灘上舉辦的計(jì)算機(jī)視覺(jué)及模式識(shí)別大會(huì)上發(fā)布。