聲音里包含了豐富的信息，例如，聽到“吱呀”的聲音就知道門開了，聽到“沙沙”的樹葉聲就知道起風(fēng)了。依靠聽覺，人類可以更好地感知世界。但對于機(jī)器人來說，目前它們只能基于視覺和少量的觸覺進(jìn)行操作。為了讓機(jī)器人未來具備更好的感知力，科學(xué)家們正在研究如何賦予機(jī)器人聽覺。

近日，卡內(nèi)基梅隆大學(xué)（CMU）機(jī)器人研究所的研究人員對聲音和機(jī)器人動(dòng)作之間的相互作用進(jìn)行了大規(guī)模的研究，發(fā)現(xiàn)聲音可以幫助機(jī)器人區(qū)分物體，識(shí)別率能達(dá)到79.2%，還能識(shí)別使物體發(fā)出聲音的動(dòng)作，以及預(yù)測物體的物理屬性。相關(guān)研究發(fā)表在《機(jī)器人技術(shù)：科學(xué)與系統(tǒng)》雜志上。

在此之前，沒有任何算法，也沒有數(shù)據(jù)集可以幫助機(jī)器人建立對物體的理解，形成機(jī)器人聽覺。主要原因在于聲音的產(chǎn)生受到許多因素的相互影響。例如，機(jī)器人撞擊物體時(shí)發(fā)出的聲音取決于撞擊的力度、物體的結(jié)構(gòu)、麥克風(fēng)的位置等等。這使得從聲音中提取對機(jī)器人有用的信息變得十分困難。

項(xiàng)目的研究人員之一萊雷爾·平托（Lerrel Pinto）說：“在其他領(lǐng)域的許多初步工作表明，聲音可能有用，但尚不清楚它在機(jī)器人技術(shù)中有多有用?！?br /> 為了回答這一問題，研究人員首先創(chuàng)建了一個(gè)“傾斜機(jī)器人”（Tilt-Bot）。這個(gè)“傾斜機(jī)器人”由一個(gè)方形托盤、一個(gè)機(jī)械臂和固定裝置組成。托盤的四周有擋板，擋板上貼著聲波捕捉裝置，托盤上方安裝有一個(gè)攝像頭。

研究人員將60種常見物體（例如蘋果、鞋子和網(wǎng)球）分別放置在托盤上，隨著機(jī)械臂向隨機(jī)方向傾斜，物體會(huì)撞擊擋板并發(fā)出聲音。通過“傾斜機(jī)器人”，研究人員收集了60種物體的15000組交互記錄，每組交互記錄都包含聲音、動(dòng)作和視覺數(shù)據(jù)。

用于創(chuàng)建數(shù)據(jù)集的Tilt-Bot（中），可用于收集視覺（左）、聲音（右下）和動(dòng)作（右上）數(shù)據(jù)

利用Tilt-Bot收集的數(shù)據(jù)，研究人員得出了關(guān)于聲音和機(jī)器人動(dòng)作之間相互作用的三個(gè)發(fā)現(xiàn)。

首先，聲音可以幫助機(jī)器人區(qū)分物體。通過建立學(xué)習(xí)模型，機(jī)器人可以通過聲音區(qū)分60種不同的物體，而且識(shí)別準(zhǔn)確率達(dá)到79.2%。

第二，聲音還可以幫助機(jī)器人用于識(shí)別使物體發(fā)出聲音的動(dòng)作類型。通過建立模型，機(jī)器人只要一聽到某一物體的聲音，就能預(yù)測出使這個(gè)物體發(fā)出聲音的動(dòng)作，而且產(chǎn)生的誤差比只用視覺信息進(jìn)行識(shí)別的機(jī)器人低42%。

第三，僅通過一個(gè)物體發(fā)出的聲音，機(jī)器人就能判斷出這個(gè)物體的物理屬性，而且產(chǎn)生的誤差比僅用視覺進(jìn)行判斷產(chǎn)生的誤差低了24%。也就是說，聽覺比視覺更能捕捉物體的物理性質(zhì)。

平托認(rèn)為，機(jī)器人能利用聲音提取信息并不奇怪，他說：“真正令人興奮的是，我們預(yù)期它會(huì)失敗時(shí)，它真的就失敗了?！崩?，機(jī)器人無法通過聲音分辨紅色和綠色之間的差異?！暗?，如果是不同的物體，例如一個(gè)磚塊和一個(gè)杯子，它可能會(huì)弄清楚。”

研究人員聲稱，這是關(guān)于聲音和動(dòng)作之間相互作用的首次大規(guī)模研究。他們將把Tilt-Bot數(shù)據(jù)集公開，為將來在機(jī)器人聽覺領(lǐng)域的研究提供幫助，擴(kuò)展聲音在機(jī)器人中的使用范圍。

平托補(bǔ)充說，我們的研究結(jié)果是如此令人鼓舞，以至于未來機(jī)器人將可能配備一根帶工具的拐杖，只要用拐杖輕輕敲擊，機(jī)器人就能識(shí)別出想要識(shí)別的物體。