新加坡國立大學(xué)的研究人員最近展示了使用神經(jīng)形態(tài)傳感器融合來幫助機器人抓取和識別物體的優(yōu)勢。

這只是他們一直在從事的許多有趣項目之一，包括開發(fā)用于傳輸觸覺數(shù)據(jù)的新協(xié)議、構(gòu)建神經(jīng)形態(tài)觸覺指尖以及開發(fā)新的視覺觸覺數(shù)據(jù)集以開發(fā)更好的學(xué)習(xí)系統(tǒng)。

由于該技術(shù)使用地址事件和尖峰神經(jīng)網(wǎng)絡(luò)，因此它非常節(jié)能：使用英特爾 Loihi 神經(jīng)形態(tài)芯片之一的功率比 GPU 高 50 倍。然而，這項工作特別優(yōu)雅的地方在于，它為神經(jīng)形態(tài)技術(shù)指明了道路，作為一種有效集成并從中提取意義的手段，用于功率受限系統(tǒng)中的復(fù)雜任務(wù)的許多不同傳感器。

他們使用的新型觸覺傳感器NeuTouch由 39 個taxel（觸覺像素）陣列組成，并且使用基于石墨烯的壓阻層來轉(zhuǎn)換運動；你可以把它想象成機器人指尖的前面。它覆蓋著一種名為 Ecoflex 的人造皮膚，有助于放大刺激，并由 3D 打印的“骨頭”支撐。然后可以將指尖添加到夾具中。

但這些傳感器的新穎之處在于它們傳達信息的方式。這不是連續(xù)完成的，每個傳感器在給定的時間步長中順序報告其狀態(tài)，因為這太慢了。傳感器陣列也不是網(wǎng)狀布置的，因為——盡管對許多電子系統(tǒng)來說很好——但對于他們試圖創(chuàng)造的健壯的機器人皮膚來說風(fēng)險太大了；如果皮膚受損，它可能會占用太多傳感器。

相反，Benjamin Tee 和他的同事開發(fā)了異步編碼電子皮膚，或 ACES。

這使用單個導(dǎo)體從（可能）數(shù)萬個受體攜帶信號。該技術(shù)與地址事件表示 (AER) 有一些相似之處，因為傳感器確實使用事件。本質(zhì)上，如果傳感器上的壓力變化超過某個閾值，則每個傳感器都會發(fā)出正或負(fù)尖峰信號。與 AER 一樣，這些峰值僅根據(jù)現(xiàn)實世界中發(fā)生的情況異步發(fā)送；沒有時鐘來調(diào)節(jié)它們。但是，它不是點對點路由，而是多對一網(wǎng)絡(luò)。每個傳感器的“尖峰”實際上是唯一的代碼（一系列尖峰），因為尖峰既是異步的又是相對備用的，它們可以沿著單根導(dǎo)線傳播，然后再去相關(guān)成單獨的尖峰序列。

五味雜陳

在他們?nèi)ツ臧l(fā)表的實驗中，該小組能夠?qū)碜杂|覺陣列內(nèi)的壓力和溫度傳感器的數(shù)據(jù)結(jié)合起來，但從那時起，他們就能夠展示出更復(fù)雜的傳感器融合。具體來說，Harold Soh 的小組將 NeuTouch 指尖與基于 Prophesee 事件的視覺傳感器結(jié)合起來，并使用生成的數(shù)據(jù)（單獨和一起）來訓(xùn)練近似反向傳播的基于尖峰的網(wǎng)絡(luò) [2]。

圖 1. 配備 Prophesee 攝像頭和 NeuTouch 增強型夾持器的機器人準(zhǔn)備拿起下方的豆?jié){盒。額外的攝像機跟蹤實驗，但它們的數(shù)據(jù)不用于分類任務(wù)。（來源：新加坡國立大學(xué)）

在經(jīng)過訓(xùn)練可以拾取裝有不同數(shù)量液體的各種容器（例如罐頭、瓶子和圖 1 中所示的豆?jié){）后，機器人不僅能夠確定它所舉的東西，而且能夠確定（在 30 克以內(nèi)）有多少它稱重。

您可以在下面看到該作品的精彩視頻（并且非常安全！）。

視覺傳感器數(shù)據(jù)能夠比研究人員預(yù)期的更成功地自行對物體進行分類：由于容器的透明度和它們的變形方式，物體的重量是可見的。盡管如此，觸覺數(shù)據(jù)確實提高了準(zhǔn)確性。

然而，也許更重要的是，兩個傳感器的組合在進行所謂的滑動測試時為機器人提供了真正的優(yōu)勢。在這里，機器人被制造的壓力不足以安全地承受物體的重量，因此它有下降的趨勢。在這里，觸覺和視覺數(shù)據(jù)的使用似乎確實有助于快速識別滑倒（見圖 2）。

圖 2. 滑倒任務(wù)中組合視覺/觸覺數(shù)據(jù)的加權(quán)尖峰計數(shù)（物體掉落是因為沒有用足夠的力握住它）提高了機器人在早期階段（大約 0.03 秒）發(fā)生滑倒的確定性）。這可能會提高機器應(yīng)對任何后果的機會。（來源：新加坡國立大學(xué)）

這部分歸功于他們在模型中使用的稱為加權(quán)尖峰計數(shù)的數(shù)量，以鼓勵早期分類。從功能上講，這可以提高機器的反應(yīng)時間，使其有更好的機會將物體掉落的可能性和后果降至最低。

該小組已將他們的數(shù)據(jù)集提供給可能想要改進所用學(xué)習(xí)模型的其他研究人員。

電源優(yōu)勢

對于這些實驗，訓(xùn)練是使用傳統(tǒng)技術(shù)完成的，但網(wǎng)絡(luò)隨后在英特爾 Loihi 芯片上運行。公布的結(jié)果顯示能效提高了 50 倍，但已經(jīng)有所改進。

根據(jù)新加坡國立大學(xué)的 Harold Soh 的說法，自從論文發(fā)表以來，“……我們一直在微調(diào)我們的神經(jīng)模型和分析。與 GPU 相比，我們最新的滑動檢測模型在神經(jīng)形態(tài)硬件上運行時使用的功率降低了 1900 倍，同時保持推理速度和準(zhǔn)確性。我們現(xiàn)在的重點是將這種低級性能轉(zhuǎn)化為更高級別任務(wù)的更好機器人行為，例如對象拾取和放置和人機切換。更廣泛地說，我們相信事件驅(qū)動的多感官智能是邁向值得信賴的機器人的重要一步，我們覺得使用它很舒服?！?/p>

參考

[1] WW 李等人。, “用于可擴展電子皮膚的受神經(jīng)啟發(fā)的人工周圍神經(jīng)系統(tǒng)”，Sci。機器人。, 卷。4，沒有。2019 年 3 月 32 日，doi：10.1126/scirobotics.aax2198。

[2] F. Gu、W. Sng、T. Taunyazov 和 H. Soh，“TactileSGNet：用于基于事件的觸覺對象識別的尖峰圖神經(jīng)網(wǎng)絡(luò)”，2020 年，[在線]。可用：http://arxiv.org/abs/2008.08046。

審核編輯 黃昊宇