具有數(shù)十億參數(shù)的神經(jīng)網(wǎng)絡(luò)為ChatGPT和Dall-E等基于人工智能的日常工具提供了動(dòng)力，每一個(gè)新的大型語(yǔ)言模型（LLM）在大小和復(fù)雜性上都優(yōu)于其前身。與此同時(shí)，在麻省理工學(xué)院的計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室（CSAIL），一組研究人員在最近的研究中，展示了一種稱(chēng)為液體神經(jīng)網(wǎng)絡(luò)的小型20000參數(shù)機(jī)器學(xué)習(xí)系統(tǒng)的效率。

研究人員介紹了一種方法，使無(wú)人機(jī)能夠在復(fù)雜和陌生的環(huán)境中掌握基于視覺(jué)的飛向目標(biāo)任務(wù)。該團(tuán)隊(duì)使用了不斷適應(yīng)新數(shù)據(jù)輸入的液體神經(jīng)網(wǎng)絡(luò)。他們表明，配備這些設(shè)備的無(wú)人機(jī)在復(fù)雜、全新的環(huán)境中表現(xiàn)出色，精度很高，甚至超過(guò)了最先進(jìn)的系統(tǒng)。這些系統(tǒng)能夠做出決策，將他們帶到以前未被探索的森林和城市空間中的目標(biāo)，并且他們可以在存在額外噪音和其他困難的情況下這樣做。

典型的機(jī)器學(xué)習(xí)系統(tǒng)中的神經(jīng)網(wǎng)絡(luò)只在訓(xùn)練過(guò)程中學(xué)習(xí)。之后，它們的參數(shù)被固定。CSAIL的科學(xué)家之一Ramin Hasani解釋說(shuō)，液體神經(jīng)網(wǎng)絡(luò)是一類(lèi)在工作中學(xué)習(xí)的人工智能系統(tǒng)，即使在經(jīng)過(guò)訓(xùn)練后也是如此。換句話說(shuō)，他們利用“液體”算法，不斷適應(yīng)新的信息，比如新的環(huán)境，就像生物體的大腦一樣。Hasani說(shuō)：“它們是根據(jù)生物大腦中神經(jīng)元和突觸的相互作用直接建模的?！?事實(shí)上，它們的網(wǎng)絡(luò)結(jié)構(gòu)受到了被稱(chēng)為C. elegans的生物的神經(jīng)系統(tǒng)的啟發(fā)，秀麗隱桿線蟲(chóng)是一種常見(jiàn)于土壤中的微小蠕蟲(chóng)。

Hasani說(shuō)，這項(xiàng)實(shí)驗(yàn)的目的不僅僅是無(wú)人機(jī)強(qiáng)大的自主導(dǎo)航。“這是關(guān)于測(cè)試神經(jīng)網(wǎng)絡(luò)作為自主系統(tǒng)部署在我們的社會(huì)中時(shí)的任務(wù)理解能力。”

作為控制無(wú)人機(jī)的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)，研究人員使用了一名人類(lèi)飛行員向目標(biāo)飛行時(shí)收集的無(wú)人機(jī)鏡頭。Hasani說(shuō)：“你會(huì)預(yù)期系統(tǒng)已經(jīng)學(xué)會(huì)了向物體移動(dòng)。”但是，他沒(méi)有定義物體是什么，也沒(méi)有提供任何關(guān)于環(huán)境的標(biāo)簽?！盁o(wú)人機(jī)必須推斷出任務(wù)是這樣的：我想向（物體）移動(dòng)。”

該團(tuán)隊(duì)進(jìn)行了一系列實(shí)驗(yàn)，測(cè)試學(xué)習(xí)的導(dǎo)航技能是如何轉(zhuǎn)移到前所未有的新環(huán)境中的。他們?cè)谠S多現(xiàn)實(shí)世界的環(huán)境中測(cè)試了該系統(tǒng)，包括在森林的不同季節(jié)和城市環(huán)境中。無(wú)人機(jī)進(jìn)行了航程和應(yīng)力測(cè)試，目標(biāo)被旋轉(zhuǎn)、遮擋、移動(dòng)等等。液體神經(jīng)網(wǎng)絡(luò)是唯一一種可以在沒(méi)有任何微調(diào)的情況下推廣到他們從未見(jiàn)過(guò)的場(chǎng)景的網(wǎng)絡(luò)，并且可以無(wú)縫可靠地執(zhí)行這項(xiàng)任務(wù)。

液體神經(jīng)網(wǎng)絡(luò)在機(jī)器人技術(shù)中的應(yīng)用可能會(huì)帶來(lái)更強(qiáng)大的自主導(dǎo)航系統(tǒng)，用于搜救、野生動(dòng)物監(jiān)測(cè)和運(yùn)送等。Hasani表示，隨著城市密度的增加，智能出行將至關(guān)重要，而這些神經(jīng)網(wǎng)絡(luò)的小尺寸可能是一個(gè)巨大的優(yōu)勢(shì)：“我們可以在樹(shù)莓派上實(shí)現(xiàn)一個(gè)可以駕駛汽車(chē)的液體神經(jīng)網(wǎng)絡(luò)?！?/p>

“

超越無(wú)人機(jī)和機(jī)動(dòng)性

但研究人員認(rèn)為，液體神經(jīng)網(wǎng)絡(luò)可以走得更遠(yuǎn)，成為與任何類(lèi)型的時(shí)間序列數(shù)據(jù)處理相關(guān)的決策的未來(lái)，包括視頻和語(yǔ)言處理。由于液體神經(jīng)網(wǎng)絡(luò)是序列數(shù)據(jù)處理引擎，它們可以預(yù)測(cè)金融和醫(yī)療事件。例如，通過(guò)處理生命體征，可以開(kāi)發(fā)模型來(lái)預(yù)測(cè)ICU中患者的狀態(tài)。

除了其他優(yōu)勢(shì)外，液體神經(jīng)網(wǎng)絡(luò)還提供了可解釋性和可解讀性。換句話說(shuō)，他們打開(kāi)了眾所周知的系統(tǒng)決策過(guò)程的黑匣子。Hasani說(shuō)：“如果我（在無(wú)人機(jī)系統(tǒng)中）只有34個(gè)神經(jīng)元，我就可以去弄清楚每個(gè)元素的功能?！边@在大規(guī)模的深度神經(jīng)網(wǎng)絡(luò)中幾乎是不可能的。更小尺寸的液體神經(jīng)網(wǎng)絡(luò)也大大降低了機(jī)器學(xué)習(xí)模型的計(jì)算成本，從而減少了碳足跡。

Hasani和他的同事正在尋找改進(jìn)液體神經(jīng)網(wǎng)絡(luò)的方法。他說(shuō)：“這篇論文涵蓋了一種非常可控和直接的推理能力，但現(xiàn)實(shí)世界的交互則需要越來(lái)越多復(fù)雜的推理問(wèn)題解答。” 該團(tuán)隊(duì)希望設(shè)計(jì)更復(fù)雜的任務(wù)，并對(duì)液體神經(jīng)網(wǎng)絡(luò)進(jìn)行極限測(cè)試，同時(shí)也要弄清楚為什么液體神經(jīng)網(wǎng)絡(luò)在推理測(cè)試中比競(jìng)爭(zhēng)對(duì)手表現(xiàn)得好得多。

審核編輯 ：李倩