去年年底，波士頓動(dòng)力發(fā)布的機(jī)器人組團(tuán)載歌載舞賀新年的視頻賺足了全球觀眾的眼球。這幾天，江西圖書館兩個(gè)斗嘴機(jī)器人也迅速圈了一批粉。今天，我們來瞧瞧“絕影”機(jī)器狗get到的新功夫：無論推倒我還是踢翻我，我都能自己學(xué)著站起來。

人類在面對(duì)從未遇到的新情況時(shí)，可以本能地切換不同的技能來進(jìn)行嘗試和應(yīng)對(duì)，但對(duì)機(jī)器人來說卻是一項(xiàng)不小的挑戰(zhàn)。波士頓動(dòng)力的機(jī)器人雖然舞技超人，但還都是基于預(yù)先設(shè)定好的程序，一旦超出預(yù)定程序以外很難做到隨機(jī)應(yīng)變。

據(jù)《科學(xué)·機(jī)器人》雜志報(bào)道，浙江大學(xué)和愛丁堡大學(xué)的聯(lián)合研究團(tuán)隊(duì)開發(fā)出了一套新的人工智能（AI）加強(qiáng)式學(xué)習(xí)方案。它能利用所謂的多專家學(xué)習(xí)架構(gòu)（MELA），讓浙大的“絕影”機(jī)器狗掌握自行應(yīng)對(duì)陌生情況的技能。

研究人員從培訓(xùn)可以指導(dǎo)虛擬機(jī)器狗的軟件開始。他們開發(fā)了具有8種算法“專家”的學(xué)習(xí)體系，可以幫助機(jī)器狗產(chǎn)生復(fù)雜的行為。對(duì)于每種方式，都使用深度神經(jīng)網(wǎng)絡(luò)來訓(xùn)練機(jī)器狗的計(jì)算機(jī)模型以實(shí)現(xiàn)一個(gè)特定技能，這八項(xiàng)技能包括：站立平衡、大步小跑、左轉(zhuǎn)、姿勢(shì)控制、摔倒后翻正、小步小跑、側(cè)滾和右轉(zhuǎn)。

如果虛擬機(jī)器人的嘗試更接近目標(biāo)，它將獲得一次數(shù)字獎(jiǎng)勵(lì)；如果它做得不太理想，就給它記上一次數(shù)字過失。這個(gè)過程被稱為強(qiáng)化學(xué)習(xí)。經(jīng)過許多次這樣的嘗試后，模擬機(jī)器人就成為了某項(xiàng)技能的專家。 一旦對(duì)8位算法“專家”進(jìn)行了培訓(xùn)，“他們”就需要學(xué)習(xí)團(tuán)隊(duì)合作。研究人員將它們組合成一個(gè)總體網(wǎng)絡(luò)，以充當(dāng)教練或隊(duì)長(zhǎng)的角色。

這使機(jī)器人的人造大腦可以利用每位“專家”的知識(shí)——如何奔跑，轉(zhuǎn)身或正確站立。研究人員解釋說，教練或隊(duì)長(zhǎng)會(huì)告訴誰做什么，或者誰和誰應(yīng)該一起工作。所有“專家”都可以在一個(gè)團(tuán)隊(duì)中一起協(xié)作，從而大大提高了技能的能力。例如，當(dāng)機(jī)器人跌倒并需要恢復(fù)時(shí)，系統(tǒng)可以檢測(cè)到該運(yùn)動(dòng)并喚醒負(fù)責(zé)平衡的“專家”。

如動(dòng)圖所示，8位“專家”相對(duì)應(yīng)的數(shù)據(jù)條會(huì)顯示在屏幕左上角。當(dāng)虛擬機(jī)器人在模擬環(huán)境中移動(dòng)，追逐浮動(dòng)的綠球時(shí)，網(wǎng)絡(luò)會(huì)根據(jù)特定時(shí)刻所需的技能來調(diào)高或調(diào)低每個(gè)“專家”的專業(yè)技能的影響力。

然后，研究人員可以將數(shù)字機(jī)器人在模擬中學(xué)到的東西移植到現(xiàn)實(shí)世界中的機(jī)器人大腦中。在上面的動(dòng)圖中，機(jī)器狗大腦中的“教練”正在與AI專家進(jìn)行協(xié)調(diào)，以幫助機(jī)器狗在滑過石子路時(shí)保持其立足點(diǎn)。當(dāng)專業(yè)人員用棍子推倒“絕影”時(shí)，機(jī)器狗在原地重新站立了起來。對(duì)任何環(huán)境下的四足機(jī)器人來說，這都是非凡的能力，更不用說是需要行走在石子路上的機(jī)器人了。

當(dāng)然，研究人員并不滿足于讓機(jī)器狗輕松過關(guān)，他們甚至還抓住機(jī)器狗頭部的手柄，將它摔個(gè)臉著地。但每次這只機(jī)器狗都會(huì)重新站起來。這并不是因?yàn)檠芯咳藛T編寫了針對(duì)這種特殊攻擊類型的反應(yīng)代碼，而是因?yàn)椤敖^影”現(xiàn)在已學(xué)會(huì)了就其行為策略咨詢它的AI專家。當(dāng)研究人員讓機(jī)器人在光滑的表面或草地上而不是石子路上行走時(shí)，它也適應(yīng)了這種情況。

這項(xiàng)研究的總體思路是使機(jī)器人學(xué)習(xí)步態(tài)的方式與人類幼兒類似。對(duì)機(jī)器人運(yùn)動(dòng)進(jìn)行編碼的傳統(tǒng)方法是在機(jī)器上加載有關(guān)現(xiàn)實(shí)世界工作原理的假設(shè)。例如，腳如何以不同的方式在硬木地板和地毯上踩穩(wěn)，并逐點(diǎn)給出指令。但是想象一下，你告訴一個(gè)小孩：要爬上樓梯，就必須這樣移動(dòng)胳膊和腿，他們根本不會(huì)聽你的。他們會(huì)通過各種試錯(cuò)來學(xué)會(huì)如何行動(dòng)。他們必須通過體驗(yàn)，來學(xué)會(huì)在不同場(chǎng)景下如何調(diào)整其運(yùn)動(dòng)方式。

同樣，一臺(tái)機(jī)器人不能僅通過遵循腳本來適應(yīng)環(huán)境，因?yàn)楝F(xiàn)實(shí)世界中的環(huán)境極其復(fù)雜。研究人員表示，“所有預(yù)設(shè)在您進(jìn)入野外時(shí)都會(huì)被徹底打破，因?yàn)槟鷽]有關(guān)于此環(huán)境的完整信息?！?因此，解決方案是讓“絕影”機(jī)器狗像人類一樣學(xué)習(xí)，使其能夠?qū)崟r(shí)組合其靈巧和自適應(yīng)的技能，來處理它從未見過的各種不同任務(wù)。

責(zé)任編輯：xj

原文標(biāo)題：“絕影”機(jī)器狗學(xué)會(huì)新功夫：人類再也弄不翻我了

文章出處：【微信公眾號(hào)：天津機(jī)器人】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。