CMU、MIT、清華聯(lián)合發(fā)布了全球首個生成式機(jī)器人智能體RoboGen，可以無限生成數(shù)據(jù)，讓機(jī)器人7*24小時永不停歇地訓(xùn)練。為機(jī)器人進(jìn)入通用場景邁出堅(jiān)實(shí)一步。

RoboGen，一種自動學(xué)習(xí)多樣化的生成式機(jī)器人仿真，通過生成模擬大規(guī)模提高機(jī)器人技能。

RoboGen 利用最新的基礎(chǔ)模型和生成模型的進(jìn)步，而不是直接使用或 調(diào)整這些模型以制定策略或低級行動一種生成方案，使用這些模型自動生成多樣化的任務(wù)、場景和訓(xùn)練監(jiān)督，從而在最少的人工監(jiān)督下擴(kuò)展機(jī)器人技能學(xué)習(xí)。

該方法設(shè)置了機(jī)器人代理，通過自我引導(dǎo)的提議-生成-學(xué)習(xí)循環(huán)：智能體首先提出有趣的任務(wù)和技能來開發(fā)，然后生成相應(yīng)的模擬，通過使用適當(dāng)?shù)目臻g配置填充相關(guān)對象和資產(chǎn)來設(shè)置環(huán)境。

之后，代理將建議的高級任務(wù)分解為子任務(wù)，選擇最優(yōu)學(xué)習(xí)方法（強(qiáng)化學(xué)習(xí)、運(yùn)動 計(jì)劃或軌跡優(yōu)化），生成所需的訓(xùn)練監(jiān)督，然后學(xué)習(xí)策略以獲得建議的技能。

該工作試圖提取嵌入在大型模型中的廣泛而多才多藝的知識，進(jìn)入了機(jī)器人領(lǐng)域。完全生成式路徑可以反復(fù)查詢，從而產(chǎn)生源源不斷的技能演示與不同的任務(wù)和環(huán)境。

RoboGen 使用 Genesis 進(jìn)行仿真和渲染，Genesis是一種用于通用機(jī)器人學(xué)習(xí)的多材料多求解器生成式仿真引擎。

?

實(shí)驗(yàn)證明，RoboGen能夠生成多樣化的技能演示，包括剛性和關(guān)節(jié)物體操作、可變形物體操作以及四足行走技能。

與以往的人工創(chuàng)建的機(jī)器人技能學(xué)習(xí)數(shù)據(jù)集相比，RoboGen生成的任務(wù)和技能更加多樣化，幾乎不需要人類參與。

該研究試圖將大模型中的廣泛知識轉(zhuǎn)移到機(jī)器人領(lǐng)域，為通用機(jī)器人系統(tǒng)的大規(guī)模自動化技能訓(xùn)練邁出了一步。

來源：CAAI認(rèn)知系統(tǒng)與信息處理專委會

審核編輯：劉清