近日，北京大學(xué)與智元機(jī)器人的聯(lián)合實(shí)驗(yàn)室有了重大成果，北?攜?智元機(jī)器?團(tuán)隊(duì)提出 OmniManip 架構(gòu)。

在具身智能領(lǐng)域，將視覺(jué)語(yǔ)言基礎(chǔ)模型（VLMs）應(yīng)用于機(jī)器人實(shí)現(xiàn)通用操作一直是核心問(wèn)題。目前存在兩大挑戰(zhàn)，一是VLMs缺乏精確3D理解能力，二是難以將高層次推理轉(zhuǎn)化為機(jī)器人低層次動(dòng)作。

為解決這些難題，OmniManip架構(gòu)應(yīng)運(yùn)而生。它基于以對(duì)象為中心的3D交互基元，把VLM的高層次推理能力轉(zhuǎn)化為機(jī)器人的低層次高精度動(dòng)作。針對(duì)大模型幻覺(jué)和真實(shí)環(huán)境操作的不確定性，OmniManip引入了VLM規(guī)劃和機(jī)器人執(zhí)行的雙閉環(huán)系統(tǒng)設(shè)計(jì)。

OmniManip的關(guān)鍵設(shè)計(jì)亮點(diǎn)頗多，包括基于VLM的任務(wù)解析，可將復(fù)雜任務(wù)分解為多個(gè)明確主動(dòng)物體、被動(dòng)物體和動(dòng)作類型的結(jié)構(gòu)化階段。還有閉環(huán)機(jī)器人執(zhí)行，通過(guò)物體6D姿態(tài)跟蹤器實(shí)時(shí)更新物體位姿，轉(zhuǎn)換為機(jī)械臂操作軌跡。