通用人形機(jī)器人旨在快速適應(yīng)現(xiàn)有的以人類為中心的城市和工業(yè)工作空間，處理繁瑣、重復(fù)或體力要求高的任務(wù)。這些移動(dòng)機(jī)器人經(jīng)過(guò)設(shè)計(jì)，能在以人類為中心的環(huán)境中有出色的表現(xiàn)，從工廠車間到醫(yī)療保健機(jī)構(gòu)，它們的價(jià)值日益凸顯。

模仿學(xué)習(xí)是機(jī)器人學(xué)習(xí)的一個(gè)子集，它能讓人形機(jī)器人通過(guò)觀察和模仿人類專家的示范來(lái)獲取新技能。在真實(shí)世界中收集這些廣泛、高質(zhì)量的數(shù)據(jù)集既繁瑣又耗時(shí)，而且成本往往高得令人卻步。從物理精確的仿真環(huán)境中生成的合成數(shù)據(jù)有助于加快這一收集過(guò)程。

NVIDIA Isaac GR00T為人形機(jī)器人開發(fā)者提供機(jī)器人基礎(chǔ)模型、數(shù)據(jù)管線和仿真框架，有助于應(yīng)對(duì)人形機(jī)器人開發(fā)中所面對(duì)的這些挑戰(zhàn)。用于合成運(yùn)動(dòng)生成的NVIDIA Isaac GR00T Blueprint是一個(gè)用于模仿學(xué)習(xí)的仿真工作流程，使開發(fā)者能夠從少量人類示范中生成數(shù)量呈指數(shù)級(jí)擴(kuò)增的數(shù)據(jù)集。

視頻 1.借助 NVIDIA Isaac GR00T 簡(jiǎn)化數(shù)據(jù)收集

在本文中，我們將介紹如何通過(guò) Apple Vision Pro 捕捉遠(yuǎn)程操作數(shù)據(jù)，使用 NVIDIA Isaac GR00T 從少數(shù)人類示范中生成大量合成軌跡數(shù)據(jù)集，然后在Isaac Lab中訓(xùn)練機(jī)器人運(yùn)動(dòng)策略模型。

合成運(yùn)動(dòng)生成

該工作流的包括以下關(guān)鍵組成部分：

GR00T-Teleop：

NVIDIA CloudXR：連接到 Apple Vision Pro 頭戴設(shè)備，使用專門為人形機(jī)器人遠(yuǎn)程操作設(shè)計(jì)的定制 CloudXR 運(yùn)行時(shí)，實(shí)現(xiàn)動(dòng)作的流暢傳輸 。

Isaac XR Teleop：將遠(yuǎn)程操作數(shù)據(jù)流式傳輸?shù)?strong>NVIDIA Isaac Sim或 Isaac Lab，作為 Apple Vision Pro 的參考應(yīng)用程序。

Isaac Lab：基于 Isaac Sim 的 Isaac Lab 是一個(gè)用于機(jī)器人學(xué)習(xí)的開源模塊化框架，使用這一框架，可以實(shí)現(xiàn)訓(xùn)練機(jī)器人策略。

GR00T-Mimic：通過(guò)少量人類示范生成大量合成運(yùn)動(dòng)軌跡數(shù)據(jù)。

GR00T-Gen：通過(guò)隨機(jī)化場(chǎng)景中的背景、光照和其他變量來(lái)增加多樣性，并通過(guò)NVIDIA Cosmos對(duì)生成的圖像進(jìn)行放大處理。（在本文中，我們不會(huì)詳細(xì)介紹 GR00T-Gen。）

圖 1.遠(yuǎn)程操作架構(gòu)

合成運(yùn)動(dòng)生成管線是一個(gè)復(fù)雜的過(guò)程，旨在創(chuàng)建一個(gè)龐大且多樣化的數(shù)據(jù)集來(lái)訓(xùn)練機(jī)器人。

它從數(shù)據(jù)收集開始，在這個(gè)過(guò)程中，將使用像 Apple Vision Pro 這樣的高保真設(shè)備，在仿真環(huán)境中捕捉人類的動(dòng)作和行為。Apple Vision Pro 將手部追蹤數(shù)據(jù)傳輸?shù)饺?Isaac Lab 的仿真平臺(tái)，同時(shí)仿真平臺(tái)將機(jī)器人環(huán)境的沉浸式視圖傳輸回該設(shè)備。這種設(shè)置使得機(jī)器人操作更加直觀和互動(dòng)，有助于收集高質(zhì)量的遠(yuǎn)程操作數(shù)據(jù)。

圖 2.準(zhǔn)備好通過(guò) Apple Vision Pro 進(jìn)行遠(yuǎn)程操作的機(jī)器人

Isaac Lab 中的機(jī)器人仿真畫面被傳輸?shù)?Apple Vision Pro，讓您能夠可視化機(jī)器人的環(huán)境。通過(guò)移動(dòng)手部，您可以直觀地控制機(jī)器人執(zhí)行各種任務(wù)。這種設(shè)置提供了沉浸式且互動(dòng)的遠(yuǎn)程操作體驗(yàn)。

圖 3.Isaac Lab 中的遠(yuǎn)程操作

使用 GR00T-Mimic 生成合成軌跡

數(shù)據(jù)收集后，下一步是合成軌跡生成。使用 Isaac GR00T-Mimic 從少量人類示范中推算出大量合成運(yùn)動(dòng)軌跡。

這個(gè)過(guò)程包括在示范中標(biāo)記關(guān)鍵點(diǎn)，并使用插值法確保合成軌跡平滑且符合情境。然后對(duì)生成的數(shù)據(jù)進(jìn)行評(píng)估和優(yōu)化，以滿足訓(xùn)練所需的標(biāo)準(zhǔn)。

在這個(gè)示例中，我們成功生成了 1,000 條合成軌跡。

a.機(jī)器人

拿起輪子

b.機(jī)器人將輪子

移到托盤

c.機(jī)器人將輪子

放到托盤上

圖 4.在 Isaac Lab 中生成的一組合成軌跡

在 Isaac Lab 中使用模仿學(xué)習(xí)進(jìn)行訓(xùn)練

最后，使用模仿學(xué)習(xí)技術(shù)，利用合成數(shù)據(jù)集對(duì)機(jī)器人進(jìn)行訓(xùn)練。在這個(gè)階段，會(huì)訓(xùn)練一個(gè)策略，比如 Robomimic 套件的循環(huán)高斯混合模型（GMM），以模仿合成數(shù)據(jù)中的動(dòng)作。

訓(xùn)練在比如 Isaac Lab 這樣的仿真環(huán)境中進(jìn)行，并且通過(guò)多次試驗(yàn)來(lái)評(píng)估訓(xùn)練后的策略的性能。這個(gè)管線顯著減少了開發(fā)和部署機(jī)器人系統(tǒng)所需的時(shí)間和資源，使其成為機(jī)器人領(lǐng)域的一個(gè)有價(jià)值的工具。

為了展示如何使用這些數(shù)據(jù)，我們訓(xùn)練了一臺(tái)帶有夾爪的 Franka 機(jī)器人，在 Isaac Lab 中執(zhí)行堆疊任務(wù)。這個(gè)夾爪類似于人形機(jī)器人的“手”。

我們使用了來(lái)自 Robomimic 套件的帶有循環(huán) GMM 策略的行為克隆方法。該策略使用了兩個(gè)隱藏維度為 400 的長(zhǎng)短期記憶（LSTM）層。

網(wǎng)絡(luò)的輸入包括機(jī)器人末端執(zhí)行器的位姿、夾爪狀態(tài)以及相對(duì)物體的位姿，而輸出是一個(gè)用于在 Isaac Lab 中驅(qū)動(dòng)機(jī)器人的增量位姿動(dòng)作。

使用由 1,000 次成功示范組成的數(shù)據(jù)集，并經(jīng)過(guò) 2,000 次迭代，我們實(shí)現(xiàn)了大約 50 次迭代 / 秒的訓(xùn)練速度（相當(dāng)于在 NVIDIA RTX GPU 上大約 0.5 小時(shí)的訓(xùn)練時(shí)間）。在 50 次實(shí)驗(yàn)的平均結(jié)果中，訓(xùn)練策略在堆疊任務(wù)中的成功率為 84%。

圖 5.在 Isaac Lab 中訓(xùn)練的夾爪

開始使用

在本文中，我們討論了通過(guò) NVIDIA Isaac GR00T 生成合成軌跡數(shù)據(jù)，加速推進(jìn)人形機(jī)器人運(yùn)動(dòng)策略學(xué)習(xí)：

https://developer.nvidia.cn/isaac/gr00t

GR00T-Teleop 堆棧目前還處于僅限受邀用戶訪問的階段。加入人形機(jī)器人開發(fā)者計(jì)劃，以便在該堆棧進(jìn)入測(cè)試版時(shí)獲取使用權(quán)限：

https://developer.nvidia.com/humanoid-robot-program