通用機器人的時代已經(jīng)到來，這得益于機械電子技術(shù)和機器人 AI 基礎(chǔ)模型的進步。但目前機器人技術(shù)的發(fā)展仍面臨一個關(guān)鍵挑戰(zhàn)：機器人需要大量的訓練數(shù)據(jù)來掌握諸如組裝和檢查之類的技能，而手動演示的方式難以擴展?；贜VIDIA Cosmos構(gòu)建的NVIDIA Isaac GR00T-Dreams blueprint，可以通過單張圖像和語言提示生成海量的合成軌跡數(shù)據(jù)，能夠有效解決這一難題。

利用 Cosmos 世界基礎(chǔ)模型 (WFMs) 和生成式 AI，開發(fā)者可以快速創(chuàng)建用于訓練諸如NVIDIA Isaac GR00T N1.5（全球首個面向人形機器人推理和技能的開源基礎(chǔ)模型）等模型的數(shù)據(jù)。

本文將介紹 Isaac GR00T-Dreams blueprint，詳述其先進功能及其在開發(fā) Isaac GR00T N1.5 基礎(chǔ)模型中的作用。

GR00T-Dreams blueprint 概覽

Isaac GR00T-Dreams blueprint 是用于生成大量合成軌跡數(shù)據(jù)的參考工作流，生成的數(shù)據(jù)可以用于教會人形機器人在新環(huán)境中執(zhí)行新動作。

借助這一藍圖，機器人僅需極少量的人類演示數(shù)據(jù)，就能夠泛化各種行為，并適應新的環(huán)境。因此，一個小型人類演示團隊就能創(chuàng)造出以往需要數(shù)千人才能產(chǎn)出的訓練數(shù)據(jù)量。

GR00T-Dreams blueprint 是對Isaac GR00T-Mimic blueprint的補充。通過使用NVIDIA Omniverse和 Cosmos Transfer-1 WFM 擴展已知任務的現(xiàn)有演示數(shù)據(jù)，GR00T-Mimic 可幫助機器人培養(yǎng)深度熟練程度，并成為這些特定技能的專家。GR00T-Dreams 采用 Cosmos Predict-2 和 Cosmos Reason 為新任務和環(huán)境生成全新數(shù)據(jù)，致力于使機器人成為具有廣泛適應性的通用機器人。

GR00T-Dreams blueprint 工作流

該藍圖為訓練通用機器人提供強大的“現(xiàn)實到現(xiàn)實 (real-to-real)”數(shù)據(jù)工作流，使用真實機器人數(shù)據(jù)創(chuàng)建合成軌跡，然后用于訓練物理機器人。這種方法顯著減少了對大量人類演示的需求。具體步驟如下：

圖 1. GR00T-Dreams blueprint 架構(gòu)

第一步：利用人類演示進行后訓練

首先，開發(fā)者收集用于人形機器人在單一環(huán)境中執(zhí)行單一任務（如抓取與放置）的一組有限的人類遠程操作軌跡。然后利用這些真實世界數(shù)據(jù)對 Cosmos Predict-2 世界基礎(chǔ)模型進行后訓練。這一步驟可讓模型學習該機器人特有的特定移動能力和功能約束。

第二步：生成“夢境”

接下來，開發(fā)者向經(jīng)過微調(diào)的 Cosmos 模型輸入初始圖像和基于文本的新指令，要求生成的機器人執(zhí)行相應動作。這會促使生成式模型創(chuàng)建大量多樣化和新穎的任務場景或未來世界狀態(tài)（也稱為“夢境”），例如打開、關(guān)閉、整理物體、清潔和分類等。這些場景以 2D 視頻的形式創(chuàng)建。

第三步：推理和過濾

生成大量“夢境”后，Cosmos Reason 模型可用于評估每個“夢境”的質(zhì)量和成功率。它會過濾掉“不好的夢境”，也就是描繪不成功或有缺陷的任務嘗試，確保僅讓高質(zhì)量和相關(guān)的場景進入下一階段。

第四步：提取神經(jīng)軌跡

選中的“夢境”最初只是 2D 視頻中的像素，隨后利用逆動力學模型 (IDM) 生成 3D 動作軌跡。IDM是用于動作標記的生成式 AI 模型，該模型通過輸入 2D 視頻中的兩個圖像幀，即“之前”和“之后”的畫面，預測出這兩個畫面之間發(fā)生的一系列動作。

這一步驟將“夢境”視頻中的視覺信息轉(zhuǎn)化為機器人能夠?qū)W習的可操作數(shù)據(jù)。這些已添加 3D 動作數(shù)據(jù)的 2D 視頻被稱為神經(jīng)軌跡。

第五步：訓練視覺運動策略

最后，這些神經(jīng)軌跡作為大規(guī)模的合成數(shù)據(jù)集，用于訓練視覺運動策略，既可以與真實世界數(shù)據(jù)協(xié)同訓練以增強性能，也可以僅通過對這些數(shù)據(jù)進行訓練，來實現(xiàn)對新行為和不可見環(huán)境的泛化。

用于機器人學習的高級功能

GR00T-Dreams 為機器人學習提供了先進的功能，包括新行為、新環(huán)境等。

新行為：即使僅有單一任務（例如抓取與放置）的訓練數(shù)據(jù)，機器人也能從語言指令中學習新動作。

由 GR00T-Dreams 支持的機器人打開筆記本電腦的神經(jīng)軌跡和真實機器人 (Fourier GR-1) 執(zhí)行情況

新環(huán)境：即使世界模型僅在一個實驗室環(huán)境中訓練過，機器人也能夠泛化到完全未見過的環(huán)境。

由 GR00T-Dreams 支持的機器人將橘子放入碗中的神經(jīng)軌跡和真實機器人 (Fourier GR-1) 執(zhí)行情況

多種機器人類型：適用于從人形機器人到機械臂（如 Franka 和 SO-100）等不同類型的機器人，并支持多種攝像頭視圖。

由 GR00T-Dreams 支持的 Franka 機械臂和 SO-100 機械臂執(zhí)行不同操作任務

針對復雜任務增強學習：為具有挑戰(zhàn)性的接觸密集型任務，比如操作可變形物體（折疊）或使用工具（錘擊）等增強訓練數(shù)據(jù)，形成從初始真實畫面開始的“真實到真實”工作流。

由 GR00T-Dreams 支持的機器人錘擊操作的神經(jīng)軌跡和真實機器人 (Fourier GR-1) 執(zhí)行情況

使用 GR00T-Dreams

對 GR00T N1.5 進行后訓練

可以使用 GR00T-Dreams 對視覺語言動作 (VLA) 模型進行后訓練，以在未見過的環(huán)境中實現(xiàn)新行為和操作。

NVIDIA 研究中心使用 GR00T-Dreams blueprint 生成合成訓練數(shù)據(jù)，僅用 36 小時就完成了 GR00T N1.5 的開發(fā)。如果使用人工收集人類數(shù)據(jù)，這一過程需要近三個月的時間。

GR00T N1.5 是 GR00T N1 的首次更新，GR00T N1 是全球首個面向通用人形機器人推理和技能的開源基礎(chǔ)模型。這個跨形態(tài)模型可以接收語言和圖像等多模態(tài)輸入，在多樣化的環(huán)境中執(zhí)行操作任務。

GR00T N1.5 的新功能：

提高對語言指令的理解準確性

借助 Isaac GR00T-Dreams，增強對新物體和新環(huán)境的泛化能力

通過 Eagle 2.5 提供更好的空間理解和開放世界視覺定位，提升視覺語言基礎(chǔ)

在材料處理和制造任務中成功率更高

開源的 NVIDIA 物理 AI 數(shù)據(jù)集

NVIDIA 擴展了其開源物理AI數(shù)據(jù)集。該數(shù)據(jù)集是 Hugging Face 上下載量最多的機器人數(shù)據(jù)集，最初于 2025 年 3 月推出，如今新增了數(shù)千條機器人軌跡，包括 Unitree G1 機器人的首批真實訓練數(shù)據(jù)和 24,000 條仿真遠程操作軌跡。

該數(shù)據(jù)集還包含各種操作任務的合成仿真數(shù)據(jù)，在開發(fā) GR00T N1.5 的過程中發(fā)揮了重要的作用。

GR00T N 模型在機器人生態(tài)系統(tǒng)的應用

GR00T N 模型已經(jīng)被很多生態(tài)合作伙伴采用，包括 AeiRobot、Foxlink、光輪智能和 NEURA Robotics 等。

AeiRobot 利用這一模型使其工業(yè)機器人能夠理解自然語言，從而完成復雜的抓取與放置任務。Foxlink 利用這一模型提高其工業(yè)機械臂的靈活性和效率。光輪智能借助這一模型驗證合成數(shù)據(jù)，以加快人形機器人在工廠中的部署。NEURA Robotics 正在評估這一模型，以加速其家用自動化系統(tǒng)的開發(fā)。

開始加速機器人學習

Isaac GR00T-Dreams blueprint 是用于生成大量合成軌跡數(shù)據(jù)的參考工作流，這些數(shù)據(jù)可用于教會人形機器人在新環(huán)境中執(zhí)行新動作。這一藍圖使機器人僅需極少量的人類演示數(shù)據(jù)，就能夠泛化各種行為，并適應新的環(huán)境。