機器人領(lǐng)域的一大核心挑戰(zhàn)在于如何讓機器人掌握新任務(wù)，而無需針對每個新任務(wù)和環(huán)境耗費大量精力收集和標注數(shù)據(jù)集。NVIDIA 的最新研究方案通過生成式 AI、世界基礎(chǔ)模型（如NVIDIA Cosmos）以及數(shù)據(jù)生成藍圖（如Isaac GR00T-Mimic與GR00T-Dreams）來克服這一挑戰(zhàn)。

本期 NVIDIA 機器人研究與開發(fā)摘要 (R2D2) 將介紹如何通過世界基礎(chǔ)模型實現(xiàn)可擴展的合成數(shù)據(jù)生成與機器人模型訓(xùn)練工作流，具體包括：

DreamGen：Isaac GR00T-Dreams blueprint的研究基礎(chǔ)。

GR00T N1：開源基礎(chǔ)模型，使機器人能夠通過真實數(shù)據(jù)、人類演示和合成數(shù)據(jù)學(xué)習(xí)跨任務(wù)與形態(tài)的通用技能。

通過視頻進行潛在動作預(yù)訓(xùn)練：無監(jiān)督的學(xué)習(xí)方法，無需人工動作標注，就能從大規(guī)模視頻中學(xué)習(xí)機器人相關(guān)動作。

仿真與現(xiàn)實協(xié)同訓(xùn)練：結(jié)合仿真環(huán)境與真實世界機器人數(shù)據(jù)的訓(xùn)練方法，可構(gòu)建更具魯棒性和適應(yīng)性的機器人策略。

機器人世界基礎(chǔ)模型

NVIDIA Cosmos 世界基礎(chǔ)模型經(jīng)過數(shù)百萬小時真實世界數(shù)據(jù)訓(xùn)練，能夠預(yù)測未來世界狀態(tài)，并基于單張輸入圖像生成視頻序列。這項技術(shù)使機器人和自動駕駛車輛具備預(yù)判未來事件的能力，這種預(yù)測能力對于合成數(shù)據(jù)生成流程至關(guān)重要，有助于快速創(chuàng)建多樣化、高保真的訓(xùn)練數(shù)據(jù)。這一方法大幅加速了機器人的學(xué)習(xí)過程，提升了模型的魯棒性，并將原本需要數(shù)月人工投入的開發(fā)時間縮短至僅數(shù)小時。

DreamGen

DreamGen 是一種合成數(shù)據(jù)生成流程。機器人學(xué)習(xí)需要收集大規(guī)模人類遠程操作數(shù)據(jù)，成本高昂且耗費人力，而 DreamGen 就有助于解決這一問題，它是 Isaac GR00T-Dreams 的基礎(chǔ)，這一藍圖可借助世界基礎(chǔ)模型生成海量的合成機器人軌跡數(shù)據(jù)。

傳統(tǒng)的機器人基礎(chǔ)模型在面對每一項新任務(wù)和新環(huán)境時，都需要大量人工演示，這種方式不具備可擴展性。而基于仿真的替代方案則經(jīng)常受到“仿真到現(xiàn)實”差距的困擾，且需要大量人工工程投入。

DreamGen 通過世界基礎(chǔ)模型突破這些限制，僅需極少量人工干預(yù)即可生成高真實性、多樣化的訓(xùn)練數(shù)據(jù)。該方法實現(xiàn)了機器人學(xué)習(xí)的規(guī)?；瘮U展，并能在不同行為模式、環(huán)境場景及機器人形態(tài)間實現(xiàn)泛化。

圖 1. 通過 DreamGen 實現(xiàn)泛化

DreamGen 技術(shù)流程包含四個核心步驟：

1. 世界基礎(chǔ)模型的后訓(xùn)練：

利用少量真實演示數(shù)據(jù)，將Cosmos-Predict2等世界基礎(chǔ)模型適配至目標機器人。Cosmos-Predict2 能夠通過文本生成高質(zhì)量圖像（文本到圖像），并通過圖像或視頻生成視覺仿真內(nèi)容（視頻到世界）。

2. 生成合成視頻：

基于經(jīng)過后訓(xùn)練的模型，通過圖像和語言提示，為新任務(wù)與新環(huán)境創(chuàng)建多樣化、逼真的機器人視頻。

3. 提取偽動作：

應(yīng)用潛在動作模型或逆動力學(xué)模型 (IDM)，將這些視頻轉(zhuǎn)換為帶標簽的動作序列（神經(jīng)軌跡）。

4. 訓(xùn)練機器人策略：

利用生成的合成軌跡訓(xùn)練視覺運動策略，使機器人能夠執(zhí)行新行為，并能泛化至未見過的場景。

圖 2. DreamGen 工作流概覽

DreamGen Bench

DreamGen Bench 是一個專門設(shè)計的基準測試，用于評估視頻生成模型在適配特定機器人形態(tài)時的效果，同時考察這些模型對剛體物理規(guī)律的內(nèi)化程度，以及向新物體、新行為和新環(huán)境的泛化能力。該基準測試對四個領(lǐng)先的世界基礎(chǔ)模型進行測試，分別是 NVIDIA Cosmos、WAN 2.1、混元和 CogVideoX，并衡量兩項關(guān)鍵指標：

指令遵循：評估生成視頻是否準確反映任務(wù)指令（如"拿起洋蔥"），采用 Qwen-VL-2.5 等視覺語言模型和人工標注進行雙重驗證。

物理規(guī)律遵循：通過 VideoCon-Physics 和 Qwen-VL-2.5 等工具量化物理真實性，確保視頻符合真實世界物理規(guī)律。

如圖 3 所示，我們發(fā)現(xiàn)，在 DreamGen 基準測試中得分較高的模型（即能夠生成更真實且符合指令的合成數(shù)據(jù)的模型），在用于機器人真實操作任務(wù)的訓(xùn)練和測試時，也有更優(yōu)的性能表現(xiàn)。這種正相關(guān)關(guān)系表明，投入研發(fā)更強大的世界基礎(chǔ)模型，不僅能提升合成訓(xùn)練數(shù)據(jù)的質(zhì)量，還能直接轉(zhuǎn)化為實際應(yīng)用中能力更強、適應(yīng)性更優(yōu)的機器人。

圖 3. DreamGen Bench 與 RoboCasa 之間的性能正相關(guān)

Isaac GR00T-Dreams

基于 DreamGen 研究的 Isaac GR00T-Dreams，是一套用于生成大規(guī)模機器人動作合成軌跡數(shù)據(jù)集的工作流。這些數(shù)據(jù)集可用于實體機器人的訓(xùn)練，與收集真實世界動作數(shù)據(jù)相比，能節(jié)省大量時間和人力投入。

GR00T-Dreams 借助 Cosmos Predict2 世界基礎(chǔ)模型和Cosmos Reason來為不同任務(wù)和環(huán)境生成數(shù)據(jù)。Cosmos Reason 模型包含多模態(tài)大型語言模型，能針對用戶提示生成基于物理原理的響應(yīng)。

通用機器人訓(xùn)練模型與工作流

視覺語言動作 (VLA) 模型可以通過世界基礎(chǔ)模型生成的數(shù)據(jù)進行后訓(xùn)練，從而在未知環(huán)境中實現(xiàn)新的行為和操作。

NVIDIA 研究中心使用 GR00T-Dreams blueprint 生成合成訓(xùn)練數(shù)據(jù)，僅用 36 小時就開發(fā)出了GR00T N1的升級版本GR00T N1.5。如果采用人工收集數(shù)據(jù)的方式，這個過程需要近三個月時間。

GR00T N1 是全球首個面向通用人形機器人的開源基礎(chǔ)模型，標志著機器人和 AI 領(lǐng)域的重大突破。該模型采用受人類認知啟發(fā)的雙系統(tǒng)架構(gòu)，統(tǒng)一了視覺、語言和動作，使機器人能夠理解指令、感知環(huán)境并執(zhí)行復(fù)雜的多步驟任務(wù)。

GR00T N1 以通過視頻進行潛在動作預(yù)訓(xùn)練 (LAPA) 等技術(shù)為基礎(chǔ)，能夠從無標簽的人類視頻中學(xué)習(xí)，同時它還采用了仿真與現(xiàn)實協(xié)同訓(xùn)練等方法，通過融合合成數(shù)據(jù)與真實世界數(shù)據(jù)來增強模型的泛化能力。本文后續(xù)將詳細介紹 LAPA 和仿真與現(xiàn)實協(xié)同訓(xùn)練技術(shù)。通過整合這些創(chuàng)新成果，GR00T N1 不僅能夠遵循指令、執(zhí)行任務(wù)，更在復(fù)雜且不斷變化的環(huán)境中，為通用人形機器人的能力設(shè)立了新標桿。

GR00T N1.5 是基于 GR00T N1 升級的通用人形機器人開源基礎(chǔ)模型，其特點是采用了經(jīng)過優(yōu)化的視覺語言模型，該模型訓(xùn)練數(shù)據(jù)包括真實數(shù)據(jù)、仿真數(shù)據(jù)和 DreamGen 生成的合成數(shù)據(jù)的多樣化組合。

通過架構(gòu)優(yōu)化與數(shù)據(jù)質(zhì)量提升，GR00T N1.5 實現(xiàn)了三大核心突破：提升任務(wù)成功率、增強語言理解能力、增強對新物體與任務(wù)的泛化能力，從而成為更穩(wěn)定可靠、適應(yīng)性更強的先進機器人操作解決方案。

通過視頻進行潛在動作預(yù)訓(xùn)練

通過視頻進行潛在動作預(yù)訓(xùn)練 (LAPA) 是一種用于視覺-語言-動作 (VLA) 模型預(yù)訓(xùn)練的無監(jiān)督方法，無需使用成本高昂且需人工標注的機器人動作數(shù)據(jù)。LAPA 不依賴大規(guī)模帶標注的數(shù)據(jù)集，這類數(shù)據(jù)集的收集既昂貴又耗時，而是利用超過 181,000 個未標注的互聯(lián)網(wǎng)視頻來學(xué)習(xí)有效的特征表示。

這種方法在真實世界任務(wù)中，相比先進模型實現(xiàn)了 6.22% 的性能提升，且預(yù)訓(xùn)練效率提高了 30 倍以上，這使得具備可擴展性和穩(wěn)健性的機器人學(xué)習(xí)變得更加便捷高效。

LAPA 工作流分為三個階段：

潛在動作量化：Vector Quantized Variational AutoEncoder (VQ-VAE) 模型通過分析視頻幀之間的轉(zhuǎn)換，學(xué)習(xí)離散的“潛在動作”，從而構(gòu)建一套基礎(chǔ)行為詞匯（例如抓取、傾倒）。潛在動作是低維度的習(xí)得表征，可概括復(fù)雜的機器人行為或運動，便于對高維度動作進行控制或模仿。

潛在預(yù)訓(xùn)練：利用行為克隆對 VLM 進行預(yù)訓(xùn)練，使其能基于視頻觀察結(jié)果和語言指令，預(yù)測第一階段得到的這些潛在動作。行為克隆是一種模型學(xué)習(xí)方法，通過將觀察結(jié)果映射到動作，利用演示數(shù)據(jù)中的示例來復(fù)制或模仿動作。

機器人后訓(xùn)練：之后，使用小型帶標簽數(shù)據(jù)集對預(yù)訓(xùn)練模型進行后訓(xùn)練，使其適配實體機器人，將潛在動作映射為物理指令。

圖 4. 潛在動作預(yù)訓(xùn)練概覽

仿真與現(xiàn)實協(xié)同訓(xùn)練工作流

機器人策略訓(xùn)練面臨兩大關(guān)鍵挑戰(zhàn)：一是收集真實世界數(shù)據(jù)的成本高昂；二是存在“現(xiàn)實差距”，僅在仿真環(huán)境中訓(xùn)練的策略，往往難以在真實物理環(huán)境中良好運行。

仿真與現(xiàn)實協(xié)同訓(xùn)練工作將少量真實世界機器人演示數(shù)據(jù)與大量仿真數(shù)據(jù)相結(jié)合，有效解決了這些問題。這種方法能夠訓(xùn)練出魯棒策略，同時有效降低成本并彌合現(xiàn)實差距。

圖 5.仿真與現(xiàn)實協(xié)同訓(xùn)練工作流概覽

該工作流的關(guān)鍵步驟如下：

任務(wù)與場景設(shè)置：搭建真實世界任務(wù)場景，并選擇與任務(wù)無關(guān)的先驗仿真數(shù)據(jù)集。

數(shù)據(jù)準備：在數(shù)據(jù)準備階段，從實體機器人收集真實世界演示數(shù)據(jù)，同時生成額外的仿真演示數(shù)據(jù)。這些仿真數(shù)據(jù)既包括與真實任務(wù)高度匹配的、具有任務(wù)針對性的“digital cousins”數(shù)據(jù)，也包括多樣化的、與任務(wù)無關(guān)的先驗仿真數(shù)據(jù)。

協(xié)同訓(xùn)練參數(shù)調(diào)優(yōu)：隨后，將這些不同來源的數(shù)據(jù)按優(yōu)化后的協(xié)同訓(xùn)練比例進行融合，重點在于對齊攝像頭視角并最大化仿真數(shù)據(jù)的多樣性（而非追求照片級真實感）。最后階段包括批量采樣，以及利用真實數(shù)據(jù)和仿真數(shù)據(jù)進行策略協(xié)同訓(xùn)練，最終得到可部署在機器人上的穩(wěn)健策略。

圖 6. 仿真與現(xiàn)實任務(wù)對比示意圖

如圖 7 所示，增加真實演示數(shù)據(jù)的數(shù)量，能提升僅使用真實數(shù)據(jù)訓(xùn)練策略，以及經(jīng)過協(xié)同訓(xùn)練策略的成功率。即使使用 400 組真實演示數(shù)據(jù)，協(xié)同訓(xùn)練策略的表現(xiàn)仍始終優(yōu)于僅用真實數(shù)據(jù)訓(xùn)練的策略，平均提升幅度達 38%。這表明，即便在數(shù)據(jù)充足的場景中，仿真與現(xiàn)實協(xié)同訓(xùn)練依然能帶來顯著成效。

圖 7. 協(xié)同訓(xùn)練策略與純真實數(shù)據(jù)策略性能對比圖

生態(tài)系統(tǒng)應(yīng)用

領(lǐng)先的機器人公司正在采用 NVIDIA 研究中心開發(fā)的工作流來加速研發(fā)進程。GR00T N 系列模型的早期采用者包括：

AeiRobot：應(yīng)用該模型使工業(yè)機器人能夠理解自然語言指令，完成復(fù)雜分揀放置任務(wù)。

Foxlink：利用模型提升工業(yè)機械臂的作業(yè)靈活性與操作效率。

光輪智能：通過模型驗證合成數(shù)據(jù)，加速人形機器人在工廠場景的部署進程。

NEURA Robotics：評估模型性能以加速家庭自動化系統(tǒng)的研發(fā)。