在 COMPUTEX 2025 上，NVIDIA 宣布了機(jī)器人仿真參考應(yīng)用NVIDIA Isaac Sim和機(jī)器人學(xué)習(xí)框架NVIDIA Isaac Lab的更新，以加速各種形態(tài)機(jī)器人的開發(fā)。

本文將介紹 Isaac Sim 和 Isaac Lab 的更新（將于今年二季度推出），以及這些更新如何加速機(jī)器人工作流。

Isaac Sim 5.0 的更新

基于NVIDIA Omniverse和 OpenUSD 構(gòu)建的新版 Isaac Sim，將具備開源及可定制的特點(diǎn)，可以通過NVIDIA Launchable加快開發(fā)速度，并支持先進(jìn)的合成數(shù)據(jù)生成流程以加速機(jī)器人仿真。

開源且完全可定制

即將在 GitHub 上推出的 Isaac Sim 5.0 將具備開源、完全可定制以及可擴(kuò)展的特性，用戶能夠針對(duì)特定需求自定義仿真，比如針對(duì)合成數(shù)據(jù)生成 (SDG) 和軟件在環(huán) (Software-in-the-Loop) 測(cè)試。

如果需要對(duì)基礎(chǔ) Omniverse Kit 的其他企業(yè)級(jí)支持以及商業(yè)再分發(fā)權(quán)限，需要有 Omniverse Enterprise 許可證。

通過 NVIDIA Brev快速啟動(dòng)開發(fā)項(xiàng)目

Isaac Sim 5.0 將可以通過 NVIDIA Brev 訪問，通過 NVIDIA Brev，開發(fā)者可以直接訪問主要云服務(wù)商的 NVIDIA GPU 實(shí)例。Brev 提供了快速啟動(dòng) Isaac Sim 的快捷方式，無需搭建基礎(chǔ)設(shè)施，并加速了迭代周期。

開發(fā)者可以選擇一鍵啟動(dòng)部署，或通過選擇實(shí)例類型和端口配置來自定義部署。

先進(jìn)的合成數(shù)據(jù)生成流程

通過仿真生成的合成數(shù)據(jù)可確保對(duì)真實(shí)世界物理特性（包括運(yùn)動(dòng)數(shù)據(jù)和環(huán)境交互）進(jìn)行精確建模，因存在危險(xiǎn)而難以在真實(shí)世界中采集的罕見場(chǎng)景，也可通過這種方式進(jìn)行捕獲。

MobilityGen

高質(zhì)量的運(yùn)動(dòng)數(shù)據(jù)是訓(xùn)練更智能、適應(yīng)性更強(qiáng)的機(jī)器人的基礎(chǔ)，這些機(jī)器人能夠在真實(shí)環(huán)境中安全高效地運(yùn)行。這需要逼真的運(yùn)動(dòng)動(dòng)力學(xué)和豐富的 ground-truth 數(shù)據(jù)，以開發(fā)可在機(jī)器人和環(huán)境中泛化的適應(yīng)性強(qiáng)、高效的運(yùn)動(dòng)模型。

MobilityGen 將作為 Isaac Sim 中的擴(kuò)展程序提供，用于創(chuàng)建多樣化的基于物理性質(zhì)的數(shù)據(jù)和感知模型訓(xùn)練數(shù)據(jù)，比如占據(jù)地圖、機(jī)器人狀態(tài)、位姿、速度和圖像等。它還將支持各種數(shù)據(jù)收集方法，如遠(yuǎn)程操作、自動(dòng)動(dòng)作和可定制的路徑規(guī)劃。生成的數(shù)據(jù)可用于訓(xùn)練自主移動(dòng)機(jī)器人、四足機(jī)器人和人形機(jī)器人。MobilityGen 的數(shù)據(jù)已用于訓(xùn)練端到端通用導(dǎo)航模型 X-Mobility。

將合成數(shù)據(jù)生成擴(kuò)展到物理空間

物理 AI 使機(jī)器人、自動(dòng)駕駛汽車和智能空間等系統(tǒng)能夠在工廠、倉庫和城市等真實(shí)環(huán)境中感知和行動(dòng)。為了更好地從空間角度理解環(huán)境，開發(fā)者需要訓(xùn)練數(shù)據(jù)來準(zhǔn)確模擬這些復(fù)雜 3D 環(huán)境中的攝像頭所拍攝到的多個(gè)移動(dòng)主體和物體。

Isaac Sim 中的新擴(kuò)展程序可生成用于訓(xùn)練視覺 AI 模型的合成圖像和視頻數(shù)據(jù)，包括：

Isaacsim.Replicator.Agent：對(duì)人類和機(jī)器人在 3D 環(huán)境中執(zhí)行行走、坐下或舉起物體等動(dòng)作進(jìn)行仿真。

Isaacsim.Replicator.Object：生成合成數(shù)據(jù)集，用于使用可配置場(chǎng)景和域隨機(jī)化進(jìn)行物體檢測(cè)。

Incident extension（將在 Isaac 5.0 中推出）：生成基于事件的數(shù)據(jù)，如火災(zāi)、泄漏或物體掉落。

Caption extension（將在 Isaac 5.0 中推出）：創(chuàng)建圖像 – 文本對(duì) (image-caption pairs)，用于訓(xùn)練基于場(chǎng)景理解的視覺語言模型。

Cosmos 世界基礎(chǔ)模型

數(shù)據(jù)格式兼容性的優(yōu)化

NVIDIA Cosmos Transfer等世界基礎(chǔ)模型 (WFM) 可幫助將 Isaac Sim 生成的合成數(shù)據(jù)增強(qiáng)到模型訓(xùn)練所需的逼真程度。新的NVIDIA Omniverse Replicatorwriter 針對(duì) Cosmos Transfer 輸入進(jìn)行了優(yōu)化，使用戶能夠輕松生成并導(dǎo)出高質(zhì)量合成數(shù)據(jù)用于模型訓(xùn)練。它支持獨(dú)立工作流和腳本編輯器，還能無縫集成到現(xiàn)有的 Isaac Sim 合成數(shù)據(jù)生成腳本中。

增強(qiáng)型傳感器仿真

準(zhǔn)確的傳感器仿真對(duì)于在真實(shí)世界中成功部署機(jī)器人和計(jì)算機(jī)視覺應(yīng)用至關(guān)重要。Isaac Sim 將支持通用深度圖噪聲模型，使開發(fā)者能夠逼真地對(duì)立體攝像頭的噪聲特性進(jìn)行仿真。此功能有助于生成噪聲模式接近真實(shí)傳感器數(shù)據(jù)的深度圖像，進(jìn)一步提升合成輸出的真實(shí)感。

改進(jìn)的執(zhí)行器模型

Isaac Sim 現(xiàn)在支持通過 OpenUSD 架構(gòu)定義的新關(guān)節(jié)摩擦模型，包括與 Hexagon Robotics 和 maxon 合作開發(fā)的執(zhí)行器和摩擦參數(shù)。這些模型利用制造商數(shù)據(jù)表中的真實(shí)世界數(shù)據(jù)，確保仿真中關(guān)節(jié)和電機(jī)的驅(qū)動(dòng)行為與實(shí)際高度一致，從而縮小仿真與現(xiàn)實(shí)之間的差距。通過更準(zhǔn)確的執(zhí)行器建模，可以更好地訓(xùn)練強(qiáng)化學(xué)習(xí) (RL) 策略，實(shí)現(xiàn)從仿真到物理硬件的平滑過渡，并提升機(jī)器人在真實(shí)世界中性能的可靠性。

借助標(biāo)準(zhǔn)化 ROS 2 接口和

ZMQ 橋接器簡(jiǎn)化機(jī)器人工作流

為了解決機(jī)器人技術(shù)長期面臨的挑戰(zhàn)，新的標(biāo)準(zhǔn)化 ROS 2 仿真接口通過引入一種一致的方法，通過 ROS 2 控制不同的仿真器。這個(gè)新的標(biāo)準(zhǔn)化接口由 Robotec.ai 牽頭，由 Gazebo、Open 3D Engine 和 NVIDIA 共同合作開發(fā)，通過為開發(fā)者提供一種一致的方法來控制 ROS 2 中的仿真，從而簡(jiǎn)化集成過程。

ZMQ 橋接器是為 Isaac Sim 4.5 添加的擴(kuò)展程序，可實(shí)現(xiàn)與 ROS 之外的外部應(yīng)用程序進(jìn)行快速雙向通信。它支持軟件在環(huán)測(cè)試，并且可以擴(kuò)展到邊緣設(shè)備上的硬件在環(huán)。用例包括流式傳輸攝像頭數(shù)據(jù)、傳輸 ground truth、發(fā)送控制指令及交換輔助數(shù)據(jù)等。

Isaac Lab 2.2 的更新

最新的 Isaac Lab 更新包括 GR00T N1 模型的基準(zhǔn)測(cè)試腳本、增強(qiáng)的合成運(yùn)動(dòng)數(shù)據(jù)生成、通過 Omniverse Fabric 加快加載速度，以及改進(jìn)的吸盤夾具建模。

對(duì) NVIDIA Isaac GR00T N 模型

進(jìn)行基準(zhǔn)測(cè)試和評(píng)估

最新版本的 Isaac Lab 將支持用于對(duì) Isaac GR00T N系列基礎(chǔ)模型進(jìn)行閉環(huán)評(píng)估的環(huán)境基準(zhǔn)測(cè)試腳本。開發(fā)者可以加載這些預(yù)構(gòu)建的環(huán)境和工業(yè)任務(wù)，比如螺母澆注和管道分揀等，來運(yùn)行閉環(huán)基準(zhǔn)測(cè)試。

除了新環(huán)境和基準(zhǔn)測(cè)試外，Isaac Lab 還將支持 LeRobot 數(shù)據(jù)格式，能夠?qū)saac GR00T Blueprint生成的合成數(shù)據(jù)轉(zhuǎn)換為合成操作運(yùn)動(dòng)生成 ，用于Isaac GR00T N1模型的后訓(xùn)練。然后，經(jīng)過訓(xùn)練的策略可以在 Isaac Sim 中針對(duì)多種 “假設(shè)” 場(chǎng)景進(jìn)行進(jìn)一步驗(yàn)證。

使用 GR00T-Mimic 增強(qiáng)合成運(yùn)動(dòng)生成

Isaac Lab 2.1 中引入了雙手操作，Isaac Lab 2.2 將新增預(yù)構(gòu)建環(huán)境。NVIDIA 在 2025 年 GTC 大會(huì)上進(jìn)行了有關(guān)演示。

這些專為數(shù)據(jù)采集設(shè)計(jì)的示例環(huán)境已預(yù)先配置在傅利葉 GR1 人形機(jī)器人上，便于收集合成運(yùn)動(dòng)數(shù)據(jù)以訓(xùn)練機(jī)器人策略模型。這些新的訓(xùn)練環(huán)境使用來自人形機(jī)器人視角的視覺輸入，同時(shí)結(jié)合機(jī)器人狀態(tài)信息（如 GR00T N 模型的關(guān)節(jié)位置數(shù)據(jù)）。

此外，還將提供樣例數(shù)據(jù)、腳本、提示詞及模型檢查點(diǎn)，用以增強(qiáng)來自 Cosmos-Transfer1 的合成數(shù)據(jù)。

提升使用體驗(yàn)

新版本的 Isaac Lab 將使用NVIDIA Fabric。這個(gè) Omniverse 庫支持高性能創(chuàng)建、修改和訪問場(chǎng)景數(shù)據(jù)，以及在網(wǎng)絡(luò)中的 CPU、GPU 和其他 Fabric 客戶端之間的高效通信場(chǎng)景數(shù)據(jù)。

Fabric 可對(duì)數(shù)據(jù)建立索引并提供查詢 API，使物理引擎和渲染系統(tǒng)等僅需訪問所需數(shù)據(jù)，而無需在每幀中遍歷整個(gè)場(chǎng)景。這將加快加載速度并提升可擴(kuò)展性，支持物理仿真、傳感器數(shù)據(jù)采集等任務(wù)與用戶交互并行運(yùn)行。

張量吸盤

表面夾具是機(jī)器人操作中的重要組件。物理上準(zhǔn)確的仿真和張量化訪問對(duì)于實(shí)現(xiàn)基于吸盤的強(qiáng)化學(xué)習(xí)任務(wù)和控制行為至關(guān)重要。

以前，表面夾具僅限于單個(gè)關(guān)節(jié)連接點(diǎn)，因此導(dǎo)致無法拾取多個(gè)物體。它還缺乏調(diào)整物理行為的靈活性，比如使用吸力吸引動(dòng)物體，而只能在當(dāng)前位置靜態(tài)地抓取物體。此外，每個(gè)夾具必須針對(duì)每個(gè)環(huán)境單獨(dú)映射，而不是使用更簡(jiǎn)化的張量化訪問方法。

現(xiàn)在，Isaac Sim 和 Isaac Lab 將允許用戶創(chuàng)建和配置可變形的表面夾具，能夠測(cè)量抓力并以張量化方式更新吸盤參數(shù)。

Isaac Sim 5.0 和 Isaac Lab 2.2 將于今年夏天推出。

生態(tài)系統(tǒng)采用情況

Agility Robotics、波士頓動(dòng)力、傅利葉、Mentee Robotics、Neura Robotics 和小鵬機(jī)器人等公司正在使用 Isaac Sim 和 Isaac Lab 對(duì)其人形機(jī)器人進(jìn)行仿真和驗(yàn)證。Skild AI 正在使用該仿真框架開發(fā)通用機(jī)器人智能，General Robotics 正在將其集成到其機(jī)器人仿真平臺(tái)中。

此外，臺(tái)灣地區(qū)領(lǐng)先的電子和機(jī)器人制造商，比如威剛科技 (Adata)、研華科技 (Advantech)、臺(tái)達(dá)電子 (Delta Electronics)、Foxconn、Foxlink、所羅門 (Solomon)、達(dá)明機(jī)器人 (Techman) 和緯創(chuàng) (Wistron) 正在使用 Isaac Sim 和 Lab 開發(fā)下一代 AI 機(jī)器人。