通用機(jī)器人策略需要能夠處理多種任務(wù)，適應(yīng)不同形態(tài)的機(jī)器人，并在多樣化的環(huán)境中運(yùn)行。因此，仿真評(píng)估過(guò)程必須具有可擴(kuò)展性且易于復(fù)現(xiàn)。目前，建立大規(guī)模的策略評(píng)估流程既繁瑣又依賴(lài)人工。如果缺乏系統(tǒng)化的方法，開(kāi)發(fā)者將不得不以高昂成本構(gòu)建定制化基礎(chǔ)設(shè)施，即便如此，任務(wù)庫(kù)的復(fù)雜性和多樣性仍不足。

本文將介紹NVIDIA Isaac Lab-Arena，專(zhuān)為仿真環(huán)境中實(shí)現(xiàn)高效、可擴(kuò)展的機(jī)器人策略評(píng)估而設(shè)計(jì)的開(kāi)源框架。該框架建立在NVIDIA Isaac Lab之上，由NVIDIA與光輪智能共同開(kāi)發(fā)。它提供了用于任務(wù)管理、任務(wù)多樣化以及大規(guī)模并行評(píng)估的簡(jiǎn)化API?，F(xiàn)在，開(kāi)發(fā)者無(wú)需承擔(dān)系統(tǒng)構(gòu)建的高昂成本，即可快速構(gòu)建復(fù)雜的基準(zhǔn)測(cè)試原型。本文還將展示一個(gè)涵蓋環(huán)境設(shè)置、可選的策略后訓(xùn)練以及閉環(huán)評(píng)估的端到端示例工作流。

Isaac Lab-Arena概覽與核心優(yōu)勢(shì)

Isaac Lab-Arena的Pre-alpha版本正式上線，我們誠(chéng)邀社區(qū)參與其路線圖的規(guī)劃。同時(shí)，我們正與基準(zhǔn)測(cè)試作者合作，在Isaac Lab-Arena上實(shí)現(xiàn)并開(kāi)源他們的評(píng)估方法，從而構(gòu)建一個(gè)不斷擴(kuò)大的生態(tài)系統(tǒng)，讓研究者能夠在統(tǒng)一的核心上使用現(xiàn)成的基準(zhǔn)測(cè)試和共享的評(píng)測(cè)方法。

Isaac Lab-Arena具備以下核心優(yōu)勢(shì)包括：簡(jiǎn)化任務(wù)管理、實(shí)現(xiàn)自動(dòng)化的多樣化處理、支持大規(guī)?；鶞?zhǔn)測(cè)試、與數(shù)據(jù)生成和模型訓(xùn)練無(wú)縫集成。后續(xù)將詳細(xì)說(shuō)明。

簡(jiǎn)化任務(wù)管理（從零到一）：

模塊化：框架采用樂(lè)高式的模塊化架構(gòu)，取代了傳統(tǒng)的單體式任務(wù)描述。系統(tǒng)能夠通過(guò)獨(dú)立的物體、場(chǎng)景、本體和任務(wù)模塊，動(dòng)態(tài)構(gòu)建Isaac Lab環(huán)境。

泛化性：通過(guò)Affordance系統(tǒng)（如“可開(kāi)啟”、“可按壓”）實(shí)現(xiàn)標(biāo)準(zhǔn)化交互，使任務(wù)能夠適配到各種不同的物體上。

可擴(kuò)展性：記錄的指標(biāo)與數(shù)據(jù)均可靈活擴(kuò)展。用戶可根據(jù)需要，對(duì)仿真過(guò)程和分析結(jié)果進(jìn)行精細(xì)化的控制。

自動(dòng)化的多樣化處理（從一到多）：可輕松混搭各類(lèi)組件，將同一任務(wù)應(yīng)用于不同的機(jī)器人或物體。例如，無(wú)需重寫(xiě)代碼，即可從家庭場(chǎng)景中的“開(kāi)易拉罐”任務(wù)，無(wú)縫切換到工業(yè)流程任務(wù)。未來(lái)，團(tuán)隊(duì)計(jì)劃利用基礎(chǔ)模型自動(dòng)生成多樣化且真實(shí)的訓(xùn)練任務(wù)。

大規(guī)模與策略無(wú)關(guān)的并行基準(zhǔn)測(cè)試：支持在數(shù)千個(gè)并行仿真環(huán)境中評(píng)估任意機(jī)器人策略，從而實(shí)現(xiàn)高吞吐量的GPU加速評(píng)估。當(dāng)前版本支持同構(gòu)的并行環(huán)境（允許進(jìn)行參數(shù)變化）。

用戶可以在統(tǒng)一的核心架構(gòu)上，獲取社區(qū)基準(zhǔn)測(cè)試和共享的評(píng)估方法。

寬松的開(kāi)源許可：開(kāi)發(fā)者可以自由使用、分發(fā)該框架，并為框架的開(kāi)發(fā)做出貢獻(xiàn)。

與數(shù)據(jù)生成和訓(xùn)練無(wú)縫集成：盡管Isaac Lab-Arena的核心功能是任務(wù)配置與評(píng)估，但它與數(shù)據(jù)生成及訓(xùn)練框架緊密集成。這種集成實(shí)現(xiàn)了無(wú)縫的閉環(huán)工作流，涵蓋從Isaac Lab-Teleop、Isaac Lab-Mimic到NVIDIA Isaac GR00T N系列模型的后訓(xùn)練與推理全過(guò)程。

靈活的部署選項(xiàng)：支持在本地工作站或云原生環(huán)境（如OSMO）中部署，便于實(shí)現(xiàn)CI/CD。此外，它還可集成至如LeRobotEnvironment Hub等排行榜和分發(fā)平臺(tái)。

圖 . NVIDIA Isaac Lab-Arena開(kāi)源框架致力于在仿真環(huán)境中實(shí)現(xiàn)高效、可擴(kuò)展的機(jī)器人策略評(píng)估

生態(tài)系統(tǒng)發(fā)展

NVIDIA正與各基準(zhǔn)測(cè)試作者合作構(gòu)建并發(fā)布基于Isaac Lab-Arena的評(píng)估方案，包括經(jīng)過(guò)仿真到現(xiàn)實(shí)驗(yàn)證的評(píng)估方法、任務(wù)與數(shù)據(jù)集，以方便社區(qū)在統(tǒng)一的核心架構(gòu)上進(jìn)行復(fù)用與擴(kuò)展。這些方案將涵蓋工業(yè)及研究領(lǐng)域的移動(dòng)、機(jī)械臂與移動(dòng)操作等多個(gè)方向的基準(zhǔn)測(cè)試。

光輪智能作為Isaac Lab-Arena框架的共同開(kāi)發(fā)者，已正式采用該框架。通過(guò)Lightwheel-RoboCasa-Tasks和Lightwheel-LIBERO-Tasks套件，該公司已創(chuàng)建并開(kāi)源了超過(guò)250項(xiàng)任務(wù)，并計(jì)劃未來(lái)將其確立為正式基準(zhǔn)測(cè)試。目前，光輪智能正使用Isaac Lab-Arena開(kāi)發(fā)RoboFinals，這是一個(gè)旨在反映復(fù)雜真實(shí)世界環(huán)境的工業(yè)級(jí)基準(zhǔn)測(cè)試。

Isaac Lab-Arena環(huán)境現(xiàn)已集成至Hugging FaceLeRobotEnvironment Hub。開(kāi)發(fā)者可以輕松注冊(cè)基于該框架構(gòu)建的自定義環(huán)境，并利用持續(xù)擴(kuò)充的環(huán)境庫(kù)，對(duì)包括Isaac GR00T N、pi0和SmolVLA在內(nèi)的機(jī)器人策略進(jìn)行后訓(xùn)練與評(píng)估。更多詳細(xì)信息，請(qǐng)參閱LeRobot文檔。

NVIDIA正通過(guò)Hugging Face平臺(tái)為數(shù)百萬(wàn)開(kāi)發(fā)者提供開(kāi)放機(jī)器人模型與數(shù)據(jù)集，推動(dòng)機(jī)器人領(lǐng)域成為該平臺(tái)上增長(zhǎng)最快的類(lèi)別之一。

RoboTwin正使用Isaac Lab-Arena構(gòu)建RoboTwin2.0的擴(kuò)展版本（大規(guī)模具身智能仿真基準(zhǔn)測(cè)試），以及其他復(fù)雜的多步驟任務(wù)基準(zhǔn)測(cè)試。目前正計(jì)劃發(fā)布開(kāi)源版本，相關(guān)的論文提交與代碼更新工作也在同步推進(jìn)中。

此外，通用具身智能體研究中心（GEAR）等NVIDIA研究中心實(shí)驗(yàn)室也在使用Isaac Lab-Arena。他們旨在對(duì)Isaac GR00T N系列視覺(jué)-語(yǔ)言-動(dòng)作模型進(jìn)行基準(zhǔn)測(cè)試，從而在大規(guī)模場(chǎng)景下評(píng)估人形機(jī)器人的推理與技能執(zhí)行能力。

NVIDIA西雅圖機(jī)器人實(shí)驗(yàn)室（SRL）正將其在語(yǔ)言條件任務(wù)套件及評(píng)估方法方面的研究成果集成到Isaac Lab-Arena中，用于通用機(jī)器人策略的基準(zhǔn)測(cè)試。

Isaac Lab-Arena的未來(lái)規(guī)劃

當(dāng)前發(fā)布的Pre-alpha版本是功能相對(duì)有限的早期框架形態(tài)。我們有意以此作為實(shí)際起點(diǎn)，邀請(qǐng)開(kāi)發(fā)者進(jìn)行試用、提供反饋，并共同參與框架未來(lái)的設(shè)計(jì)與發(fā)展。

框架計(jì)劃引入構(gòu)建復(fù)雜任務(wù)庫(kù)所需的核心功能，包括：通過(guò)自然語(yǔ)言指令放置物體、通過(guò)組合基本技能實(shí)現(xiàn)復(fù)合任務(wù)的編排、強(qiáng)化學(xué)習(xí)任務(wù)的設(shè)置，以及并行異構(gòu)評(píng)估（例如，在不同并行環(huán)境中使用不同的物體）。

從長(zhǎng)遠(yuǎn)來(lái)看，團(tuán)隊(duì)致力于探索更智能體化、更神經(jīng)化的方法，以進(jìn)一步擴(kuò)展評(píng)估的規(guī)模。例如，利用NVIDIA Cosmos實(shí)現(xiàn)由世界模型驅(qū)動(dòng)的神經(jīng)仿真與場(chǎng)景生成。此外，團(tuán)隊(duì)還將借助NVIDIA Omniverse NuRec實(shí)現(xiàn)從現(xiàn)實(shí)到仿真的構(gòu)建，從而創(chuàng)建與真實(shí)世界高度一致的鏡像仿真環(huán)境。社區(qū)的積極參與和反饋對(duì)于技術(shù)的發(fā)展至關(guān)重要。

如何利用Isaac Lab-Arena設(shè)置任務(wù)并進(jìn)行大規(guī)模策略評(píng)估

本節(jié)將展示一個(gè)端到端的示例工作流，利用GR1機(jī)器人評(píng)估Isaac GR00T N系列模型在“打開(kāi)微波爐門(mén)“這一操作技能上的表現(xiàn)。該工作流涵蓋環(huán)境設(shè)置、可選的策略后訓(xùn)練以及閉環(huán)評(píng)估。

第一步：環(huán)境創(chuàng)建與多樣化

請(qǐng)按照“GR1開(kāi)啟微波爐門(mén)”任務(wù)的先決條件，克隆倉(cāng)庫(kù)并運(yùn)行Docker容器。隨后，通過(guò)組合不同模塊在Isaac Lab-Arena中構(gòu)建環(huán)境。您需要將一個(gè)具備“可開(kāi)啟”與“可按壓”交互特質(zhì)的物體（微波爐）放置在特定場(chǎng)景（廚房）中，并結(jié)合機(jī)器人本體（GR1機(jī)器人）來(lái)執(zhí)行指定任務(wù)（開(kāi)啟微波爐門(mén)）。用戶還可根據(jù)需要，添加基于遠(yuǎn)程操作的數(shù)據(jù)采集配置。

獲取資產(chǎn)：

background = self.asset_registry.get_asset_by_name("kitchen")()
microwave = self.asset_registry.get_asset_by_name("microwave")()
assets = [background, microwave]
 
embodiment = self.asset_registry.get_asset_by_name("gr1_pink")(enable_cameras=args_cli.enable_cameras)
teleop_device = self.device_registry.get_device_by_name("avp")()

想要了解詳細(xì)信息，請(qǐng)參閱Assets Design與Affordances Design。

放置物體：

microwave_pose = Pose(
    position_xyz=(0.4, -0.00586, 0.22773),
    rotation_wxyz=(0.7071068, 0, 0, -0.7071068),
)
microwave.set_initial_pose(microwave_pose)

構(gòu)建場(chǎng)景：

scene = Scene(assets=assets)

創(chuàng)建任務(wù)：

task = OpenDoorTask(microwave, openness_threshold=0.8, reset_openness=0.2)

任務(wù)封裝了物體、成功標(biāo)準(zhǔn)，以及終止邏輯、事件和指標(biāo)。更多詳情，請(qǐng)參閱Task Design。

最后，將這些獨(dú)立的組件整合起來(lái)，即可構(gòu)建出完整的可運(yùn)行環(huán)境：

isaaclab_arena_environment = IsaacLabArenaEnvironment(
    name=self.name,
    embodiment=embodiment,
    scene=scene,
    task=task,
    teleop_device=teleop_device,
)

接下來(lái)，利用測(cè)試數(shù)據(jù)集來(lái)運(yùn)行該環(huán)境。

首先，下載測(cè)試數(shù)據(jù)集：

hf download \
    nvidia/Arena-GR1-Manipulation-Task \
    arena_gr1_manipulation_dataset_generated.hdf5 \
    --repo-type dataset \
    --local-dir $DATASET_DIR

運(yùn)行該環(huán)境：

python isaaclab_arena/scripts/replay_demos.py \
  --device cpu \
  --enable_cameras \
  --dataset_file "${DATASET_DIR}/arena_gr1_manipulation_dataset_generated.hdf5" \
  gr1_open_microwave \
  --embodiment gr1_pink

機(jī)器人將基于NVIDIA采集的遙操作數(shù)據(jù)，來(lái)執(zhí)行開(kāi)啟微波爐的任務(wù)。

若需了解創(chuàng)建新環(huán)境所涉及的技術(shù)細(xì)節(jié)與設(shè)計(jì)原則，請(qǐng)參閱官方教程文檔。

跨機(jī)器人、物體及場(chǎng)景的高效擴(kuò)展任務(wù)

以下示例將展示如何在不重構(gòu)環(huán)境或工作流的情況下，輕松替換任務(wù)中的物體或機(jī)器人。

示例1 –將操作對(duì)象從微波爐切換為power_drill：

background = asset_registry.get_asset_by_name("kitchen")()
embodiment = asset_registry.get_asset_by_name("gr1_pink")()
power_drill = asset_registry.get_asset_by_name("power_drill")()
assets = [background, power_drill]

示例2 –將機(jī)器人本體從GR1更換為Franka機(jī)械臂，并將操作對(duì)象更換為cracker_box：

background = asset_registry.get_asset_by_name("kitchen")()
embodiment = asset_registry.get_asset_by_name("franka")()
cracker_box = asset_registry.get_asset_by_name("cracker_box")()
assets = [background, cracker_box]

示例3 –將背景從廚房切換為工業(yè)包裝臺(tái)：

background = asset_registry.get_asset_by_name("packing_table")()
embodiment = asset_registry.get_asset_by_name("gr1_pink")()
cracker_box = asset_registry.get_asset_by_name("power_drill")()
assets = [background, cracker_box]

第二步：可選的策略后訓(xùn)練

雖然Isaac Lab-Arena的核心功能聚焦于任務(wù)設(shè)置與策略評(píng)估，但如果您的策略在評(píng)估前需要進(jìn)行后訓(xùn)練，該環(huán)境也能夠與數(shù)據(jù)采集、數(shù)據(jù)生成及后訓(xùn)練流程無(wú)縫集成。您可以按以下步驟操作：

使用Isaac Lab Teleop采集示范數(shù)據(jù)

使用Isaac Lab Mimic將少量示范數(shù)據(jù)擴(kuò)展為規(guī)模更大的合成數(shù)據(jù)集

利用生成的訓(xùn)練集，對(duì)Isaac GR00T N系列模型或任意機(jī)器人策略進(jìn)行后訓(xùn)練

第三步：在并行環(huán)境中執(zhí)行評(píng)估

接下來(lái)的步驟是對(duì)訓(xùn)練完成的策略進(jìn)行評(píng)估。需要注意的是，該框架支持評(píng)估任何已訓(xùn)練好的機(jī)器人策略。

方案1 –在單個(gè)環(huán)境中測(cè)試策略：

python isaaclab_arena/examples/policy_runner.py \
  --policy_type gr00t_closedloop \
  --policy_config_yaml_path isaaclab_arena_gr00t/gr1_manip_gr00t_closedloop_config.yaml \
  --num_steps 2000 \
  --enable_cameras \
  gr1_open_microwave \
  --embodiment gr1_joint

方案2 –在多個(gè)并行的同質(zhì)環(huán)境中測(cè)試策略：

python isaaclab_arena/examples/policy_runner.py \
  --policy_type gr00t_closedloop \
  --policy_config_yaml_path isaaclab_arena_gr00t/gr1_manip_gr00t_closedloop_config.yaml \
  --num_steps 2000 \
  --num_envs 10 \
  --enable_cameras \
  gr1_open_microwave \
  --embodiment gr1_joint

開(kāi)始使用NVIDIA Isaac Lab-Arena

Isaac Lab-Arena的Pre-alpha版本現(xiàn)已開(kāi)源。我們誠(chéng)邀您加入，共同參與并指引其未來(lái)的設(shè)計(jì)與開(kāi)發(fā)。如需使用該框架，可參閱GitHub代碼庫(kù)及相關(guān)文檔。

歡迎通過(guò)GitHub Issue反饋漏洞或建議功能優(yōu)化，也歡迎提交pull request來(lái)貢獻(xiàn)您的修改。

基于Isaac Lab-Arena創(chuàng)建任務(wù)或經(jīng)過(guò)仿真到現(xiàn)實(shí)驗(yàn)證的基準(zhǔn)測(cè)試，并將其開(kāi)源，共同構(gòu)建一個(gè)即插即用的機(jī)器人學(xué)習(xí)任務(wù)共享生態(tài)。

任務(wù)發(fā)布至排行榜或LeRobot Environment Hub等評(píng)估平臺(tái)，提升任務(wù)的可見(jiàn)度，并便于在共享工作流與注冊(cè)表上運(yùn)行。

關(guān)于作者

Sangeeta Subramanian 是 NVIDIA 的高級(jí)產(chǎn)品經(jīng)理，專(zhuān)注于開(kāi)發(fā)用于機(jī)器人學(xué)習(xí)和評(píng)估的仿真軟件。她曾從事智能汽車(chē)平臺(tái)軟件的開(kāi)發(fā)工作，并在 NVIDIA DRIVE 平臺(tái)的系統(tǒng)軟件工程領(lǐng)導(dǎo)方面擁有豐富的經(jīng)驗(yàn)。她擁有北卡羅來(lái)納州立大學(xué)計(jì)算機(jī)科學(xué)碩士學(xué)位。

Kalyan Vadrevu 是 NVIDIA 的產(chǎn)品營(yíng)銷(xiāo)經(jīng)理，專(zhuān)注于 ROS 開(kāi)發(fā)者生態(tài)系統(tǒng)、Isaac ROS、Isaac Manipulator 和 Isaac Perceptor。在加入 NVIDIA 之前，Kalyan 曾在微軟和諾基亞從事開(kāi)發(fā)者關(guān)系和 SDK 營(yíng)銷(xiāo)工作。他擁有印第安納大學(xué) Bloomington 分校的營(yíng)銷(xiāo) MBA 學(xué)位。

Oyindamola Omotuyi 是 NVIDIA 的產(chǎn)品營(yíng)銷(xiāo)經(jīng)理實(shí)習(xí)生，專(zhuān)注于機(jī)器人開(kāi)發(fā)社區(qū)。在之前的 NVIDIA 實(shí)習(xí)期間，她撰寫(xiě)了 NVIDIA 對(duì)話 AI 電子書(shū)的介紹。 Oyindamola Omotuyi 擁有尼日利亞拉各斯大學(xué)系統(tǒng)工程學(xué)士學(xué)位和辛辛那提大學(xué)機(jī)械工程碩士學(xué)位。她目前正在辛辛那提大學(xué)攻讀博士學(xué)位，專(zhuān)注于多智能體深度強(qiáng)化學(xué)習(xí)和機(jī)器人感知。

Vikram Ramasamy 是 NVIDIA 的高級(jí)機(jī)器人工程師，從事機(jī)器人和仿真到現(xiàn)實(shí)應(yīng)用的 3D 感知工作。在蘇黎世聯(lián)邦理工學(xué)院完成碩士學(xué)位后，他加入了 NVIDIA，當(dāng)時(shí)他是 AMZRacing 團(tuán)隊(duì)的一員，為自動(dòng)駕駛賽車(chē)控制系統(tǒng)做出了貢獻(xiàn)。在職業(yè)生涯早期，他從事的是用于賽車(chē)應(yīng)用的空氣動(dòng)力學(xué)技術(shù)。

Alexander Millane 是 NVIDIA 的高級(jí)機(jī)器人工程師，從事機(jī)器感知、機(jī)器人學(xué)習(xí)和仿真交叉領(lǐng)域的工作。Alex 擁有蘇黎世聯(lián)邦理工學(xué)院的博士學(xué)位，主要研究機(jī)器人的實(shí)時(shí) 3D 重建。