基于真實世界演示訓練機器人策略,不僅成本高、速度慢,還容易出現(xiàn)過擬合問題,進而限制其在不同任務與環(huán)境中的泛化能力。而仿真優(yōu)先的方法可簡化開發(fā)流程、降低風險與成本,同時部署到真實環(huán)境也將更安全、適應性更強。
最新的Isaac Lab 2.3早期開發(fā)者預覽版,通過先進的全身控制、強化的模仿學習和更優(yōu)的運動能力,提升了人形機器人的性能。此次更新還擴展了遙操作的數(shù)據(jù)收集功能,可支持 Meta Quest VR 和 Manus 手套等設備,加速了演示數(shù)據(jù)集的創(chuàng)建。此外,新版本引入了基于運動規(guī)劃器的工作流,用于在操作任務中生成數(shù)據(jù)。
新增強化學習與模仿學習:Isaac Lab 2.3 為靈巧操作任務推出了多項新功能,包括用于感知和本體感知的字典觀察空間,以及自動域隨機化(ADR)和群體訓練(PBT)的技術,以提高強化學習訓練的可擴展性。
Isaac Lab 2.3 還新增了帶吸盤夾具的基準測試環(huán)境,可支持吸盤與傳統(tǒng)夾具兩種操作模式。本次更新在基于管理器的工作流中加入了針對 CPU 端平面夾具的支持,以強化模仿學習功能。
優(yōu)化升級的靈巧操作遙操作功能:Isaac Lab 2.3 新增對宇樹 G1 機器人的遙操作支持,可對宇樹三指靈巧手和 Inspire 五指靈巧手進行動作映射。靈巧動作映射指將人手姿態(tài)轉(zhuǎn)換為機器人手部關節(jié)位置的過程,可實現(xiàn)高效的人機技能遷移,提升接觸密集型手部任務的執(zhí)行表現(xiàn),并為訓練穩(wěn)健的操作策略生成豐富的演示數(shù)據(jù)。本次更新還針對傅利葉 GR1T2、宇樹 G1 等雙臂機器人,改進了上半身控制。
引入無碰撞運動規(guī)劃技術,助力操作數(shù)據(jù)生成:在最新版的 Isaac Lab 中,開發(fā)者可以使用 Isaac Lab Mimic 中的 SkillGen 來生成演示。SkillGen 工作流能生成自適應、無碰撞的操作演示。它將人工提供的子任務片段與 GPU 加速運動規(guī)劃相結(jié)合,使得只需少量的人工演示,就能學習現(xiàn)實世界中接觸密集型操作任務。
移動機器人的端到端導航:開發(fā)者現(xiàn)可利用 Isaac Lab 中的移動工作流對NVIDIA COMPASS進行后訓練。NVIDIA COMPASS 是基于視覺的通用移動工作流,適配不同類型機器人與多樣環(huán)境。該工作流包括三個環(huán)節(jié):在 Isaac Sim 中進行合成數(shù)據(jù)生成、訓練移動模型,以及最終部署到NVIDIA Jetson Orin或NVIDIA Thor。通過 Cosmos Transfer 技術優(yōu)化合成數(shù)據(jù),可以有效縮小仿真與現(xiàn)實的差距。
人形機器人移動操作的合成數(shù)據(jù)生成:移動操作是指移動與操作的協(xié)同執(zhí)行:機器人在移動機身(行走或滾動)的同時,對物體實施動作(抓取、推動或拉動),形成全身協(xié)同作業(yè)體系。該工作流通過整合導航與全身控制器(WBC),生成移動與操作協(xié)同合作的機器人任務演示數(shù)據(jù)。借助這一方案,機器人能夠執(zhí)行復雜且連續(xù)的任務,例如從桌面抓取物體、穿越空間,再將物體放置到其他位置。
策略評估框架:NVIDIA 正與光輪智能共同開發(fā)NVIDIA Isaac Lab – Arena。這是一款用于可擴展仿真實驗的開源策略評估框架。借助該框架的 API,開發(fā)者無需自行搭建系統(tǒng),即可簡化并執(zhí)行復雜的大規(guī)模評估任務。這意味著開發(fā)者既能專注于策略迭代,也能向社區(qū)貢獻評估方法,進而加速機器人研究領域的研發(fā)進程。
基礎設施支持:Isaac Lab 2.3 現(xiàn)支持搭載 NVIDIA GB10 Grace Blackwell 超級芯片的 NVIDIA RTX PRO Blackwell 服務器與 DGX Spark 系統(tǒng)。無論是 RTX PRO 還是 DGX Spark,均為研究人員提供了卓越平臺,可支撐從訓練、合成數(shù)據(jù)生成到機器人學習與仿真等各類機器人開發(fā)工作負載的實驗、原型開發(fā)與運行。
-
機器人
+關注
關注
213文章
31092瀏覽量
222350 -
NVIDIA
+關注
關注
14文章
5597瀏覽量
109793 -
仿真
+關注
關注
54文章
4486瀏覽量
138315
原文標題:在 NVIDIA Isaac Lab 2.3 中使用全身控制和增強遙操作,簡化機器人學習
文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業(yè)解決方案】歡迎添加關注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
基于NVIDIA Isaac Lab拓展多模態(tài)機器人學習
NVIDIA Isaac Lab推動機器人技術突破
NVIDIA 發(fā)布三大利器,推動人形機器人邁向新紀元
NVIDIA 利用全新開源模型與仿真庫加速機器人研發(fā)進程
NVIDIA助力構(gòu)建人形機器人全身遙操作仿真平臺
NVIDIA展示機器人領域的研究成果
NVIDIA Isaac Lab可用環(huán)境與強化學習腳本使用指南
通過NVIDIA Cosmos模型增強機器人學習
NVIDIA Isaac Sim和Isaac Lab現(xiàn)已推出早期開發(fā)者預覽版
NVIDIA Isaac Sim與NVIDIA Isaac Lab的更新
盤點#機器人開發(fā)平臺
NVIDIA Isaac 是英偉達推出的綜合性機器人開發(fā)平臺
深度解讀英偉達Newton機器人平臺:技術革新與跨界生態(tài)構(gòu)建
NVIDIA Isaac Lab 2.3新增功能助力簡化機器人學習
評論