91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

NVIDIA如何用AI構(gòu)建機(jī)器人

NVIDIA英偉達(dá) ? 來源:NVIDIA英偉達(dá) ? 2026-03-25 09:55 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

NVIDIA 最新推出的開放模型與框架,整合了仿真、機(jī)器人學(xué)習(xí)與嵌入式計(jì)算,旨在加速云端到實(shí)體機(jī)器人的工作流。

下一代機(jī)器人將是通用型專家,既能理解指令、學(xué)習(xí)通用技能,又可針對(duì)特定任務(wù)進(jìn)行訓(xùn)練。

可以將他們看作既博采眾長、也能勝任特定工作的“萬能型選手“。

構(gòu)建此類機(jī)器人需打通云端到機(jī)器人的集成工作流,從而實(shí)現(xiàn)確保數(shù)據(jù)采集與生成、訓(xùn)練并評(píng)估控制策略,最終安全部署至實(shí)體設(shè)備都能無縫銜接。這些通用型專家系統(tǒng)依賴推理視覺語言動(dòng)作 (VLA) 模型,以實(shí)現(xiàn)智能感知、理解并執(zhí)行多樣化任務(wù)。

為加速這一變革,NVIDIA Isaac 開放平臺(tái)為機(jī)器人開發(fā)者提供包括模型、數(shù)據(jù)管線、仿真框架、運(yùn)行時(shí)庫的完整工具鏈,依托 NVIDIA“三臺(tái)計(jì)算機(jī)解決方案“,實(shí)現(xiàn)機(jī)器人的大規(guī)模構(gòu)建與部署。同時(shí),NVIDIA 提供開放 VLA 模型 NVIDIA Isaac GR00T N,為開發(fā)者引導(dǎo)并后訓(xùn)練其機(jī)器人智能奠定基礎(chǔ)。

這些模型、庫和框架可在云端或邊緣 AI 基礎(chǔ)設(shè)施運(yùn)行,并通過集成 OpenClaw 等長時(shí)間運(yùn)行智能體進(jìn)一步加速。

GTC 2026 上,NVIDIA 發(fā)布了全新智能體友好型模型 NVIDIA Isaac GR00T、Isaac 機(jī)器人仿真與學(xué)習(xí)框架,以及邊緣 AI 系統(tǒng)。NVIDIA 為開發(fā)者帶來面向通用型專家自主化時(shí)代的新一代強(qiáng)大工具。

這些開放工作流采用模塊化設(shè)計(jì),開發(fā)者可自由組合組件、集成自有工具與數(shù)據(jù),并加速從原型開發(fā)到現(xiàn)實(shí)世界部署的進(jìn)程。

Agility 通過 NVIDIA Isaac 開放框架實(shí)現(xiàn)機(jī)器人虛實(shí)遷移

而這一切都始于數(shù)據(jù)。

將算力轉(zhuǎn)化為數(shù)據(jù)

僅在幾年前,擴(kuò)展機(jī)器人流程仍高度依賴開發(fā)者手動(dòng)采集數(shù)據(jù):機(jī)器人的學(xué)習(xí)效果取決于其接觸的現(xiàn)實(shí)世界環(huán)境與不同的場(chǎng)景。

NVIDIA 開放庫和框架改變這一局面:通過將傳感器日志與遙操作演示等現(xiàn)實(shí)世界信號(hào)與仿真生成數(shù)據(jù)相結(jié)合,迅速將云端算力轉(zhuǎn)化為海量的可用數(shù)據(jù)。

高保真且物理精確的合成數(shù)據(jù),正幫助開發(fā)者突破人工采集的局限:很難或者幾乎不可能獲取足量的罕見邊緣場(chǎng)景物理數(shù)據(jù)。這些邊緣場(chǎng)景的數(shù)據(jù)人工難以獲取或存在安全風(fēng)險(xiǎn),卻是機(jī)器人在不可預(yù)測(cè)的現(xiàn)實(shí)環(huán)境中大規(guī)模部署前必須掌握的核心能力。

據(jù) Gartner 報(bào)告,當(dāng)前合成數(shù)據(jù)僅占邊緣場(chǎng)景 AI 訓(xùn)練數(shù)據(jù)的 20%,但到 2030 年這一比例預(yù)計(jì)將超過 90%。

NVIDIA 正借助庫與開放框架推動(dòng)這一轉(zhuǎn)變,持續(xù)賦能基于現(xiàn)實(shí)世界構(gòu)建的高保真合成數(shù)據(jù)工廠。

NVIDIA Omniverse NuRec 加速的 3D Gaussian Splatting 庫現(xiàn)已全面開放下載。它可將現(xiàn)實(shí)世界的真實(shí)傳感器數(shù)據(jù)轉(zhuǎn)化為基于 OpenUSD 的交互式仿真場(chǎng)景,并集成至開放機(jī)器人仿真框架 NVIDIA Isaac Sim。這使得開發(fā)者能根據(jù)傳感器數(shù)據(jù)掃描并重建真實(shí)世界,從而在基于真實(shí)物理交互的仿真環(huán)境中安全測(cè)試機(jī)器人。

FieldAI 結(jié)合 Omniverse NuRec 與其世界級(jí)機(jī)器人基礎(chǔ)模型,助力工業(yè)客戶將機(jī)器人與物理 AI 輕松部署至工作流中

真實(shí)數(shù)據(jù)也可通過遙操作設(shè)備采集。借助已全面開放的 NVIDIA Isaac Teleop,開發(fā)者能夠通過 XR(擴(kuò)展現(xiàn)實(shí))頭戴式耳機(jī)、身體追蹤器及手套等遙操作設(shè)備收集數(shù)據(jù),可在現(xiàn)實(shí)世界和仿真環(huán)境中創(chuàng)建演示數(shù)據(jù),并將其用于在 NVIDIA Isaac Lab 等仿真環(huán)境中訓(xùn)練機(jī)器人。

借助 NVIDIA Isaac Teleop,開發(fā)者可無縫采集真實(shí)世界與仿真環(huán)境中的演示數(shù)據(jù)。

這些數(shù)據(jù)集隨后通過全新的 NVIDIA 物理 AI 數(shù)據(jù)工廠 Blueprint 進(jìn)行擴(kuò)展。該藍(lán)圖將數(shù)據(jù)增強(qiáng)、評(píng)估與編排統(tǒng)一至單一工作流。

依托 NVIDIA Cosmos 開放世界基礎(chǔ)模型與開源智能體編排器 NVIDIA OSMO,此參考工作流為機(jī)器人提供可擴(kuò)展的生產(chǎn)就緒型數(shù)據(jù)引擎?;谠撍{(lán)圖,開發(fā)者可以將單一的現(xiàn)實(shí)場(chǎng)景轉(zhuǎn)化為全新且多樣化的合成場(chǎng)景,而所花費(fèi)的時(shí)間僅為在現(xiàn)實(shí)世界中采集同類數(shù)據(jù)所需時(shí)間的一小部分。

除環(huán)境與數(shù)據(jù)仿真外,機(jī)器人開發(fā)者還需對(duì)機(jī)器人本體進(jìn)行仿真。通過 NVIDIA Isaac Sim,開發(fā)者可從人形機(jī)器人、自主移動(dòng)機(jī)器人及機(jī)械臂中選擇,并按現(xiàn)實(shí)世界的規(guī)格對(duì)虛擬模型進(jìn)行骨骼綁定。

Isaac Sim 與 PTC Onshape 深度集成,簡化機(jī)器人仿真中的骨骼綁定與修改流程

機(jī)器人采用 OpenUSD 格式渲染,能與生成環(huán)境和數(shù)據(jù)無縫交互。其動(dòng)作和軌跡可被記錄、回放并用于訓(xùn)練 AI 模型——所有環(huán)節(jié)均在接觸現(xiàn)實(shí)硬件之前,在仿真環(huán)境中安全完成。

經(jīng)受 AI 考驗(yàn):策略訓(xùn)練

當(dāng)教學(xué)素材 (即數(shù)據(jù)集) 就緒后,機(jī)器人就可開始學(xué)習(xí)新任務(wù)。這一過程始于如 GR00T 等 VLA 推理模型驅(qū)動(dòng)的機(jī)器人大腦。

VLA 模型可基于特定任務(wù)數(shù)據(jù)進(jìn)行后訓(xùn)練。比如:折疊衣服的機(jī)器人需掌握抓取衣物、識(shí)別形狀、精準(zhǔn)折疊及整齊堆疊;烹飪機(jī)器人需精通切菜、攪拌與煎炒;醫(yī)院護(hù)理機(jī)器人須學(xué)會(huì)在走廊自主導(dǎo)航、找到電梯及向醫(yī)護(hù)或患者傳遞物品。

借助光輪智能的仿真數(shù)據(jù),機(jī)械臂在 NVIDIA Isaac Sim 中學(xué)習(xí)如何疊襯衫

VLA 模型完成后訓(xùn)練后,開發(fā)者即可對(duì)機(jī)器人策略進(jìn)行全面驗(yàn)證。在現(xiàn)實(shí)世界中訓(xùn)練此類機(jī)器人往往耗時(shí)過長、成本高昂且風(fēng)險(xiǎn)巨大。因此開發(fā)者轉(zhuǎn)而使用仿真框架,比如最新發(fā)布的 Isaac Lab 3.0 等進(jìn)行訓(xùn)練。Isaac Lab 3.0 能同時(shí)運(yùn)行數(shù)千個(gè)輕量級(jí)物理仿真環(huán)境,讓機(jī)器人安全地并行演練多種場(chǎng)景,在短短幾天內(nèi)即可完成在現(xiàn)實(shí)世界中原本需要數(shù)年才能積累的學(xué)習(xí)量。

下一代機(jī)器人將是通用型專家,既能理解指令、學(xué)習(xí)通用技能,又可針對(duì)特定任務(wù)進(jìn)行訓(xùn)練。

可以將他們看作既博采眾長、也能勝任特定工作的“萬能型選手“。

構(gòu)建此類機(jī)器人需打通云端到機(jī)器人的集成工作流,從而實(shí)現(xiàn)確保數(shù)據(jù)采集與生成、訓(xùn)練并評(píng)估控制策略,最終安全部署至實(shí)體設(shè)備都能無縫銜接。這些通用型專家系統(tǒng)依賴推理視覺語言動(dòng)作 (VLA) 模型,以實(shí)現(xiàn)智能感知、理解并執(zhí)行多樣化任務(wù)。

為加速這一變革,NVIDIA Isaac 開放平臺(tái)為機(jī)器人開發(fā)者提供包括模型、數(shù)據(jù)管線、仿真框架、運(yùn)行時(shí)庫的完整工具鏈,依托 NVIDIA“三臺(tái)計(jì)算機(jī)解決方案“,實(shí)現(xiàn)機(jī)器人的大規(guī)模構(gòu)建與部署。同時(shí),NVIDIA 提供開放 VLA 模型 NVIDIA Isaac GR00T N,為開發(fā)者引導(dǎo)并后訓(xùn)練其機(jī)器人智能奠定基礎(chǔ)。

這些模型、庫和框架可在云端或邊緣 AI 基礎(chǔ)設(shè)施運(yùn)行,并通過集成 OpenClaw 等長時(shí)間運(yùn)行智能體進(jìn)一步加速。

GTC 2026 上,NVIDIA 發(fā)布了全新智能體友好型模型 NVIDIA Isaac GR00T、Isaac 機(jī)器人仿真與學(xué)習(xí)框架,以及邊緣 AI 系統(tǒng)。NVIDIA 為開發(fā)者帶來面向通用型專家自主化時(shí)代的新一代強(qiáng)大工具。

這些開放工作流采用模塊化設(shè)計(jì),開發(fā)者可自由組合組件、集成自有工具與數(shù)據(jù),并加速從原型開發(fā)到現(xiàn)實(shí)世界部署的進(jìn)程。

Agility 通過 NVIDIA Isaac 開放框架實(shí)現(xiàn)機(jī)器人虛實(shí)遷移

而這一切都始于數(shù)據(jù)。

將算力轉(zhuǎn)化為數(shù)據(jù)

僅在幾年前,擴(kuò)展機(jī)器人流程仍高度依賴開發(fā)者手動(dòng)采集數(shù)據(jù):機(jī)器人的學(xué)習(xí)效果取決于其接觸的現(xiàn)實(shí)世界環(huán)境與不同的場(chǎng)景。

NVIDIA 開放庫和框架改變這一局面:通過將傳感器日志與遙操作演示等現(xiàn)實(shí)世界信號(hào)與仿真生成數(shù)據(jù)相結(jié)合,迅速將云端算力轉(zhuǎn)化為海量的可用數(shù)據(jù)。

高保真且物理精確的合成數(shù)據(jù),正幫助開發(fā)者突破人工采集的局限:很難或者幾乎不可能獲取足量的罕見邊緣場(chǎng)景物理數(shù)據(jù)。這些邊緣場(chǎng)景的數(shù)據(jù)人工難以獲取或存在安全風(fēng)險(xiǎn),卻是機(jī)器人在不可預(yù)測(cè)的現(xiàn)實(shí)環(huán)境中大規(guī)模部署前必須掌握的核心能力。

據(jù) Gartner 報(bào)告,當(dāng)前合成數(shù)據(jù)僅占邊緣場(chǎng)景 AI 訓(xùn)練數(shù)據(jù)的 20%,但到 2030 年這一比例預(yù)計(jì)將超過 90%。

NVIDIA 正借助庫與開放框架推動(dòng)這一轉(zhuǎn)變,持續(xù)賦能基于現(xiàn)實(shí)世界構(gòu)建的高保真合成數(shù)據(jù)工廠。

NVIDIA Omniverse NuRec 加速的 3D Gaussian Splatting 庫現(xiàn)已全面開放下載。它可將現(xiàn)實(shí)世界的真實(shí)傳感器數(shù)據(jù)轉(zhuǎn)化為基于 OpenUSD 的交互式仿真場(chǎng)景,并集成至開放機(jī)器人仿真框架 NVIDIA Isaac Sim。這使得開發(fā)者能根據(jù)傳感器數(shù)據(jù)掃描并重建真實(shí)世界,從而在基于真實(shí)物理交互的仿真環(huán)境中安全測(cè)試機(jī)器人。

FieldAI 結(jié)合 Omniverse NuRec 與其世界級(jí)機(jī)器人基礎(chǔ)模型,助力工業(yè)客戶將機(jī)器人與物理 AI 輕松部署至工作流中

真實(shí)數(shù)據(jù)也可通過遙操作設(shè)備采集。借助已全面開放的 NVIDIA Isaac Teleop,開發(fā)者能夠通過 XR(擴(kuò)展現(xiàn)實(shí))頭戴式耳機(jī)、身體追蹤器及手套等遙操作設(shè)備收集數(shù)據(jù),可在現(xiàn)實(shí)世界和仿真環(huán)境中創(chuàng)建演示數(shù)據(jù),并將其用于在 NVIDIA Isaac Lab 等仿真環(huán)境中訓(xùn)練機(jī)器人。

借助 NVIDIA Isaac Teleop,開發(fā)者可無縫采集真實(shí)世界與仿真環(huán)境中的演示數(shù)據(jù)。

這些數(shù)據(jù)集隨后通過全新的 NVIDIA 物理 AI 數(shù)據(jù)工廠 Blueprint 進(jìn)行擴(kuò)展。該藍(lán)圖將數(shù)據(jù)增強(qiáng)、評(píng)估與編排統(tǒng)一至單一工作流。

依托 NVIDIA Cosmos 開放世界基礎(chǔ)模型與開源智能體編排器 NVIDIA OSMO,此參考工作流為機(jī)器人提供可擴(kuò)展的生產(chǎn)就緒型數(shù)據(jù)引擎?;谠撍{(lán)圖,開發(fā)者可以將單一的現(xiàn)實(shí)場(chǎng)景轉(zhuǎn)化為全新且多樣化的合成場(chǎng)景,而所花費(fèi)的時(shí)間僅為在現(xiàn)實(shí)世界中采集同類數(shù)據(jù)所需時(shí)間的一小部分。

除環(huán)境與數(shù)據(jù)仿真外,機(jī)器人開發(fā)者還需對(duì)機(jī)器人本體進(jìn)行仿真。通過 NVIDIA Isaac Sim,開發(fā)者可從人形機(jī)器人、自主移動(dòng)機(jī)器人及機(jī)械臂中選擇,并按現(xiàn)實(shí)世界的規(guī)格對(duì)虛擬模型進(jìn)行骨骼綁定。

Isaac Sim 與 PTC Onshape 深度集成,簡化機(jī)器人仿真中的骨骼綁定與修改流程

機(jī)器人采用 OpenUSD 格式渲染,能與生成環(huán)境和數(shù)據(jù)無縫交互。其動(dòng)作和軌跡可被記錄、回放并用于訓(xùn)練 AI 模型——所有環(huán)節(jié)均在接觸現(xiàn)實(shí)硬件之前,在仿真環(huán)境中安全完成。

經(jīng)受 AI 考驗(yàn):策略訓(xùn)練

當(dāng)教學(xué)素材 (即數(shù)據(jù)集) 就緒后,機(jī)器人就可開始學(xué)習(xí)新任務(wù)。這一過程始于如 GR00T 等 VLA 推理模型驅(qū)動(dòng)的機(jī)器人大腦。

VLA 模型可基于特定任務(wù)數(shù)據(jù)進(jìn)行后訓(xùn)練。比如:折疊衣服的機(jī)器人需掌握抓取衣物、識(shí)別形狀、精準(zhǔn)折疊及整齊堆疊;烹飪機(jī)器人需精通切菜、攪拌與煎炒;醫(yī)院護(hù)理機(jī)器人須學(xué)會(huì)在走廊自主導(dǎo)航、找到電梯及向醫(yī)護(hù)或患者傳遞物品。

借助光輪智能的仿真數(shù)據(jù),機(jī)械臂在 NVIDIA Isaac Sim 中學(xué)習(xí)如何疊襯衫

VLA 模型完成后訓(xùn)練后,開發(fā)者即可對(duì)機(jī)器人策略進(jìn)行全面驗(yàn)證。在現(xiàn)實(shí)世界中訓(xùn)練此類機(jī)器人往往耗時(shí)過長、成本高昂且風(fēng)險(xiǎn)巨大。因此開發(fā)者轉(zhuǎn)而使用仿真框架,比如最新發(fā)布的 Isaac Lab 3.0 等進(jìn)行訓(xùn)練。Isaac Lab 3.0 能同時(shí)運(yùn)行數(shù)千個(gè)輕量級(jí)物理仿真環(huán)境,讓機(jī)器人安全地并行演練多種場(chǎng)景,在短短幾天內(nèi)即可完成在現(xiàn)實(shí)世界中原本需要數(shù)年才能積累的學(xué)習(xí)量。

Hexagon Robotics 的 AEON 人形機(jī)器人在 NVIDIA Isaac Lab 中并行學(xué)習(xí)如何上下樓梯

Isaac Lab 已集成開源機(jī)器人學(xué)習(xí)物理引擎 Newton。借助 Newton,開發(fā)者可耦合多種物理求解器。這些求解器通過重力、慣性及碰撞約束等物理法則計(jì)算物體的運(yùn)動(dòng),從而確保仿真行為的真實(shí)性。該技術(shù)使開發(fā)者能夠?qū)C(jī)器人如何與布料等軟體對(duì)象交互,或如何在雪地、礫石等復(fù)雜地形中的行進(jìn)進(jìn)行仿真。

機(jī)器人開發(fā)者還可調(diào)用 NVIDIA Isaac 庫與 AI 模型,這些組件優(yōu)化了邊緣端的運(yùn)行時(shí)部署,并為操作與移動(dòng)任務(wù)提供了核心構(gòu)建塊:

Isaac for Manipulation:賦予機(jī)器人物體感知、幾何與位姿理解及抓取能力。開發(fā)者將感知模型與 GPU 加速的運(yùn)動(dòng)生成相結(jié)合,使機(jī)器人能在雜亂、動(dòng)態(tài)場(chǎng)景中快速規(guī)劃并重新規(guī)劃動(dòng)作;

Isaac for Mobility:為機(jī)器人定位、建圖與安全導(dǎo)航提供基礎(chǔ)。開發(fā)者利用 GPU 加速的視覺里程計(jì)與 SLAM 技術(shù)實(shí)現(xiàn)穩(wěn)定定位,并配合實(shí)時(shí) 3D 重建技術(shù)規(guī)避障礙物及環(huán)境變化。

1X 的 NEO 機(jī)器人在 NVIDIA Isaac Lab 中學(xué)習(xí)在多樣地形上行走

為確?;诜抡娴膶W(xué)習(xí)能夠遷移至現(xiàn)實(shí)世界,Isaac Sim 與 Isaac Lab 現(xiàn)已支持 Newton、NVIDIA PhysX 及 Google DeepMind Mujoco 等物理引擎,開發(fā)者無需調(diào)整機(jī)器人參數(shù)即可在不同框架間輕松切換。

僅訓(xùn)練單一技能遠(yuǎn)遠(yuǎn)不夠,開發(fā)者還需要確保機(jī)器人技能能夠跨環(huán)境與任務(wù)遷移。最新發(fā)布的 Isaac Lab-Arena 支持大規(guī)模任務(wù)配置與策略評(píng)估,簡化了環(huán)境構(gòu)建流程并加速復(fù)雜任務(wù)的創(chuàng)建,使開發(fā)者能并行評(píng)估多種任務(wù)。Isaac Lab-Arena 還可對(duì)接 LIBERO、RoboTwin 及 NIST 等工業(yè)與學(xué)術(shù)基準(zhǔn)測(cè)試,便于開發(fā)者評(píng)估進(jìn)展。

部署前的關(guān)鍵步驟:測(cè)試

在正式部署前,機(jī)器人必須在多種不同條件下反復(fù)測(cè)試其所學(xué)內(nèi)容。從機(jī)器人運(yùn)動(dòng)與操作,到機(jī)器人動(dòng)力學(xué)對(duì)每項(xiàng)任務(wù)的響應(yīng)方式等每個(gè)細(xì)節(jié),都必須在機(jī)器人投入現(xiàn)實(shí)世界運(yùn)行前經(jīng)過全面評(píng)估。

Cyngn 在 NVIDIA Isaac Sim 中測(cè)試叉車輪胎在不同坡度上的動(dòng)力學(xué)表現(xiàn)。

全面測(cè)試包含兩種模式:軟件在環(huán) (SIL) 僅測(cè)試機(jī)器人軟件棧,而硬件在環(huán) (HIL) 則驗(yàn)證軟件棧在機(jī)器人大腦(即邊緣計(jì)算單元)上的實(shí)際運(yùn)行效果。

Isaac Sim 同時(shí)支持硬件在環(huán)與軟件在環(huán)測(cè)試,方便開發(fā)者能在測(cè)試與迭代過程中輕松切換真實(shí)環(huán)境與仿真環(huán)境。

Wandelbots 借助 NVIDIA Isaac Sim 在高保真仿真環(huán)境中測(cè)試工廠自動(dòng)化機(jī)器人

最新版 Isaac Sim 旨在幫助開發(fā)者無縫銜接各類工作流而設(shè)計(jì):支持 NuRec 渲染以簡化數(shù)據(jù)輸入;同時(shí),多物理后端使機(jī)器人能無需大調(diào)整,即可在 Isaac Sim 與 Isaac Lab 間自由遷移。

此外,該平臺(tái)還可直接連接 Mega——NVIDIA 專為在數(shù)字孿生中大規(guī)模開發(fā)、測(cè)試并優(yōu)化物理 AI 及機(jī)器人集群打造的 NVIDIA Blueprint。機(jī)器人開發(fā)者能將測(cè)試規(guī)模從單個(gè)機(jī)器人輕松擴(kuò)展至多臺(tái)甚至整個(gè)機(jī)器人集群。

Idealworks 借助 NVIDIA Isaac Sim 與 Mega,在基于物理規(guī)律的工廠環(huán)境中同時(shí)測(cè)試多臺(tái)機(jī)器人

借助 NVIDIA Isaac 工作流與 Jetson 模組在現(xiàn)實(shí)世界中運(yùn)行

當(dāng)準(zhǔn)備就緒進(jìn)入部署階段,開發(fā)者就需要高性能計(jì)算平臺(tái):能夠無縫運(yùn)行模型、處理多樣化的高速傳感器數(shù)據(jù),并在邊緣端支持各種形態(tài)與尺寸的機(jī)器人。

包括 Jetson Thor 與 Jetson Orin 在內(nèi)的 NVIDIA Jetson 系列產(chǎn)品為全譜系 AI 驅(qū)動(dòng)的機(jī)器人提供支持,實(shí)現(xiàn)從微型機(jī)械臂到全尺寸人形機(jī)器人的實(shí)時(shí)感知與 AI 推理能力。

智元機(jī)器人和 Bedrock 正在使用 NVIDIA Jetson 部署專為現(xiàn)實(shí)世界設(shè)計(jì)的機(jī)器人。

此外,NVIDIA Isaac 運(yùn)行時(shí)庫優(yōu)化了邊緣端機(jī)器人策略的運(yùn)行方式。最新開源的 cuVSLAM 庫能夠幫助機(jī)器人實(shí)時(shí)定位自身位置并構(gòu)建地圖,并通過基于 Jetson 的嵌入式計(jì)算機(jī)實(shí)現(xiàn)精確且可靠的運(yùn)動(dòng)追蹤。

探索新前沿

隨著機(jī)器人成為通用型專家智能體,研究人員需要可進(jìn)化的工作流,以便于迭代現(xiàn)有技能,而非從零開始重建。

NVIDIA 新推出的開放研究框架 SOMA-X 通過標(biāo)準(zhǔn)化 AI、仿真與實(shí)體機(jī)器人之間的骨骼結(jié)構(gòu)、動(dòng)作及身份表示來幫助解決這一問題。

借助 SOMA-X,團(tuán)隊(duì)無需重復(fù)進(jìn)行骨骼綁定、動(dòng)作重定向或集成,便可以更換不同的本體模型或機(jī)器人平臺(tái),并確保 Isaac Sim、Isaac Lab 和基于 GR00T 的管線在硬件和軟件不斷迭代的同時(shí)穩(wěn)定運(yùn)行。

隨著新本體模型、數(shù)據(jù)集或硬件出現(xiàn),開發(fā)者可以在無需破壞現(xiàn)有的工具或像 OpenClaw 這樣的長時(shí)間運(yùn)行智能體情況下,接入相同的 SOMA-X 共享表示形式。這些智能體正不斷訓(xùn)練、評(píng)估并部署新行為。

在此共享本體層之上,面向研究人員的新基礎(chǔ)模型 GEAR-SONIC 現(xiàn)已上線,為人形機(jī)器人提供了強(qiáng)大的功能。該模型基于 Isaac Lab 中的大規(guī)模人類動(dòng)作數(shù)據(jù)進(jìn)行訓(xùn)練,能夠教會(huì)機(jī)器人行走、爬行、操作物體等一系列自然全身技能。這一切均通過采用單一統(tǒng)一策略實(shí)現(xiàn),而非依賴多個(gè)特定任務(wù)控制器。

安全工具與入門資源

NVIDIA 機(jī)器人技術(shù)棧配套提供完善的安全工具和入門資源,旨在幫助團(tuán)隊(duì)快速從實(shí)驗(yàn)階段過渡到規(guī)?;渴鸬目煽肯到y(tǒng)中。

NVIDIA Halos:完整的全棧安全系統(tǒng),通過覆蓋從云端到機(jī)器人的的端到端安全護(hù)欄,為機(jī)器人的安全開發(fā)、訓(xùn)練和部署提供保障。

NVIDIA GR00T X-Embodiment:該數(shù)據(jù)集包含了用于后訓(xùn)練 NVIDIA GR00T 的相同數(shù)據(jù)。目前該數(shù)據(jù)集在 Hugging Face 上下載量已超過 1000 萬次。

Bones Studio 發(fā)布 BONES-SEED:包含 14 萬個(gè)人類動(dòng)作動(dòng)畫庫,可用于訓(xùn)練人形機(jī)器人。每個(gè)動(dòng)作都附有描述和時(shí)間戳,為機(jī)器人團(tuán)隊(duì)構(gòu)建更智能、更逼真的人形機(jī)器人提供了現(xiàn)成的基礎(chǔ)。該資源可通過 Hugging Face 上的 NVIDIA 物理 AI 開放數(shù)據(jù)集獲取。

教育資源:對(duì)于初級(jí)機(jī)器人開發(fā)者,提供了 Isaac Sim 和 Isaac Lab 的學(xué)習(xí)路徑以指導(dǎo)開發(fā)。NVIDIA 深度學(xué)習(xí)培訓(xùn)中心(DLI)也提供了自學(xué)式和講師引導(dǎo)類的課程,助力開啟機(jī)器人開發(fā)之旅。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 機(jī)器人
    +關(guān)注

    關(guān)注

    213

    文章

    31200

    瀏覽量

    222971
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    5661

    瀏覽量

    109940
  • AI
    AI
    +關(guān)注

    關(guān)注

    91

    文章

    40321

    瀏覽量

    301918

原文標(biāo)題:GTC2026 | 從仿真到量產(chǎn):如何用 AI 構(gòu)建機(jī)器人

文章出處:【微信號(hào):NVIDIA_China,微信公眾號(hào):NVIDIA英偉達(dá)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    英飛凌攜手NVIDIA,依托數(shù)字孿生技術(shù)加速部署安全可靠的機(jī)器人

    英飛凌科技股份公司近日宣布進(jìn)一步擴(kuò)大與NVIDIA的合作,推進(jìn)物理 AI系統(tǒng)架構(gòu)的發(fā)展,重點(diǎn)聚焦人形機(jī)器人領(lǐng)域。雙方將基于2025年8月宣布的合作繼續(xù)深化合作,結(jié)合英飛凌在電機(jī)控制、微控制器、電源
    發(fā)表于 03-19 16:52 ?1038次閱讀
    英飛凌攜手<b class='flag-5'>NVIDIA</b>,依托數(shù)字孿生技術(shù)加速部署安全可靠的<b class='flag-5'>機(jī)器人</b>

    NVIDIA 攜手全球機(jī)器人領(lǐng)導(dǎo)者,將物理 AI 帶入現(xiàn)實(shí)世界

    新聞?wù)?全球物理 AI 領(lǐng)域的領(lǐng)導(dǎo)者——包括機(jī)器人“大腦”開發(fā)商、工業(yè)與手術(shù)機(jī)器人巨頭、人形機(jī)器人先鋒企業(yè),如 ABB Robotics、智元機(jī)
    的頭像 發(fā)表于 03-17 11:22 ?440次閱讀
    <b class='flag-5'>NVIDIA</b> 攜手全球<b class='flag-5'>機(jī)器人</b>領(lǐng)導(dǎo)者,將物理 <b class='flag-5'>AI</b> 帶入現(xiàn)實(shí)世界

    基于NVIDIA模組與軟件套件推動(dòng)邊緣與機(jī)器人AI推理

    NVIDIA 正式推出 NVIDIA Jetson T4000,將高性能 AI 與實(shí)時(shí)推理能力帶入更廣泛的機(jī)器人和邊緣 AI 應(yīng)用。T400
    的頭像 發(fā)表于 01-14 09:46 ?638次閱讀
    基于<b class='flag-5'>NVIDIA</b>模組與軟件套件推動(dòng)邊緣與<b class='flag-5'>機(jī)器人</b><b class='flag-5'>AI</b>推理

    借助NVIDIA Isaac Sim與World Labs Marble加速機(jī)器人仿真環(huán)境構(gòu)建

    一直以來,為機(jī)器人仿真構(gòu)建逼真的 3D 環(huán)境是一項(xiàng)非常耗費(fèi)人力的工作,往往需要數(shù)周的手動(dòng)建模與配置。如今,借助生成式世界模型,開發(fā)者只需輸入文本提示,就能在極短時(shí)間內(nèi)生成一個(gè)逼真、可直接用于仿真
    的頭像 發(fā)表于 12-24 10:28 ?1566次閱讀

    RK3576機(jī)器人核心:三屏異顯+八路攝像頭,重塑機(jī)器人交互與感知

    ?!?利用開發(fā)板上的MIPI CSI1和CSI2接口,完整接入8路攝像頭,實(shí)現(xiàn)了所有通道的視頻預(yù)覽與采集,為機(jī)器人構(gòu)建了全方位的視覺感知系統(tǒng)。卓越性能表現(xiàn):· CPU占用率:34%· DDR占用率:50
    發(fā)表于 10-29 16:41

    NVIDIA三臺(tái)計(jì)算機(jī)解決方案如何協(xié)同助力機(jī)器人技術(shù)

    NVIDIA DGX、基于 NVIDIA RTX PRO 服務(wù)器的 Omniverse 和 Cosmos,以及 Jetson AGX Thor,正全面加速從人形機(jī)器人機(jī)器人工廠等基于
    的頭像 發(fā)表于 08-27 11:48 ?2490次閱讀

    基于 NVIDIA Blackwell 的 Jetson Thor 現(xiàn)已發(fā)售,加速通用機(jī)器人時(shí)代的到來

    ·專為物理 AI機(jī)器人打造的機(jī)器人計(jì)算機(jī) NVIDIA Jetson AGX Thor 開發(fā)者套件和量產(chǎn)級(jí)模組,現(xiàn)已發(fā)售。 ·超過 200 萬開發(fā)者正在使用
    發(fā)表于 08-26 09:28 ?1312次閱讀
    基于 <b class='flag-5'>NVIDIA</b> Blackwell 的 Jetson Thor 現(xiàn)已發(fā)售,加速通用<b class='flag-5'>機(jī)器人</b>時(shí)代的到來

    利用NVIDIA Cosmos模型訓(xùn)練通用機(jī)器人

    機(jī)器人領(lǐng)域的一大核心挑戰(zhàn)在于如何讓機(jī)器人掌握新任務(wù),而無需針對(duì)每個(gè)新任務(wù)和環(huán)境耗費(fèi)大量精力收集和標(biāo)注數(shù)據(jù)集。NVIDIA 的最新研究方案通過生成式 AI、世界基礎(chǔ)模型(如
    的頭像 發(fā)表于 08-05 16:22 ?2162次閱讀
    利用<b class='flag-5'>NVIDIA</b> Cosmos模型訓(xùn)練通用<b class='flag-5'>機(jī)器人</b>

    NVIDIA助力構(gòu)建人形機(jī)器人全身遙操作仿真平臺(tái)

    清華大學(xué)與銀河通用機(jī)器人聯(lián)合研發(fā),推出了專為人形機(jī)器人全身仿真遙操作設(shè)計(jì)的平臺(tái) OpenWBT_Isaac。該平臺(tái)依托 NVIDIA Isaac Sim 與 Isaac Lab 的強(qiáng)大仿真能力
    的頭像 發(fā)表于 07-28 15:01 ?2124次閱讀

    通過NVIDIA Cosmos模型增強(qiáng)機(jī)器人學(xué)習(xí)

    通用機(jī)器人的時(shí)代已經(jīng)到來,這得益于機(jī)械電子技術(shù)和機(jī)器人 AI 基礎(chǔ)模型的進(jìn)步。但目前機(jī)器人技術(shù)的發(fā)展仍面臨一個(gè)關(guān)鍵挑戰(zhàn):機(jī)器人需要大量的訓(xùn)練
    的頭像 發(fā)表于 07-14 11:49 ?1150次閱讀
    通過<b class='flag-5'>NVIDIA</b> Cosmos模型增強(qiáng)<b class='flag-5'>機(jī)器人</b>學(xué)習(xí)

    NVIDIA技術(shù)助力歐洲廠商推出機(jī)器人系統(tǒng)與平臺(tái)

    基于 NVIDIA 安全的全棧機(jī)器人開發(fā)平臺(tái),Agile?Robots、Humanoid、Neura?Robotics、Universal Robots、Vorwerk?和?Wandelbots 等公司推出 NVIDIA 加速的
    的頭像 發(fā)表于 06-16 13:54 ?1659次閱讀

    NVIDIA 通過云端至機(jī)器人計(jì)算平臺(tái)驅(qū)動(dòng)人形機(jī)器人技術(shù),賦能物理 AI

    。 ? 包括 Agility Robotics、波士頓動(dòng)力、傅利葉、Foxlink、銀河通用、Mentee Robotics、NEURA Robotics、General Robotics、Skild AI 和小鵬機(jī)器人在內(nèi)的多家人形機(jī)
    發(fā)表于 05-19 17:53 ?1793次閱讀
    <b class='flag-5'>NVIDIA</b> 通過云端至<b class='flag-5'>機(jī)器人</b>計(jì)算平臺(tái)驅(qū)動(dòng)人形<b class='flag-5'>機(jī)器人</b>技術(shù),賦能物理 <b class='flag-5'>AI</b>

    盤點(diǎn)#機(jī)器人開發(fā)平臺(tái)

    圖,電子技術(shù)資料網(wǎng)站具身智能機(jī)器人****開發(fā)平臺(tái)——Fibot廣和通發(fā)布機(jī)器人開發(fā)平臺(tái)-電子發(fā)燒友網(wǎng)NVIDIA Isaac 英偉達(dá)綜合性機(jī)器人開發(fā)平臺(tái)
    發(fā)表于 05-13 15:02

    NVIDIA推出AI醫(yī)療健康機(jī)器人開發(fā)平臺(tái)

    醫(yī)療科技的未來是機(jī)器人化——醫(yī)院將全面自動(dòng)化,由 AI 驅(qū)動(dòng)的手術(shù)系統(tǒng)、機(jī)器人助手和自主患者護(hù)理徹底改變現(xiàn)有醫(yī)療模式。
    的頭像 發(fā)表于 04-19 17:07 ?1663次閱讀
    <b class='flag-5'>NVIDIA</b>推出<b class='flag-5'>AI</b>醫(yī)療健康<b class='flag-5'>機(jī)器人</b>開發(fā)平臺(tái)

    NVIDIA Isaac 是英偉達(dá)推出的綜合性機(jī)器人開發(fā)平臺(tái)

    NVIDIA Isaac 是英偉達(dá)推出的綜合性機(jī)器人開發(fā)平臺(tái),旨在通過 GPU 加速、物理仿真和生成式 AI 技術(shù),加速自主移動(dòng)機(jī)器人(AMR)、機(jī)械臂及人形
    的頭像 發(fā)表于 04-02 18:03 ?2880次閱讀