目前，機器人在受控的環(huán)境中能夠有出色的表現(xiàn)，但在面對現(xiàn)實世界任務時，仍難以應對其中的不可預測性、操作靈活性和細微的交互需求，例如組裝精密組件或是以接近人類的精度操控日常物體。

機器人學習已成為彌合實驗室演示與現(xiàn)實世界部署之間差距的關鍵推動力。

本期NVIDIA 機器人研究與開發(fā)摘要 (R2D2)將探討 NVIDIA 研究中心在 CoRL 2025 上展示的三項突破性的神經(jīng)網(wǎng)絡創(chuàng)新研究，這些研究正在重塑機器人的學習與適應方式：

NeRD（神經(jīng)機器人動力學模型）：通過具備跨任務泛化能力的學習型動力學模型增強仿真效果，同時支持在真實環(huán)境中對模型微調。

Dexplore：將動作捕捉演示數(shù)據(jù)作為自適應引導信息，幫助機器人實現(xiàn)人類級別的靈巧操作能力。

VT-Refine：融合視覺感知與觸覺傳感技術，通過創(chuàng)新的“真實—仿真—真實”（real-to-sim-to-real）訓練流程，使機器人熟練掌握高精度雙手協(xié)同裝配任務。

通過神經(jīng)仿真推動機器人學習：現(xiàn)代機器人普遍具有高自由度和復雜的機械結構，傳統(tǒng)仿真器難以準確捕捉其復雜性。神經(jīng)模型能夠高效預測復雜的動力學行為，并適應現(xiàn)實世界的數(shù)據(jù)，有助于應對這一挑戰(zhàn)。

NeRD 是經(jīng)過學習的動力學模型，能夠預測特定機器人（或稱鉸接剛體系統(tǒng)）在接觸約束下的未來狀態(tài)。該模型能夠替代分析仿真器中的低層動力學與接觸求解器，從而構建一種混合仿真預測框架。NeRD 可輕松集成到現(xiàn)有的鉸接剛體仿真框架中，可作為Newton等物理引擎的無縫接入后端。

NeRD 可以高效預測復雜的動力學行為并適應真實世界的數(shù)據(jù)

從人類運動中學習靈巧技能：機器人的手部通常自由度較低且驅動、感知與控制能力有限，這使得機器人難以有效地從人類操作中學習靈巧的操作技能。

手與物體動作捕捉（MoCap）存儲庫提供了豐富的接觸密集操作的人類演示，但它們難以直接用于機器人的策略學習。

本研究提出了參考范圍探索（RSE），一種統(tǒng)一的單循環(huán)優(yōu)化方法。它融合了重定向與跟蹤功能，能夠直接利用運動捕捉（MoCap）數(shù)據(jù)來訓練可擴展的機器人控制策略。這種做法不僅保留了演示的意圖，并使機器人能夠自主探索與其自身形態(tài)相契合的動作。

從人類演示中學習靈巧操作，首先使用RSE訓練一個基于狀態(tài)的模仿控制策略，進而探索機器人專屬的操作策略

視覺與觸覺相結合，實現(xiàn)雙手協(xié)同裝配：基于擴散策略的行為克隆方法面臨兩大局限，即在現(xiàn)實世界中，演示數(shù)據(jù)有限，且數(shù)據(jù)采集接口的觸覺反饋也較為有限。

為解決這一數(shù)據(jù)難題，VT-Refine 開發(fā)了一種創(chuàng)新的“真實—仿真—真實”框架。該框架融合了仿真、視覺與觸覺信息，可有效應對雙手協(xié)同裝配任務中的挑戰(zhàn)。

VT-Refine 是一種創(chuàng)新的視覺觸覺策略學習框架，適用于高精確、接觸密集型的雙手協(xié)同裝配任務