物理 AI (Physical AI）涵蓋機器人技術、智能汽車等領域，需要大量真實世界數(shù)據(jù)、專用基礎設施以及嚴格的測試。

51Sim 利用NVIDIA Cosmos的生成式世界基礎模型，對現(xiàn)有的合成數(shù)據(jù)進行大規(guī)模泛化，在確保物理真實性的前提下，大幅提升了數(shù)據(jù)的豐富度。同時依托 NVIDIA Issac Sim，將輔助駕駛領域的經驗成功拓展到了具身智能領域，為端到端輔助駕駛仿真測試與具身智能機器人訓練提供了海量高置信度的合成數(shù)據(jù)，目前相關成果已在多個主機廠和智能裝備企業(yè)中實現(xiàn)落地應用。

合成數(shù)據(jù)的“多樣性”和“真實性”痛點

合成數(shù)據(jù)的泛化性和模擬-現(xiàn)實差距（Sim-to-Real Gap）是包括輔助駕駛仿真在內的具身智能領域的核心難題。

端到端輔助駕駛模型測試區(qū)別于傳統(tǒng)的模塊化測試方式，需要同時包含感知與規(guī)控環(huán)節(jié)，因此高置信度的感知仿真的重要性大幅提升，這也對仿真場景的真實性和數(shù)據(jù)置信度提出了更高的要求。同時泛化性也是重要的影響因素，高階輔助駕駛的進化深度依賴數(shù)據(jù)多樣性，海量、多維度，且覆蓋極端場景的長尾數(shù)據(jù)可以有效提升算法針對突發(fā)事件的應對能力。

相比于智能汽車，港口、礦山、工廠等場景的工礦則更加復雜，真實數(shù)據(jù)的采集成本更高、數(shù)據(jù)更為稀缺。同時由于裝備本身的復雜性，需要依托高質量的仿真環(huán)境和高度真實的物理仿真引擎才能完成閉環(huán)仿真測試與訓練數(shù)據(jù)合成，這為安全性驗證提出了更艱巨的任務。

利用 NVIDIA Cosmos 提升輔助駕駛合成數(shù)據(jù)場景的泛化性

NVIDIA Cosmos是一個生成式世界基礎模型（WFMs）平臺，包含先進的視覺標記器、護欄以及加速視頻數(shù)據(jù)處理工具管線。它專為加速輔助駕駛汽車和機器人領域的合成數(shù)據(jù)生成、AI 模型訓練與評估而設計，能夠為世界模型訓練提供支持，并加速輔助駕駛汽車和機器人的物理 AI 開發(fā)。

基于高真實感動靜態(tài)場景仿真和物理級傳感器仿真，51Sim 的輔助駕駛與機器人仿真測試平臺 SimOne 能夠輸出豐富的傳感器原始數(shù)據(jù)和真值數(shù)據(jù)類型，包括攝像頭視頻流、2D/3D 包圍盒、語義分割、實例分割、深度圖、法線圖等。這些真值可進一步作為Cosmos Transfer的控制輸入，通過不同的 Prompt，生成大規(guī)模、高真實感的合成數(shù)據(jù)集。

NVIDIA Cosmos為 51Sim 多種合成數(shù)據(jù)技術路線的融合帶來了更多可能性。圖形和 3DGS 混合渲染引擎的輸出可以直接作為 Cosmos 世界基礎模型的輸入。Cosmos Transfer可基于結構輸入或來自NVIDIA Omniverse的真實數(shù)據(jù)，可根據(jù)提示，生成不同場景風格的視頻?？稍?Hugging Face 和 GitHub 上開放使用。在 Cosmos Transfer 的支持下，通過初期的基礎場景搭建以及云端 GPU 集群的加速生成，用戶可在有限資源投入的前提下，快速生成兼具真實性與多樣性的合成數(shù)據(jù)，顯著提升了生成效率，降低合成數(shù)據(jù)的整體成本。

借助 Cosmos，51Sim 將基于自研方案生產的合成數(shù)據(jù)的泛化性，實現(xiàn)了跨數(shù)量級的提升。一次構建，可生成海量的泛化場景，大幅提升了數(shù)據(jù)的復用性，節(jié)省了重建成本。這些合成數(shù)據(jù)幫助車企算法研發(fā)部門實現(xiàn)了極端數(shù)據(jù)的“飽和式”覆蓋，為應對極端場景提供了更強大的數(shù)據(jù)保障，加速高階輔助駕駛算法的快速迭代。

51Sim 專注打造強大落地能力的合成數(shù)據(jù)方案

憑借多年利用圖形引擎對真實世界進行數(shù)字孿生重建的經驗，51Sim 積累了海量的高質量 3D 資產庫，并擁有包括物理仿真及圖形渲染、3DGS 輻射場的重建、世界模型在內的行業(yè)內全面的合成數(shù)據(jù)技術路徑。

依托自研的 3DGS 混合引擎，51Sim 大幅提升了虛擬環(huán)境的視覺真實度和多樣化，并大幅降低了重建成本。這些虛擬場景產生的合成數(shù)據(jù)，嚴格遵循真實世界的物理規(guī)律，包括光照變化、材質特性、碰撞反饋及物體間的動態(tài)交互。

51Sim 的合成數(shù)據(jù)方案已在端到端輔助駕駛領域實現(xiàn)落地應用，憑借高置信度且多樣性的仿真場景、真實傳感器標定的物理級傳感器建模能力及一致性經驗，實現(xiàn)了攝像頭、激光雷達、毫米波雷達等物理級多傳感器仿真，滿足了車企算法測試部門對于端到端仿真對置信度的極致要求。

為了進一步滿足在輔助駕駛算法對于數(shù)據(jù)的真實性與多樣性的要求，縮小真實與仿真之間的領域差異，SimOne 還引入了實時光線追蹤渲染、3DGS 場景及動靜態(tài)資產的重建技術。同時，為了增強數(shù)據(jù)的多樣性，SimOne 還構建了基于域隨機化的靜態(tài)場景生成系統(tǒng)、基于大語言模型（LLM）的動態(tài)場景生成工具，并增加了海量的 SOTIF 資產庫，結合天氣與光照的泛化能力，從而實現(xiàn)了高質量、多樣化的合成數(shù)據(jù)生成。

未來展望：推動物理AI安全、高效地進入物理世界

基于 NVIDIA Cosmos 與 Isaac Sim 的強大能力，51Sim 進一步為端到端輔助駕駛提供了海量高置信度的仿真數(shù)據(jù)，全面提升了輔助駕駛系統(tǒng)的安全性與泛化性能，助力車企端到端輔助駕駛技術的落地。

目前，51Sim 目前應用領域已從輔助駕駛仿真，向智能裝備、低空飛行器、通用機器人等眾多行業(yè)進行了拓展。依托 NVIDIA Isaac 開放生態(tài)，將多年積累的仿真與合成數(shù)據(jù)經驗，和海量的高質量數(shù)據(jù)資產，成功拓展到了智能裝備、機器人等具身智能的仿真訓練領域，為更多行業(yè)提供有力數(shù)據(jù)和仿真能力支撐，推動物理 AI 安全、高效地進入物理世界。

51Sim 于今年加入了 NVIDIA 初創(chuàng)加速計劃，并參加了 2025 NVIDIA 創(chuàng)業(yè)企業(yè)展示活動，后續(xù)將在 NVIDIA 的助力下，在技術和市場方面進行更多交流與聯(lián)動。