01 前言

隨著自動(dòng)駕駛技術(shù)的日益升級(jí)，以UniAD、FSD V12為代表的“端到端”架構(gòu)正重構(gòu)行業(yè)格局。這一架構(gòu)試圖通過單一神經(jīng)網(wǎng)絡(luò)直接建立從傳感器輸入到車輛控制的映射，從而突破傳統(tǒng)模塊化累積誤差的局限。

然而端到端模型對(duì)數(shù)據(jù)分布的廣度與深度均有著高要求，尤其是對(duì)缺乏歸納偏置的Transformer架構(gòu)而言，“數(shù)據(jù)規(guī)模”與“場(chǎng)景覆蓋度”可謂直接決定了模型上限。

現(xiàn)實(shí)路測(cè)數(shù)據(jù)面臨極端的長(zhǎng)尾工況數(shù)據(jù)局限，如實(shí)車采集“采不到、標(biāo)不準(zhǔn)、測(cè)不起、太危險(xiǎn)”。在此背景下，“虛擬數(shù)據(jù)集”成為了大家關(guān)注的熱點(diǎn)，通過構(gòu)建涵蓋極端天氣、復(fù)雜交互及事故場(chǎng)景的高保真虛擬數(shù)據(jù)，我們不僅能夠以低成本、高效率的方式生成海量帶標(biāo)簽的樣本，更能為端到端模型提供閉環(huán)訓(xùn)練環(huán)境。虛擬數(shù)據(jù)集已不再是現(xiàn)實(shí)數(shù)據(jù)的簡(jiǎn)單補(bǔ)充，而是訓(xùn)練高階端到端模型不可或缺的一環(huán)。

為滿足自動(dòng)駕駛算法對(duì)高質(zhì)量數(shù)據(jù)資產(chǎn)的迫切需求，并有效應(yīng)對(duì)真實(shí)路測(cè)的局限，本文將全面闡述高保真虛擬數(shù)據(jù)集SimData的構(gòu)建方法。我們將深入解析aiSim2nuScenes工具鏈如何實(shí)現(xiàn)從物理級(jí)虛擬數(shù)據(jù)生成、標(biāo)準(zhǔn)化格式轉(zhuǎn)換，直至最終數(shù)據(jù)集評(píng)測(cè)與驗(yàn)證的全流程閉環(huán)。

圖1：虛擬數(shù)據(jù)集SimData樣本示例

02 SimData數(shù)據(jù)集概述

面對(duì)自動(dòng)駕駛算法對(duì)高質(zhì)量數(shù)據(jù)的需求，傳統(tǒng)真實(shí)路測(cè)正面臨著巨大壓力，一是資金密集型的車隊(duì)運(yùn)營(yíng)與指數(shù)級(jí)增長(zhǎng)的維護(hù)成本，導(dǎo)致其缺乏規(guī)模效應(yīng)，難以支撐感知模型的數(shù)據(jù)吞吐；二是人工3D標(biāo)注在惡劣天氣與遠(yuǎn)距視角下的主觀偏差及真值缺失，直接限制模型精度的上限；三是海量低價(jià)值的數(shù)據(jù)稀釋訓(xùn)練價(jià)值，導(dǎo)致“長(zhǎng)尾”場(chǎng)景捕獲效率極低；最后法律與倫理的紅線，更致使缺少關(guān)鍵的“事故臨界態(tài)”數(shù)據(jù)。

在此背景下，虛擬仿真憑借數(shù)字化優(yōu)勢(shì)成為直面以上壓力的關(guān)鍵角色。它不僅能通過邊際成本遞減打破資金壁壘，還能利用自動(dòng)化真值生成徹底消除了人工噪聲，實(shí)現(xiàn)了像素級(jí)精確標(biāo)注。此外虛擬仿真更能夠?qū)崿F(xiàn)全要素可控，進(jìn)而可自由重構(gòu)復(fù)雜交通流與極端工況。

對(duì)此，基于aiSim高保真仿真器，本文給大家介紹SimData虛擬數(shù)據(jù)集，以便能夠針對(duì)感知算法痛點(diǎn)進(jìn)行攻關(guān)。以下是該數(shù)據(jù)集的簡(jiǎn)要介紹與獲取方式：（更多介紹可閱讀SimData深度解析：高保真虛擬數(shù)據(jù)集的構(gòu)建與評(píng)測(cè)）

①規(guī)模與密度：數(shù)據(jù)集包含15張高精度地圖和45個(gè)獨(dú)立場(chǎng)景，單傳感器數(shù)據(jù)量級(jí)突破18,000幀，總樣本量（Samples）達(dá)到215,472幀，目標(biāo)實(shí)例（Instances）超過64,000個(gè)；

②場(chǎng)景多樣性：覆蓋高速公路（Highway）、城市峽谷（Urban）和立體停車場(chǎng)（Parking）三大核心ODD。特別是針對(duì)真實(shí)路測(cè)中難以捕捉的施工區(qū)域、高速匝道匯入、無(wú)保護(hù)路口以及光照劇烈變化的室內(nèi)車庫(kù)進(jìn)行了重點(diǎn)建模；

③類別均衡性：針對(duì)真實(shí)數(shù)據(jù)集中“類別不平衡”的問題，SimData在保證Car、Pedestrian等基礎(chǔ)類別密度的同時(shí)，增加了Trailer（拖車）、Barricade（路障）、Traffic Cone（交通錐）、Van（面包車）等稀缺類別的樣本比例。這種人為干預(yù)的數(shù)據(jù)分布優(yōu)化，直接提升了模型對(duì)異形障礙物的檢出能力。

圖2：Highway（左）、Urban（中）、Parking（右）圖3：數(shù)據(jù)集數(shù)據(jù)的分布統(tǒng)計(jì)，數(shù)據(jù)集包含了880個(gè)實(shí)例（Instances），215,472個(gè)關(guān)鍵幀數(shù)據(jù)（Sample Data）以及64,190個(gè)標(biāo)注信息（Annotations）圖4：simData標(biāo)注真值在6環(huán)視相機(jī)以及bev視角下的可視化

目前，虛擬合成數(shù)據(jù)集SimData-V1已正式開源，可以通過以下鏈接直接獲?。?/p>

完整版：https://huggingface.co/datasets/Keymotek/simData-Dataset

mini版：https://huggingface.co/datasets/Keymotek/simData_mini-Dataset

03 自動(dòng)化工具鏈：aiSim2nuScenes

在自動(dòng)駕駛從研發(fā)邁向落地的關(guān)鍵階段，如何高效、標(biāo)準(zhǔn)化地將虛擬仿真環(huán)境轉(zhuǎn)化為算法可直接攝取的高價(jià)值數(shù)據(jù)資產(chǎn)，已成為決定工程化成敗的核心挑戰(zhàn)。對(duì)此，本文介紹的aiSim2nuScenes 工具鏈，其并非單純的數(shù)據(jù)轉(zhuǎn)換接口，而是一套構(gòu)建了從虛擬世界到算法應(yīng)用標(biāo)準(zhǔn)橋梁的端到端合成數(shù)據(jù)生產(chǎn)與閉環(huán)評(píng)測(cè)體系。

該工具鏈以流水線作業(yè)的形式，無(wú)縫串聯(lián)起高保真數(shù)據(jù)合成、標(biāo)準(zhǔn)化格式遷移以及自動(dòng)化閉環(huán)測(cè)評(píng)三大關(guān)鍵環(huán)節(jié)。它不僅能基于物理引擎批量生成包含多模態(tài)傳感器信息的原始數(shù)據(jù)，并能將其自動(dòng)化映射為通用的 nuScenes 標(biāo)準(zhǔn)格式，徹底消除仿真平臺(tái)與主流訓(xùn)練框架間的“隔閡”。

無(wú)縫集成的生態(tài)兼容性

為了降低工程團(tuán)隊(duì)的遷移成本，aiSim2nuScenes實(shí)現(xiàn)了對(duì)行業(yè)標(biāo)準(zhǔn)nuScenes-devkit的原生級(jí)支持。該工具鏈提供腳本（Script）批處理與圖形化界面（GUI）雙模式，能夠自動(dòng)解析aiSim導(dǎo)出的原始數(shù)據(jù)，并將其重構(gòu)為nuScenes標(biāo)準(zhǔn)文件結(jié)構(gòu)：

①視覺數(shù)據(jù)：自動(dòng)完成從無(wú)損TGA格式到JPG的轉(zhuǎn)換，并智能抽幀（默認(rèn)每10幀提取關(guān)鍵幀），非關(guān)鍵幀自動(dòng)歸檔至sweeps，保留了時(shí)序信息的完整性；

②點(diǎn)云數(shù)據(jù)：實(shí)現(xiàn)LiDAR數(shù)據(jù)從LAS到BIN、Radar數(shù)據(jù)從JSON到PCD的格式清洗與轉(zhuǎn)換；

③元數(shù)據(jù)自動(dòng)化：自動(dòng)生成category.json（類別定義）、ego_pose.json（自車位姿）、calibrated_sensor.json（傳感器外參）及sample_annotation.json（真值標(biāo)注），徹底消除了人工標(biāo)注引入的認(rèn)知偏差與隨機(jī)誤差，實(shí)現(xiàn)了“生成即真值”。

微秒級(jí)多傳感器時(shí)空同步

多模態(tài)融合算法對(duì)時(shí)間同步的敏感度極高。SimData數(shù)據(jù)集配置了經(jīng)典的L2+傳感器布局：6路環(huán)視相機(jī)（360° FOV）+ 1個(gè)頂置高線束LiDAR + 5個(gè)周視毫米波Radar。aiSim2nuScenes在數(shù)據(jù)生成階段，通過確定性的仿真時(shí)鐘，保證了所有傳感器數(shù)據(jù)在同一時(shí)間戳下的嚴(yán)格對(duì)齊，同步精度達(dá)到微秒級(jí)，完美滿足BEV算法對(duì)時(shí)空一致性的嚴(yán)苛要求。

圖5：從aiSim場(chǎng)景配置、仿真運(yùn)行，到數(shù)據(jù)導(dǎo)出、自動(dòng)化格式轉(zhuǎn)換，再到最終感知模型訓(xùn)練的完整閉環(huán)

04 算法實(shí)證：性能跨越與魯棒性驗(yàn)證

“仿真數(shù)據(jù)能否訓(xùn)練出在真實(shí)世界可用的模型？”這是所有算法工程師關(guān)注的問題。為此，本文基于BEVFormer-tiny，設(shè)計(jì)了嚴(yán)謹(jǐn)?shù)?strong>定量評(píng)測(cè)實(shí)驗(yàn)，用數(shù)據(jù)回答了關(guān)于收斂性、一致性與遷移能力的質(zhì)疑。

良好的收斂性

在純虛擬數(shù)據(jù)集上進(jìn)行的訓(xùn)練實(shí)驗(yàn)顯示，模型在30個(gè)Epoch內(nèi)迅速收斂，最終mAP達(dá)到0.446，NDS（nuScenes Detection Score）達(dá)到0.428。特別是在Bus（AP 0.989）、Motorcycle（AP 0.778）等大尺寸目標(biāo)上，檢測(cè)精度極高。這證明aiSim生成的數(shù)據(jù)在統(tǒng)計(jì)分布和特征維度上是良構(gòu)的，能夠被深度神經(jīng)網(wǎng)絡(luò)有效擬合。

虛實(shí)一致性

為了探究模型“學(xué)到了什么”，本文對(duì)比了“SimData訓(xùn)練模型”與“nuScenes官方預(yù)訓(xùn)練模型”在SimData測(cè)試集上的表現(xiàn)。

①AP相關(guān)性分析：兩者在不同類別上的AP值呈現(xiàn)顯著正相關(guān)（Pearson系數(shù)接近1）；

②Attention Heatmap分析：檢測(cè)熱力圖顯示，兩個(gè)模型在距離感知和空間關(guān)注點(diǎn)上高度重合。無(wú)論是近處車輛的紋理特征，還是遠(yuǎn)處行人的輪廓信息，虛擬數(shù)據(jù)訓(xùn)練的模型展現(xiàn)出了與真實(shí)數(shù)據(jù)模型一致的注意力機(jī)制。這從可解釋性角度有力證明了aiSim數(shù)據(jù)的高保真度。

?圖6：熱力圖顯示，SimData訓(xùn)練的模型（右）與真實(shí)數(shù)據(jù)模型（左）在空間關(guān)注模式上高度一致，證明了兩者在特征提取層面的同源性。

遷移學(xué)習(xí)

最具工程價(jià)值的發(fā)現(xiàn)來(lái)自于域適應(yīng)實(shí)驗(yàn)。本文實(shí)驗(yàn)對(duì)比了三種策略：(1) 僅SimData訓(xùn)練，(2) 僅nuScenes訓(xùn)練，(3) nuScenes預(yù)訓(xùn)練 + SimData微調(diào)（Pre-train + Fine-tune）。

結(jié)果顯示，“Pre-train + Fine-tune”策略在絕大多數(shù)類別上實(shí)現(xiàn)了性能的全面超越；比如在Pedestrian（行人）、Trailer（拖車）、Barricade（路障）等長(zhǎng)尾類別上，微調(diào)后的模型檢測(cè)精度均有顯著提升。

因此可證明虛擬數(shù)據(jù)并非真實(shí)數(shù)據(jù)的簡(jiǎn)單替代，而是其完美的互補(bǔ)。“真實(shí)先驗(yàn) + 仿真多樣性”的組合，能夠有效抑制過擬合，幫助模型學(xué)習(xí)到更具泛化能力的特征表示，從而顯著提升模型在面對(duì)真實(shí)世界未見場(chǎng)景時(shí)的魯棒性。

圖7：實(shí)驗(yàn)數(shù)據(jù)顯示，“Pre-train + Fine-tune”方案在幾乎所有類別上包圍了對(duì)比方案，證明了高保真合成數(shù)據(jù)在提升模型泛化能力方面的巨大潛力

?驗(yàn)證結(jié)論

總結(jié)來(lái)看，以上實(shí)驗(yàn)結(jié)果表明，aiSim生成的數(shù)據(jù)在統(tǒng)計(jì)分布與特征維度上具備高度的良構(gòu)性，不僅支持深度神經(jīng)網(wǎng)絡(luò)在純虛擬環(huán)境下的迅速收斂與高精度檢測(cè)，更在注意力機(jī)制展現(xiàn)了與真實(shí)世界模型高度一致的特征同源性。這證明了高質(zhì)量的仿真數(shù)據(jù)能夠讓算法“學(xué)會(huì)”與現(xiàn)實(shí)世界通用的感知邏輯。

在域適應(yīng)實(shí)驗(yàn)中，“真實(shí)先驗(yàn) + 仿真多樣性”的混合訓(xùn)練策略展現(xiàn)了超越單一數(shù)據(jù)源的SOTA性能。虛擬數(shù)據(jù)并未止步于對(duì)真實(shí)數(shù)據(jù)的簡(jiǎn)單替代，而是憑借其對(duì)長(zhǎng)尾場(chǎng)景（如路障、特殊車輛）的覆蓋能力，成為了真實(shí)數(shù)據(jù)的完美互補(bǔ)。這種組合有效抑制了過擬合，顯著增強(qiáng)了模型在面對(duì)未知場(chǎng)景時(shí)的泛化能力與魯棒性。

高質(zhì)量虛擬數(shù)據(jù)集的核心在于對(duì)真實(shí)物理世界的準(zhǔn)確建模能力。只有當(dāng)仿真數(shù)據(jù)在成像機(jī)理與信號(hào)生成層面具備確定性和一致性，才能真正服務(wù)于自動(dòng)駕駛算法訓(xùn)練。

具體分析本文采用的aiSim仿真器，其基于自研渲染引擎，在底層架構(gòu)上實(shí)現(xiàn)了對(duì)真實(shí)物理過程的系統(tǒng)化映射。此外采用融合式渲染架構(gòu)，將光柵化的高效性、光線追蹤的物理精度以及神經(jīng)渲染在細(xì)節(jié)表達(dá)上的優(yōu)勢(shì)相結(jié)合，在復(fù)雜光照變化及雨、霧、雪等極端環(huán)境下，仍可保持像素級(jí)物理一致性，為感知模型提供高置信度輸入。

在此基礎(chǔ)上，aiSim又進(jìn)一步實(shí)現(xiàn)了從像素級(jí)到信號(hào)級(jí)的確定性建模。無(wú)論是相機(jī)中的成像噪聲、景深與運(yùn)動(dòng)模糊，還是激光雷達(dá)與毫米波雷達(dá)中的光束發(fā)散、多徑效應(yīng)與材質(zhì)反射特性，均基于物理機(jī)理進(jìn)行建模，使生成數(shù)據(jù)在統(tǒng)計(jì)特性與分布形態(tài)上高度接近真實(shí)傳感器輸出。

因此可以說，aiSim為大規(guī)模、高真實(shí)性虛擬數(shù)據(jù)集合成提供了可靠基礎(chǔ)，有效支撐感知算法在復(fù)雜場(chǎng)景下的快速迭代與驗(yàn)證。

05 結(jié)語(yǔ)

總結(jié)來(lái)看，自動(dòng)駕駛的下半場(chǎng)，本質(zhì)上是數(shù)據(jù)規(guī)模與數(shù)據(jù)質(zhì)量的角逐。在摩爾定律失效、Scaling Laws主導(dǎo)的今天，高保真仿真技術(shù)已成為打破數(shù)據(jù)瓶頸的最優(yōu)解。

康謀通過aiSim仿真平臺(tái)、aiSim2nuScenes自動(dòng)化工具鏈以及SimData數(shù)據(jù)集的扎實(shí)落地，向行業(yè)展示了一條清晰的技術(shù)路徑：通過引入物理級(jí)高保真的虛擬數(shù)據(jù)，不僅能夠大幅降低數(shù)據(jù)采集與標(biāo)注的邊際成本，規(guī)避極端工況測(cè)試的道德與安全風(fēng)險(xiǎn)，更能通過“虛實(shí)結(jié)合”的訓(xùn)練策略，顯著提升感知模型在復(fù)雜現(xiàn)實(shí)世界中的表現(xiàn)。

隨著端到端大模型與世界模型的興起，對(duì)高質(zhì)量合成數(shù)據(jù)的需求將呈指數(shù)級(jí)增長(zhǎng)?？梢钥吹?，aiSim提供的高保真虛擬世界，正在成為連接算法代碼與物理現(xiàn)實(shí)的堅(jiān)實(shí)橋梁，加速自動(dòng)駕駛從“有限場(chǎng)景”邁向“全域通達(dá)”！