在自動駕駛感知系統(tǒng)的研發(fā)過程中，模型的性能高度依賴于大規(guī)模、高質(zhì)量的感知數(shù)據(jù)集。目前業(yè)界常用的數(shù)據(jù)集包括 KITTI、nuScenes、Waymo Open Dataset 等，它們?yōu)樽詣玉{駛算法的發(fā)展奠定了重要基礎(chǔ)。

然而，構(gòu)建真實世界的感知數(shù)據(jù)集并非易事——不僅需要投入大量人力、物力與時間成本，還需要面對數(shù)據(jù)采集受限、隱私合規(guī)、標(biāo)注耗時以及極端場景難以獲取等諸多挑戰(zhàn)。

在此背景下，高保真虛擬數(shù)據(jù)集正成為自動駕駛感知算法研究的新方向。通過仿真平臺生成的虛擬數(shù)據(jù)，不僅能夠快速擴充數(shù)據(jù)規(guī)模，還可靈活構(gòu)造復(fù)雜路況、惡劣天氣及罕見事件，為模型提供更全面的訓(xùn)練樣本。

基于此，康謀推出了全新的高保真虛擬數(shù)據(jù)集——SimData。SimData依托aiSim的高精度物理建模與逼真視覺渲染能力，能夠生成多傳感器同步數(shù)據(jù)（包括相機、激光雷達(dá)、雷達(dá)、IMU 等），實現(xiàn)與真實世界數(shù)據(jù)一致的多模態(tài)特性。

SimData數(shù)據(jù)結(jié)構(gòu)嚴(yán)格遵循nuScenes數(shù)據(jù)集格式規(guī)范，可直接使用官方nuscenes-devkit工具解析和可視化，大幅降低開發(fā)者上手成本。

本文將介紹SimData的核心特性與構(gòu)建流程，并展示其在典型感知任務(wù)中的表現(xiàn)。SimData 正式版及相關(guān)對比測試報告將于近期發(fā)布，敬請持續(xù)關(guān)注康謀的最新動態(tài)。

02 SimData構(gòu)建過程

傳感器布局

在 aiSim 仿真平臺中，我們嚴(yán)格復(fù)現(xiàn)了nuScenes 數(shù)據(jù)集的傳感器布局，以確保數(shù)據(jù)結(jié)構(gòu)和多模態(tài)同步特性的一致性。

仿真車輛共配置了 6 路環(huán)視相機、5 個雷達(dá)（Radar）、1 個激光雷達(dá)（LiDAR）、1 個慣性測量單元（IMU）以及 1 個定位系統(tǒng)（GPS）。

其中，相機與雷達(dá)的采樣頻率均為 40 Hz，激光雷達(dá)的采樣頻率為 80 Hz，能夠滿足高時序精度的多傳感器同步采集需求。

各傳感器的空間布設(shè)與朝向如下圖所示：

整體視圖（左）、前視圖（右）

左視圖（左）、頂視圖（右）

與 nuScenes 不同的是，SimData中所有傳感器均采用FLU（Forward–Left–Up） 坐標(biāo)系，而在 nuScenes 數(shù)據(jù)集中，相機傳感器使用的是RDF（Right–Down–Forward）坐標(biāo)系。

在數(shù)據(jù)構(gòu)建過程中，我們對所有標(biāo)注文件進(jìn)行了嚴(yán)格的坐標(biāo)系轉(zhuǎn)換與對齊處理，確保坐標(biāo)定義在邏輯上與 nuScenes 完全一致。

因此，用戶在使用 SimData 時，無需額外關(guān)注坐標(biāo)差異，其數(shù)據(jù)解析與開發(fā)體驗與 nuScenes保持一致。下圖展示了nuScenes中各傳感器的典型布局及其坐標(biāo)系定義。

數(shù)據(jù)結(jié)構(gòu)

SimData 數(shù)據(jù)集在結(jié)構(gòu)設(shè)計上與 nuScenes 完全保持一致。對于已經(jīng)熟悉 nuScenes 的開發(fā)者而言，無需額外的適配或?qū)W習(xí)成本，即可快速上手SimData 的使用與解析。

下圖展示了 SimData 數(shù)據(jù)集的整體目錄結(jié)構(gòu)，nuScenes 同樣遵循這一組織形式，以實現(xiàn)無縫兼容與工具級互通。

具體說明如下：

maps文件夾

存放數(shù)據(jù)集中使用到的所有高精地圖圖像文件，用于提供地理位置信息和場景背景參考。

samples文件夾

存放各類傳感器的關(guān)鍵幀數(shù)據(jù)，包括：

- 6 路攝像頭圖像（.jpg文件）

- 5 路雷達(dá)點云（.pcd文件）

- 1 路激光雷達(dá)點云（.bin文件）

其中，每隔0.5 秒抽取一幀數(shù)據(jù)作為關(guān)鍵幀進(jìn)行保存。

sweeps文件夾

保存除關(guān)鍵幀以外的連續(xù)傳感器數(shù)據(jù)，用于構(gòu)建時序信息和多幀融合任務(wù)。

v1.0-*文件夾

存放傳感器的標(biāo)注與元數(shù)據(jù)信息，所有文件均以.json格式保存，涵蓋時間戳、姿態(tài)參數(shù)、標(biāo)注標(biāo)簽、場景描述等內(nèi)容。

各個json標(biāo)注文件的關(guān)系網(wǎng)絡(luò)也與nuScenes數(shù)據(jù)集保持一致，這里以nuScenes官方文件結(jié)構(gòu)圖進(jìn)行說明：

在 SimData 數(shù)據(jù)集中，每個文件中的信息塊均通過一個全局唯一的 UUID（Universally Unique Identifier） 作為token進(jìn)行標(biāo)識。

這些 token 構(gòu)成了數(shù)據(jù)集中不同信息之間的關(guān)聯(lián)橋梁，用戶可通過sample.json、sample_data.json 和 sample_annotation.json三個核心文件獲取絕大多數(shù)標(biāo)注與結(jié)構(gòu)化信息。

sample.json

sample.json文件記錄了關(guān)鍵幀（Keyframe）的基礎(chǔ)信息。

- 每個關(guān)鍵幀都對應(yīng)一個sample_token，用于唯一標(biāo)識該幀數(shù)據(jù)。

- 通過scene_token可在scene.json文件中查找到該樣本所屬的場景。

- 文件中還提供了 前一幀 (prev) 與 后一幀 (next) 的token，可用于構(gòu)建連續(xù)幀關(guān)系。

sample_data.json

利用sample_token可在sample_data.json 中獲取對應(yīng)幀的多傳感器數(shù)據(jù)詳情，包括：

- ego_pose_token：車輛自車位姿的引用，可在 ego_pose.json 中獲得該時刻的位姿信息（位置與朝向）。

- calibrated_sensor_token：對應(yīng)傳感器的標(biāo)定參數(shù)，可在 calibrated_sensor.json 中查詢到該傳感器的內(nèi)參與外參信息。

- filename：傳感器原始數(shù)據(jù)的文件路徑。若為相機數(shù)據(jù)，還包含圖像的高度（height）與寬度（width）。

- timestamp：時間戳（單位：微秒），用于多傳感器時間同步。

- is_key_frame：布爾值，指示該幀是否為關(guān)鍵幀。

- next / prev：分別指向下一幀和前一幀的 token，實現(xiàn)時序關(guān)聯(lián)。

sample_annotation.json

sample_annotation.json文件記錄了每個關(guān)鍵幀中檢測到的目標(biāo)物體信息，可通過 sample_token 進(jìn)行關(guān)聯(lián)。包含的主要字段如下：

（1）instance_token：目標(biāo)實例的唯一標(biāo)識。

可在 instance.json 中查詢到該實例對應(yīng)的 category_token（類別信息）、首次與最后出現(xiàn)的關(guān)鍵幀 token。

通過 category_token 可進(jìn)一步在 category.json 中獲取該實例的具體類別名稱。

（2）visibility_token：

可見度等級標(biāo)識（共四級，數(shù)值越大表示可見度越高），其定義可在 visibility.json 中查閱。

（3）目標(biāo)幾何與姿態(tài)信息，這些位姿均定義在傳感器坐標(biāo)系下。

中心點位置 (translation)

尺寸大小 (size)

旋轉(zhuǎn)角度 (rotation)，以 四元數(shù)（Quaternion） 形式存儲

（4）點云統(tǒng)計信息

檢測框中包含的激光雷達(dá)點數(shù) (num_lidar_pts) 與 雷達(dá)點數(shù) (num_radar_pts)。

（5）前后幀關(guān)聯(lián)

分別記錄該實例在前一幀與后一幀中的對應(yīng) token。

03 SimData與感知模型使用示例

使用方法與真值可視化

SimData可以直接使用nuScenes-devkit進(jìn)行解析，使用方法與nuScenes數(shù)據(jù)集一致。示例：

1. from nuscenes.nuscenes import NuScenes

2. nusc = NuScenes(version='v1.0-custom', dataroot=data_path, verbose=True)

得到示例化對象后便可以使用nuScenes官方提供的工具對SimData進(jìn)行分析和模型訓(xùn)練。配合cv2或matplotlib可以對數(shù)據(jù)集進(jìn)行可視化：

具有g(shù)t框的六路攝像頭輸出：

同步lidar點云，可以同時繪制出bev視角下的標(biāo)注信息

bevformer檢測效果展示

以下是使用在nuScenes數(shù)據(jù)集下訓(xùn)練的權(quán)重，采用bevformer-tiny模型直接進(jìn)行檢測的效果（即沒有在SimData上進(jìn)行訓(xùn)練）。

1. bevformer官方代碼庫：https://github.com/fundamentalvision/BEVFormer/tree/master

2. bevformer論文：https://arxiv.org/pdf/2203.17270

04 總結(jié)

本文闡述了虛擬數(shù)據(jù)集在自動駕駛感知研究中的重要性，并介紹了基于aiSim仿真平臺生成的高保真虛擬感知數(shù)據(jù)集——SimData。

文章詳細(xì)說明了 SimData 的數(shù)據(jù)組成結(jié)構(gòu)與使用方法，并利用開源感知模型對其進(jìn)行了檢測驗證，從而驗證了數(shù)據(jù)集的可用性與有效性。

后續(xù)，康謀團(tuán)隊將發(fā)布更為詳盡的測試與對比報告，以進(jìn)一步驗證SimData與真實數(shù)據(jù)集之間的高一致性。通過這一系列工作，我們不僅證明了aiSim仿真環(huán)境的高保真特性，也為研究者與開發(fā)者提供了一個高質(zhì)量、易用且可擴展的虛擬感知數(shù)據(jù)資源，以持續(xù)助力自動駕駛感知算法的研究與訓(xùn)練。