▍文章來源于康謀自動(dòng)駕駛

01 引言

無論是暴雪過后的街道、夜幕下車燈照亮的路面、還是雨霧交織的高速公路——這些對(duì)人類駕駛員而言習(xí)以為常的場(chǎng)景，卻構(gòu)成了自動(dòng)駕駛系統(tǒng)面臨的環(huán)境感知極限挑戰(zhàn)。這是由于傳統(tǒng)3D場(chǎng)景重建技術(shù)在面對(duì)復(fù)雜環(huán)境時(shí)常常力不從心：要么把雪花當(dāng)成場(chǎng)景的一部分輸入進(jìn)模型，要么在光照變化時(shí)直接失效。

近年來，3D高斯?jié)姙R（3D Gaussian Splatting, 3DGS）技術(shù)的崛起，為這一困境帶來了革命性轉(zhuǎn)機(jī)。該技術(shù)不僅實(shí)現(xiàn)了近乎實(shí)時(shí)的逼真場(chǎng)景渲染，更在動(dòng)態(tài)天氣建模、光照變化處理等關(guān)鍵領(lǐng)域取得突破性進(jìn)展，正在重新定義自動(dòng)駕駛仿真系統(tǒng)的能力邊界。

本文將系統(tǒng)梳理3DGS從靜態(tài)重建到動(dòng)態(tài)環(huán)境建模的技術(shù)演進(jìn)，并探討其在自動(dòng)駕駛仿真中的實(shí)踐應(yīng)用。

02 靜態(tài)重建到動(dòng)態(tài)環(huán)境的技術(shù)演進(jìn)

3DGS的核心機(jī)制與局限

3DGS用數(shù)百萬個(gè)3D高斯橢球體來表示場(chǎng)景，每個(gè)高斯體攜帶位置、協(xié)方差、不透明度和顏色信息。渲染時(shí)按深度排序投影到2D平面，通過alpha混合生成最終圖像。相比NeRF需要對(duì)每個(gè)像素進(jìn)行耗時(shí)的體積渲染，3DGS的光柵化過程能充分利用GPU并行計(jì)算，實(shí)現(xiàn)實(shí)時(shí)渲染。

但原始3DGS有個(gè)致命缺陷：它假設(shè)場(chǎng)景靜態(tài)、光照恒定。這在博物館文物掃描中沒問題，但放到真實(shí)世界就行不通了。雪天拍攝的街景會(huì)把空中飄落的雪花、鏡頭上的水滴都當(dāng)作場(chǎng)景固有特征學(xué)習(xí)進(jìn)去，導(dǎo)致重建出的場(chǎng)景永遠(yuǎn)"下著雪"。

天氣環(huán)境重建

真實(shí)世界的天氣環(huán)境重建需要攻克三個(gè)核心難題：天氣偽影的分離去除、動(dòng)態(tài)天氣效果的逼真生成，以及移動(dòng)光源下的場(chǎng)景重建。針對(duì)這些挑戰(zhàn)，研究者們提出了多項(xiàng)創(chuàng)新解決方案，本文將聚焦三篇代表性論文進(jìn)行分享交流：

天氣偽影的分離與去除——WeatherGS：https://arxiv.org/pdf/2412.18862

動(dòng)態(tài)天氣效果的生成——Let it snow：https://arxiv.org/pdf/2504.05296

移動(dòng)光源下的場(chǎng)景重建——DarkGS：https://arxiv.org/pdf/2403.10814

天氣偽影的分離與去除

WeatherGS將天氣干擾分為兩類：空氣中的密集粒子（雪花、雨滴）和鏡頭表面的稀疏遮擋（水珠、霧氣）。前者分布廣泛但單點(diǎn)影響小，后者局部遮擋嚴(yán)重但數(shù)量有限。

研究者設(shè)計(jì)了“密集到稀疏”的兩階段預(yù)處理流程：首先用大氣效應(yīng)濾波器清除空氣中的氣象干擾，類似圖像去噪但需保留場(chǎng)景真實(shí)紋理；隨后用鏡頭效應(yīng)檢測(cè)器提取稀疏遮擋掩膜，標(biāo)記被鏡頭污染遮擋的像素。處理后的圖像和掩膜一起送入3DGS訓(xùn)練，被遮擋區(qū)域不參與損失計(jì)算，從而恢復(fù)出干凈的底層場(chǎng)景。

這套方案的難點(diǎn)在于平衡：去除太激進(jìn)會(huì)損失場(chǎng)景細(xì)節(jié)，太保守則天氣偽影殘留。更棘手的是，不同天氣條件(暴雪、小雨、霧霾)的特征差異很大，模型需要具備跨場(chǎng)景的泛化能力。

圖1：不同方法在雨雪天氣下的偽影去除效果

動(dòng)態(tài)天氣效果的生成

去除天氣偽影只是第一步，更進(jìn)階的需求是在干凈場(chǎng)景上主動(dòng)添加可控的天氣效果。在清除偽影的基礎(chǔ)上，“Let it Snow”進(jìn)一步實(shí)現(xiàn)了可控天氣效果的主動(dòng)添加。該方法創(chuàng)新性地結(jié)合了物理仿真與AI生成模型：物理引擎確保粒子運(yùn)動(dòng)符合重力、風(fēng)力等自然規(guī)律；視頻擴(kuò)散模型則通過學(xué)習(xí)真實(shí)天氣視頻，引導(dǎo)3DGS中的粒子外觀逼近真實(shí)效果。

通過聯(lián)合優(yōu)化框架，物理先驗(yàn)與視覺先驗(yàn)協(xié)同工作，既保證了雪花飄落、雨滴濺射的物理合理性，又實(shí)現(xiàn)了照片級(jí)的渲染質(zhì)感。

圖2：天氣粒子效果

移動(dòng)光源下的場(chǎng)景重建

自動(dòng)駕駛車輛經(jīng)常在夜間或隧道等暗光環(huán)境中工作，此時(shí)車載光源成為主要照明。但這帶來同一路面，車輛靠近時(shí)被強(qiáng)光照亮，遠(yuǎn)離時(shí)又陷入黑暗，視覺外觀完全不同的棘手問題。傳統(tǒng)3DGS會(huì)把不同光照下的觀測(cè)當(dāng)作不同的表面材質(zhì)來學(xué)習(xí)，導(dǎo)致重建失敗。

DarkGS針對(duì)自動(dòng)駕駛常見的夜間或隧道場(chǎng)景，提出了NeLiS光源模型。該模型通過數(shù)據(jù)驅(qū)動(dòng)學(xué)習(xí)真實(shí)光源行為，包含四個(gè)組件：相對(duì)照度分布用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)光源的角度相關(guān)特性；光衰減函數(shù)采用Lorentzian函數(shù)引入可學(xué)習(xí)參數(shù)；環(huán)境光建模考慮非完全黑暗環(huán)境的基礎(chǔ)照明；BRDF模型采用Lambertian反射描述表面材質(zhì)。

訓(xùn)練時(shí)同時(shí)優(yōu)化場(chǎng)景幾何、表面反照率和光源參數(shù)。同時(shí)為避免高度耦合的參數(shù)陷入局部最優(yōu)，訓(xùn)練采用分階段預(yù)熱策略：先固定光源姿態(tài)學(xué)習(xí)場(chǎng)景結(jié)構(gòu)，再逐步放開光源參數(shù)進(jìn)行聯(lián)合優(yōu)化。一旦完成標(biāo)定，即可在重建場(chǎng)景中自由調(diào)整光源位置與強(qiáng)度，模擬從正午陽光到夜間車燈的全時(shí)段光照變化。

圖3：移動(dòng)光源下的場(chǎng)景重建效果

03 aiSim的3DGS實(shí)踐

現(xiàn)實(shí)困境

首先長(zhǎng)尾場(chǎng)景的采集一直以來都是自動(dòng)駕駛發(fā)展中難題之一。系統(tǒng)的安全性高度依賴其對(duì)極端情況的應(yīng)對(duì)能力，但這些Corner Case在實(shí)際道路上出現(xiàn)概率極低。例如，一輛測(cè)試車可能行駛數(shù)千公里才能遇到一次暴雪天氣，數(shù)萬公里才會(huì)碰到夜間施工區(qū)域的復(fù)雜光影場(chǎng)景。若完全依賴實(shí)車采集來覆蓋這些罕見狀況，所需的時(shí)間與經(jīng)濟(jì)成本將難以承受。

此外，傳統(tǒng)仿真技術(shù)雖能快速生成數(shù)據(jù)，卻在真實(shí)感上存在明顯不足。比如基于游戲引擎的仿真平臺(tái)（如CARLA、LGSVL）依賴于手工建模的場(chǎng)景和預(yù)設(shè)的天氣系統(tǒng)，其視覺表現(xiàn)與真實(shí)世界仍存在可察覺的差距。例如，雨滴的運(yùn)動(dòng)軌跡往往過于規(guī)則，水面反射缺乏自然變化，雨霧的層次感與遮擋效果也不夠真實(shí)。在光照模擬方面，游戲引擎常用的簡(jiǎn)化模型（如Phong、Blinn-Phong）難以準(zhǔn)確復(fù)現(xiàn)車燈在濕滑路面上的復(fù)雜反射、路燈透過雨霧的散射等關(guān)鍵光學(xué)現(xiàn)象，而這些恰恰是夜間駕駛感知系統(tǒng)必須可靠應(yīng)對(duì)的場(chǎng)景。

aiSim的3DGS場(chǎng)景重建

aiSim采用3DGS作為核心場(chǎng)景表示技術(shù)，實(shí)現(xiàn)了“采集即建模”的高效工作流。數(shù)據(jù)采集車只需搭載多目相機(jī)和激光雷達(dá)，在目標(biāo)區(qū)域正常行駛一遍，就能收集到重建所需的多視角圖像和稀疏點(diǎn)云?；氐綄?shí)驗(yàn)室后，3DGS重建流程可以在幾小時(shí)內(nèi)完成，這比傳統(tǒng)建模快了幾個(gè)數(shù)量級(jí)。

重建出的場(chǎng)景保留了真實(shí)世界的所有細(xì)節(jié)，如路面的磨損紋理、建筑物的風(fēng)化痕跡、植被的自然分布等。這種“照片級(jí)”的還原度讓仿真數(shù)據(jù)與真實(shí)數(shù)據(jù)在視覺統(tǒng)計(jì)特征上高度一致，大幅縮小sim-to-real gap。更重要的是極具可擴(kuò)展性，當(dāng)需要新場(chǎng)景時(shí)，只需派出采集車跑一趟，無需等待建模團(tuán)隊(duì)排期。這種"采集即建模"的模式讓場(chǎng)景庫的增長(zhǎng)速度與算法迭代需求相匹配。

環(huán)境因素的精細(xì)控制

天氣系統(tǒng)：aiSim支持對(duì)3DGS重建場(chǎng)景的天氣修改。用戶可以通過參數(shù)面板調(diào)節(jié)天氣條件、天氣粒子強(qiáng)度、能見度等參數(shù)，系統(tǒng)實(shí)時(shí)生成對(duì)應(yīng)的天氣效果。

光照系統(tǒng)：aiSim每個(gè)場(chǎng)景在重建時(shí)會(huì)同步標(biāo)定光源特性，包括太陽光的方向和強(qiáng)度、環(huán)境光的色溫。在仿真時(shí)，可以任意調(diào)整時(shí)間、添加或移除人工光源。一個(gè)典型應(yīng)用場(chǎng)景是測(cè)試車輛在隧道出入口的適應(yīng)性：隧道內(nèi)是昏暗的人工照明，出口處是刺眼的陽光，這種劇烈的光照變化會(huì)導(dǎo)致相機(jī)曝光失調(diào)。在aisim中可以精確復(fù)現(xiàn)這一過程，讓感知算法在仿真中充分訓(xùn)練應(yīng)對(duì)策略。

材質(zhì)與反射：aiSim可以在3DGS重建的場(chǎng)景中模擬不同材質(zhì)在不同光照下的表現(xiàn)。如干燥路面的漫反射與積水路面的鏡面反射，復(fù)現(xiàn)車燈光斑等關(guān)鍵視覺特征。

圖4：不同天氣/光照下，aiSim中3DGS場(chǎng)景重建效果

3DGS的核心機(jī)制與局限

aiSim結(jié)合Word Extractor工具鏈，可實(shí)現(xiàn)3DGS場(chǎng)景的快速提取與重建。在真實(shí)數(shù)據(jù)重建的基礎(chǔ)上，系統(tǒng)支持多層次程序化擴(kuò)展：

在重建的道路網(wǎng)絡(luò)上根據(jù)交通規(guī)則生成車輛、行人的運(yùn)動(dòng)軌跡；

定義天氣變化的時(shí)間序列，例如“晴天→多云→小雨→暴雨”的漸變過程；

模擬一天中太陽的運(yùn)動(dòng)軌跡，或者夜間路燈的閃爍、對(duì)向車輛遠(yuǎn)光燈的晃動(dòng)。

這種“真實(shí)基底+程序化變化”的模式兼顧了真實(shí)感和可控性?；A(chǔ)場(chǎng)景的真實(shí)性保證了數(shù)據(jù)分布的準(zhǔn)確性，程序化變化則提供了測(cè)試所需的多樣性和可重復(fù)性。

圖5：Word Extractor工具鏈

04 結(jié)語

總之，3DGS技術(shù)在環(huán)境因素處理上的系列突破——從WeatherGS的偽影分離，到“Let it Snow”的動(dòng)態(tài)天氣生成，再到DarkGS的移動(dòng)光源建?！餐苿?dòng)著虛擬仿真向真實(shí)世界復(fù)雜性的不斷逼近。

可以這樣說，aiSim將這些前沿研究轉(zhuǎn)化為工程實(shí)踐，構(gòu)建了一個(gè)既高度真實(shí)又完全可控的自動(dòng)駕駛測(cè)試環(huán)境。在重建的3DGS場(chǎng)景中，暴雪可以按需降臨，夜晚可以隨時(shí)切換到正午，同一場(chǎng)景可在無限變體中反復(fù)驗(yàn)證算法魯棒性。

盡管當(dāng)前的3DGS方案在處理鏡面反射、透明物體、動(dòng)態(tài)陰影等方面仍有局限，多傳感器融合仿真也有待完善。但技術(shù)方向已經(jīng)明確：通過真實(shí)數(shù)據(jù)驅(qū)動(dòng)的場(chǎng)景重建，結(jié)合物理規(guī)律與AI生成的環(huán)境模擬。而行業(yè)內(nèi)的我們，正在朝著方向構(gòu)建一個(gè)足以支撐L4級(jí)自動(dòng)駕駛驗(yàn)證的仿真體系。