[首發(fā)于智駕最前沿微信公眾號(hào)]車載攝像頭作為自動(dòng)駕駛系統(tǒng)非常重要的一個(gè)感知硬件，提供了類似人類“眼睛”的功能，使車輛可以看清道路、行人、信號(hào)燈及周圍障礙物。在理想狀態(tài)下，車載攝像頭可以獲得非常清晰的圖像信息，但真實(shí)交通環(huán)境非常復(fù)雜，逆光、夜間無光或者照明突然變化的情況經(jīng)常出現(xiàn)。

在這些極端光照條件下，車載攝像頭出現(xiàn)過曝、欠曝或區(qū)域?qū)Ρ冗^大等問題是不可避免的。這些問題不僅會(huì)影響目標(biāo)檢測(cè)的準(zhǔn)確性，還會(huì)讓用于深度估計(jì)的算法產(chǎn)生較大的誤差，這將直接影響車輛判斷環(huán)境的能力。

逆光場(chǎng)景的挑戰(zhàn)

逆光是日常駕駛中極為常見的場(chǎng)景，像是車輛正對(duì)太陽行駛，或在黃昏時(shí)分從隧道駛出等，都會(huì)造成逆光的情況出現(xiàn)。在這些情況下，光線將直接射向攝像頭，會(huì)導(dǎo)致拍攝畫面中出現(xiàn)局部強(qiáng)烈亮光，而其他區(qū)域則明顯偏暗。

這類動(dòng)態(tài)范圍極高的場(chǎng)景，普通攝像頭很難在一次曝光中同時(shí)捕捉亮部與暗部的細(xì)節(jié)。一旦明暗對(duì)比超出設(shè)備處理能力，攝像頭就只能在“畫面過暗”與“局部過曝”之間做出妥協(xié)，致使畫面中的大量細(xì)節(jié)丟失。

傳統(tǒng)相機(jī)在這種情況下會(huì)出現(xiàn)嚴(yán)重的局部過曝或者陰影區(qū)域細(xì)節(jié)缺失的問題。針對(duì)這一點(diǎn)，自動(dòng)駕駛攝像頭會(huì)采用一些優(yōu)化策略，目前很多視覺系統(tǒng)會(huì)用到的高動(dòng)態(tài)范圍成像（HDR:HighDynamicRange）技術(shù)。

HDR的基本思路是通過多個(gè)不同曝光量的圖像合成一個(gè)范圍更大的圖像，從而保留亮部和暗部的細(xì)節(jié)。HDR會(huì)先捕獲不同曝光的多張圖，然后對(duì)這些圖像做融合和色調(diào)映射，從而在同一幀內(nèi)更好呈現(xiàn)全局光照信息。這樣一來，在強(qiáng)烈逆光下攝像頭也能看到更多細(xì)節(jié)，同時(shí)為后續(xù)的目標(biāo)檢測(cè)和深度估計(jì)提供更穩(wěn)定的輸入數(shù)據(jù)。

還有一種方法是利用軟件算法增強(qiáng)圖像的對(duì)比度與紋理細(xì)節(jié)，這類方法通常與深度學(xué)習(xí)模型相結(jié)合，以提升復(fù)雜光照條件下目標(biāo)的可見性。這一方案還能顯著改善在夜間或弱光環(huán)境中的目標(biāo)分割性能。

即便如此，逆光仍是攝像頭感知中極具挑戰(zhàn)的場(chǎng)景。若光照條件變化過快，系統(tǒng)仍舊會(huì)出現(xiàn)問題。譬如，車輛駛出隧道的瞬間，攝像頭有時(shí)來不及完成曝光調(diào)整，場(chǎng)景已從暗處驟然切換至強(qiáng)光環(huán)境。這種動(dòng)態(tài)適應(yīng)能力的高要求，對(duì)實(shí)時(shí)視覺系統(tǒng)的響應(yīng)速度與穩(wěn)定性構(gòu)成了嚴(yán)峻考驗(yàn)。

夜間、弱光環(huán)境的困難

夜間和弱光與逆光恰恰相反，在夜間和弱光環(huán)境下，光線不足，攝像頭感光元件得到的光很少，畫面噪聲增加，細(xì)節(jié)模糊不清。對(duì)于視覺感知來說，噪聲的出現(xiàn)會(huì)有很大的影響，因?yàn)楹芏嗷谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)和分割模型都假設(shè)輸入的圖像有一定的清晰度和對(duì)比度，一旦圖像質(zhì)量下降，這些算法的判斷能力就會(huì)變差。

為應(yīng)對(duì)弱光和夜間環(huán)境，近年來出現(xiàn)了很多基于圖像增強(qiáng)的技術(shù)，這些技術(shù)借助深度學(xué)習(xí)模型或者圖像處理算法提升了圖像清晰度。像是低光圖像增強(qiáng)算法可分解圖像中的光照和反射成分，增強(qiáng)光照部分從而讓暗區(qū)域的細(xì)節(jié)更明顯。這樣的技術(shù)可以幫助后續(xù)的識(shí)別網(wǎng)絡(luò)更好地理解圖像內(nèi)容。

還有一些算法專門針對(duì)夜間語義分割任務(wù)做優(yōu)化，利用圖像自適應(yīng)濾波等手段動(dòng)態(tài)調(diào)整圖像，使得不同光照下的場(chǎng)景更容易被神經(jīng)網(wǎng)絡(luò)正確識(shí)別。

不過，這些增強(qiáng)方法仍有局限性，它們依賴于訓(xùn)練數(shù)據(jù)，有些訓(xùn)練集可能無法覆蓋所有極端光照情況，導(dǎo)致算法在真實(shí)場(chǎng)景中泛化能力有限。此外，在實(shí)時(shí)應(yīng)用中，圖像增強(qiáng)和深度學(xué)習(xí)推理會(huì)占用較多算力，需要硬件設(shè)計(jì)充分考慮性能與功耗的平衡。

深度估計(jì)在極端光照下的誤差

除了目標(biāo)檢測(cè)之外，攝像頭還常被用于估計(jì)場(chǎng)景的深度信息。單目攝像頭通過圖像中物體的大小變化、紋理梯度、運(yùn)動(dòng)變化等信息推斷深度，但這種推斷本質(zhì)上是一種從二維到三維的映射，當(dāng)光照條件惡劣時(shí)，這種推斷的誤差會(huì)放大。像是亮度變化很大的區(qū)域就會(huì)讓視覺系統(tǒng)錯(cuò)誤判斷紋理邊緣或者物體輪廓，從而影響深度估計(jì)的準(zhǔn)確性。

現(xiàn)階段，雙目攝像頭的使用越來越多，雙目攝像頭使用兩個(gè)相機(jī)模擬人類雙眼，通過視差計(jì)算深度，這在正常光照下能提供更準(zhǔn)確的距離信息。但這種立體視覺也依賴于匹配兩個(gè)圖像中的特征點(diǎn)，當(dāng)圖像本身質(zhì)量很差時(shí)，特征匹配過程就容易失敗，從而導(dǎo)致深度估計(jì)誤差。

當(dāng)然，還有使用時(shí)間結(jié)構(gòu)光或飛行時(shí)間（ToF:Time-of-Flight）的深度相機(jī)可用于深度估計(jì)，這類相機(jī)通過主動(dòng)發(fā)射光信號(hào)并測(cè)量反射時(shí)間來得到深度信息，其性能受環(huán)境光影響較小，但它在長(zhǎng)距離和戶外環(huán)境中的應(yīng)用受限，而且成本和能耗都較高。

因此，想單純依賴攝像頭在極端光照條件下獲得精確深度是非常困難的，這也是為什么單目系統(tǒng)在自動(dòng)駕駛中需要融合其他傳感器來獲得更可靠的環(huán)境理解。

算法補(bǔ)償與神經(jīng)網(wǎng)絡(luò)優(yōu)化

為了彌補(bǔ)攝像頭在復(fù)雜光照條件下的感知局限，自動(dòng)駕駛系統(tǒng)還引入了神經(jīng)網(wǎng)絡(luò)與其他算法策略進(jìn)行補(bǔ)償。目前，深度學(xué)習(xí)已成為目標(biāo)檢測(cè)、分割和深度估計(jì)的主流方法，能夠從海量數(shù)據(jù)中學(xué)習(xí)光照變化對(duì)像素的影響，從而適應(yīng)多樣化的復(fù)雜場(chǎng)景。

針對(duì)夜間等低照度環(huán)境，還有技術(shù)方案通過數(shù)據(jù)增強(qiáng)、域適應(yīng)等訓(xùn)練策略來提升模型性能。在圖像預(yù)處理階段，可加入專門的弱光增強(qiáng)模塊，使網(wǎng)絡(luò)提取到更清晰的特征，從而降低后續(xù)識(shí)別任務(wù)的誤差。

此外，一些端到端模型將光照條件判斷與感知任務(wù)相結(jié)合。這類模型在訓(xùn)練中就學(xué)習(xí)如何根據(jù)不同光照動(dòng)態(tài)調(diào)整內(nèi)部權(quán)重，實(shí)現(xiàn)在強(qiáng)光與弱光場(chǎng)景間自適應(yīng)切換識(shí)別策略，從而提升自動(dòng)駕駛系統(tǒng)的魯棒性。

不過，神經(jīng)網(wǎng)絡(luò)補(bǔ)償并不能完全消除所有問題。因?yàn)檎鎸?shí)世界的光照變化有非常多的邊緣情況，有些可能在訓(xùn)練數(shù)據(jù)中根本沒有出現(xiàn)過，就導(dǎo)致所謂的“長(zhǎng)尾問題”，致使模型在未知光照條件下的泛化能力仍然有限。

攝像頭與其他傳感器融合策略

考慮到攝像頭在復(fù)雜環(huán)境中的感知局限，現(xiàn)階段的自動(dòng)駕駛系統(tǒng)不會(huì)僅依賴單一傳感器工作。行業(yè)普遍采用多傳感器融合方案，即結(jié)合毫米波雷達(dá)、激光雷達(dá)等不同特性的傳感器，以提升系統(tǒng)整體的魯棒性與安全性。

激光雷達(dá)通過主動(dòng)發(fā)射并接收激光束生成高精度點(diǎn)云數(shù)據(jù)，其測(cè)距性能優(yōu)于純視覺方案，且基本不受光照條件影響。在強(qiáng)逆光等極端視覺場(chǎng)景下，即使攝像頭失效，激光雷達(dá)仍能提供穩(wěn)定、準(zhǔn)確的距離與輪廓信息，從而有效彌補(bǔ)視覺感知的短板。因此，多傳感器融合被視為在復(fù)雜、動(dòng)態(tài)環(huán)境中保障系統(tǒng)安全的關(guān)鍵技術(shù)路徑。

圖片源自：網(wǎng)絡(luò)

傳感器融合可在不同層級(jí)實(shí)現(xiàn)，低級(jí)融合直接對(duì)原始數(shù)據(jù)進(jìn)行對(duì)齊與融合，計(jì)算量大但實(shí)時(shí)性較高；中級(jí)融合在特征層面進(jìn)行信息整合，平衡了精度與計(jì)算負(fù)擔(dān)；高級(jí)融合則在決策層合并各傳感器輸出，計(jì)算效率高，但容錯(cuò)性較低，易受單一傳感器錯(cuò)誤的影響。

在實(shí)際系統(tǒng)設(shè)計(jì)時(shí)，需綜合考量自動(dòng)駕駛等級(jí)、功能安全要求、實(shí)時(shí)性、算力成本等多重約束，選擇或設(shè)計(jì)合適的融合架構(gòu)，從而在性能、安全與可實(shí)現(xiàn)性之間取得最佳平衡。

最后的話

自動(dòng)駕駛攝像頭在極端光照條件下面臨的挑戰(zhàn)是多方面的。強(qiáng)逆光、夜間低光、以及照明突變都會(huì)對(duì)攝像頭圖像質(zhì)量產(chǎn)生嚴(yán)重影響，從而影響目標(biāo)識(shí)別和深度估計(jì)的準(zhǔn)確性。對(duì)于這些問題的應(yīng)對(duì)思路不能只依賴單點(diǎn)算法修補(bǔ)，而需要在輸入質(zhì)量、模型魯棒性和多傳感器協(xié)同之間形成閉環(huán)，讓系統(tǒng)在不可避免的信息缺失時(shí)具備可控退化能力。只有當(dāng)光照帶來的風(fēng)險(xiǎn)被納入整體架構(gòu)和安全設(shè)計(jì)中，攝像頭才能在真實(shí)道路環(huán)境下成為“可用而可信”的感知來源。

審核編輯 黃宇