[首發(fā)于智駕最前沿微信公眾號(hào)]在自動(dòng)駕駛的技術(shù)路線之爭中，純視覺方案憑借其更接近人類駕駛邏輯、更低的成本以及更具擴(kuò)展性等優(yōu)勢，成為很多主機(jī)廠的主要選擇。但純視覺系統(tǒng)在隧道進(jìn)出的明暗劇變、夜晚逆光下的強(qiáng)光直射、以及城市街道隨處可見的LED信號(hào)燈頻閃等極端光照條件下表現(xiàn)有時(shí)不盡人意，這也成為很多人推崇激光雷達(dá)方向的原因。

最近在討論極端光照條件對攝像頭影響時(shí)，就有小伙伴提出了橫向溢出積分電容（Lateral Overflow Integration Capacitor，簡稱LOFIC）技術(shù)，今天就帶大家來聊一聊。

光電轉(zhuǎn)換的物理邊界與傳統(tǒng)HDR的短板

在聊LOFIC技術(shù)之前，我們必須先了解攝像頭傳感器捕捉光線的原理。圖像傳感器的每一個(gè)像素，實(shí)際上都可以被看作是一個(gè)用來收集光子并將其轉(zhuǎn)化為電荷的“蓄水桶”。在理想狀態(tài)下，光線越強(qiáng)，桶里的電荷就越多，轉(zhuǎn)化出的圖像信號(hào)也就越明亮。

然而，這種物理結(jié)構(gòu)存在一個(gè)天然的限制，即“滿阱容量”（Full Well Capacity,FWC）。當(dāng)光線極其強(qiáng)烈時(shí)，像素桶中的電荷會(huì)迅速填滿并溢出，導(dǎo)致圖像出現(xiàn)大面積的過曝和細(xì)節(jié)丟失。在自動(dòng)駕駛的場景中，有一個(gè)場景可以很好地體現(xiàn)這一特征，那就是車輛從黑暗的隧道駛向陽光刺眼的出口時(shí)，攝像頭會(huì)經(jīng)歷短暫的“失明”，無法識(shí)別前方的路況或障礙物。

為了應(yīng)對這種極端的光照場景，行業(yè)內(nèi)普遍采用高動(dòng)態(tài)范圍（High Dynamic Range,HDR）技術(shù)。最常見的做法是“多重曝光合成”，即讓傳感器在極短的時(shí)間內(nèi)連續(xù)拍攝幾張曝光時(shí)間長短不一的照片，然后再通過后期算法將它們拼接在一起。通過這種方式，曝光時(shí)間短的照片保留了高光細(xì)節(jié)，曝光時(shí)間長的照片則看清了暗部陰影。

但在自動(dòng)駕駛這種高速運(yùn)動(dòng)場景中，這種合成方式帶來了一個(gè)致命的缺陷，即運(yùn)動(dòng)偽影（Ghosting）。由于多張照片的拍攝存在時(shí)間差，即使只是幾毫秒，對于時(shí)速百公里的車輛來說，畫面中的物體已經(jīng)發(fā)生了顯著的位移。合成后的圖像邊緣會(huì)出現(xiàn)重影、虛影，這會(huì)嚴(yán)重干擾自動(dòng)駕駛神經(jīng)網(wǎng)絡(luò)模型對物體邊緣、深度和運(yùn)動(dòng)軌跡的判斷，甚至可能導(dǎo)致算法對前方障礙物識(shí)別失誤。

除了運(yùn)動(dòng)偽影，自動(dòng)駕駛還面臨著另一個(gè)由于曝光邏輯產(chǎn)生的難題，那就是LED信號(hào)燈的頻閃?，F(xiàn)如今，交通信號(hào)燈、路牌以及汽車尾燈幾乎全部采用LED光源。由于LED是通過脈沖寬度調(diào)制（PWM）來控制亮度的，它們實(shí)際上是在極高頻率下不斷閃爍，只是人眼無法察覺。如果攝像頭的曝光時(shí)間太短，恰好抓拍到了LED燈熄滅的那個(gè)瞬間，那么在系統(tǒng)輸出的畫面里，信號(hào)燈看起來就是滅的，或者在持續(xù)跳動(dòng)。這種不穩(wěn)定的視覺輸入，對于依賴視覺信號(hào)進(jìn)行紅綠燈識(shí)別和車距保持的感知算法而言，無疑是巨大的干擾源。

下表展示了不同動(dòng)態(tài)范圍技術(shù)在處理高速自動(dòng)駕駛場景時(shí)的表現(xiàn)差異，從中可以清晰地看到傳統(tǒng)方案的局限性。

LOFIC技術(shù)的物理機(jī)制

LOFIC技術(shù)，其實(shí)是對圖像傳感器像素結(jié)構(gòu)進(jìn)行了一次重組。它的全稱是“橫向溢出積分電容”，顧名思義，就是在每個(gè)像素的光電二極管（PD）旁邊，額外增加了一個(gè)用來承接“溢出電荷”的高密度電容。

如果把傳統(tǒng)的像素桶比作一個(gè)容易裝滿的水箱，那么LOFIC技術(shù)就是在主水箱的側(cè)面開了一個(gè)溢流口，并連接了一個(gè)容量大得多的備用蓄水桶。當(dāng)外界光線變強(qiáng)、主水箱的電荷快要滿溢時(shí)，多出來的電子會(huì)通過一個(gè)受控的晶體管開關(guān)，流進(jìn)這個(gè)側(cè)向的積分電容中，而不會(huì)導(dǎo)致信號(hào)丟失白或信號(hào)飽和。

LOFIC技術(shù)示意圖，圖片源自：網(wǎng)絡(luò)

從電路層面上看，這種設(shè)計(jì)允許傳感器在單次曝光的過程中，同時(shí)利用兩種不同的模式來采集光信號(hào)。在光線較暗的區(qū)域，傳感器關(guān)閉溢流開關(guān)，利用高轉(zhuǎn)換增益（HCG）模式捕捉極其微弱的光信號(hào)，確保暗部圖像純凈、噪聲降低。而在光線極強(qiáng)的區(qū)域，傳感器開啟溢流路徑，讓電容介入工作，進(jìn)入低轉(zhuǎn)換增益（LCG）模式，從而大幅度擴(kuò)充像素能夠容納的電子總數(shù)。這種“單次曝光、雙路并行”的處理邏輯，使得單個(gè)像素的滿阱容量（FWC）可以從傳統(tǒng)的3萬個(gè)電子，躍升至27萬個(gè)甚至更多。

這種物理電荷收集方式帶來的最直接好處就是，傳感器在極強(qiáng)光下不再需要縮短曝光時(shí)間。既然有了“副蓄水池”來承載溢出的電子，完全可以延長快門時(shí)間，讓攝像頭在每一幀中都能捕捉到一個(gè)完整的LED閃爍周期。這意味著，LOFIC從物理層面上完美解決了LED頻閃的問題（LFM），讓交通信號(hào)燈在視頻流中始終保持穩(wěn)定的常亮狀態(tài)。

由于所有亮部和暗部的信息都是在同一次快門開合的過程中完成收集的，圖像中就不存在任何的時(shí)間錯(cuò)位，從而徹底消除了運(yùn)動(dòng)重影。對于時(shí)速超過100公里的自動(dòng)駕駛車輛而言，這種“時(shí)空一致”的高清畫面是感知算法進(jìn)行精確決策的前提。

在實(shí)際應(yīng)用中，這種動(dòng)態(tài)范圍的擴(kuò)展是極其驚人的。衡量動(dòng)態(tài)范圍的單位是分貝（dB），傳統(tǒng)車載傳感器的動(dòng)態(tài)范圍通常在60dB到90dB之間。而采用LOFIC技術(shù)的傳感器，單次曝光下的動(dòng)態(tài)范圍可以輕松突破120dB，甚至達(dá)到140dB。從視覺效果上看，意味著在同一個(gè)畫面里，既能看清隧道內(nèi)黑暗處的墻壁紋理，也能看清隧道外陽光下遠(yuǎn)方車輛的牌照。這種對真實(shí)世界的極致還原，為純視覺系統(tǒng)在復(fù)雜光影環(huán)境下的安全駕駛提供了堅(jiān)實(shí)的保障。

我們可以通過動(dòng)態(tài)范圍的數(shù)學(xué)定義來更直觀地理解這種提升。動(dòng)態(tài)范圍DR通常定義為最大可測信號(hào)（即飽和信號(hào)N_{sat}）與最小可測信號(hào)（即暗噪聲N_{dark}）的比值：

在LOFIC結(jié)構(gòu)下，N_{sat}因?yàn)殡娙莸囊攵黾恿私粋€(gè)數(shù)量級，同時(shí)配合雙轉(zhuǎn)換增益技術(shù)（DCG）降低了N_{dark}，雙管齊下可以讓結(jié)果實(shí)現(xiàn)了指數(shù)級的跨越。這種硬件層面的進(jìn)化，讓原本依賴后期復(fù)雜算法修補(bǔ)的視覺方案，回歸到了“獲取高質(zhì)量原始信號(hào)”的初心上。

LOFIC對自動(dòng)駕駛算法的深度優(yōu)化

高質(zhì)量的硬件數(shù)據(jù)輸入是算法模型的營養(yǎng)來源。在自動(dòng)駕駛感知的架構(gòu)中，基于Transformer的BEV（Bird's Eye View，鳥瞰圖）模型已成為主流。這類算法的核心邏輯是將安裝在車身周圍的多個(gè)攝像頭捕獲的2D圖像特征提取出來，然后通過一個(gè)復(fù)雜的空間變換網(wǎng)絡(luò)，把它們“縫補(bǔ)”到一個(gè)統(tǒng)一的、俯視角的3D空間中。如果把這個(gè)過程比作拼圖，那么攝像頭提供的每一張照片就是拼圖的碎塊。如果碎塊本身是模糊的、過曝的或帶有頻閃干擾的，那么最后拼出來的3D感知結(jié)果就會(huì)出現(xiàn)各種邏輯漏洞。

LOFIC技術(shù)對感知算法的賦能，首先體現(xiàn)在特征提取的穩(wěn)定性上。在進(jìn)入神經(jīng)網(wǎng)絡(luò)的骨干網(wǎng)絡(luò)（Backbone）之前，圖像數(shù)據(jù)需要經(jīng)過預(yù)處理。如果傳感器輸出的數(shù)據(jù)在明暗交替處有明顯的“底噪”，或者在高光區(qū)域細(xì)節(jié)全無，那么神經(jīng)網(wǎng)絡(luò)在提取車道線、路沿或者行人輪廓等特征時(shí)，置信度就會(huì)大幅下降。

圖片源自：網(wǎng)絡(luò)

特別是在BEV架構(gòu)下，系統(tǒng)需要對不同視角的畫面進(jìn)行融合，LOFIC提供的高線性度、無運(yùn)動(dòng)偽影的圖像，使得各視角之間在特征對齊時(shí)變得異常平滑。這顯著提升了系統(tǒng)對遠(yuǎn)距離物體的檢測精度，使車輛能夠在更遠(yuǎn)的地方提前預(yù)判前方光照異常區(qū)域的潛在危險(xiǎn)。

對于3D占位網(wǎng)絡(luò)（Occupancy Network）這種前沿算法，LOFIC的重要性更是不言而喻。占位網(wǎng)絡(luò)的目標(biāo)是判斷空間中每一個(gè)體積單位（Voxel）是否被占據(jù)。這需要模型對場景的深度信息有極強(qiáng)的感知力。深度感知在很大程度上依賴于圖像中的紋理和對比度細(xì)節(jié)。當(dāng)視覺傳感器在強(qiáng)光下發(fā)生飽和時(shí)，圖像中的紋理會(huì)消失，變成一團(tuán)白色，導(dǎo)致算法無法推算出那塊區(qū)域的深度。LOFIC保留了高光區(qū)域的精細(xì)紋理，使得算法在處理諸如“正午陽光直射下的雪地”或“濕滑路面的強(qiáng)光反射”等場景時(shí)，依然能準(zhǔn)確識(shí)別出路面的起伏和障礙物的形狀，避免感知系統(tǒng)出現(xiàn)“真空區(qū)”。

此外，自動(dòng)駕駛系統(tǒng)的實(shí)時(shí)性要求極其嚴(yán)苛。多重曝光合成HDR不僅會(huì)增加傳感器的功耗，還會(huì)給后端圖像信號(hào)處理器（ISP）帶來巨大的計(jì)算負(fù)荷。每一幀圖像的合成都需要消耗寶貴的計(jì)算資源，并產(chǎn)生一定的處理延遲。對于每秒鐘需要處理數(shù)十幀畫面、車速極快的自動(dòng)駕駛系統(tǒng)來說，毫秒級的延遲就可能導(dǎo)致危險(xiǎn)。LOFIC技術(shù)通過硬件電路一次性完成了高動(dòng)態(tài)范圍信息的收集，極大地簡化了后端的處理邏輯，降低了系統(tǒng)整體的功耗和延遲，讓算力能夠更多地分配給更高級的規(guī)劃和控制任務(wù)。

產(chǎn)業(yè)趨勢與未來展望

隨著自動(dòng)駕駛技術(shù)向L3、L4級別演進(jìn)，行業(yè)對視覺感知的容錯(cuò)率正在趨近于零。在這一背景下，傳感器廠商的技術(shù)競賽已經(jīng)從單純的“比拼像素多少”轉(zhuǎn)變?yōu)椤氨绕聪袼刭|(zhì)量”。LOFIC技術(shù)在提升像素動(dòng)態(tài)范圍和消除頻閃中有明顯的優(yōu)勢，正迅速從實(shí)驗(yàn)室走向大規(guī)模量產(chǎn)。

圖片源自：網(wǎng)絡(luò)

從市場發(fā)展來看，LOFIC技術(shù)的應(yīng)用正在重塑車載攝像頭的標(biāo)準(zhǔn)參數(shù)。未來的主流車載攝像頭將不再只是簡單的成像單元，而是集成多種增益模式、自帶電荷管理電容、具備硬件級LFM能力的精密智能感知節(jié)點(diǎn)。雖然這種技術(shù)的引入會(huì)帶來單個(gè)傳感器硬件成本的提升，但它為整車帶來的價(jià)值是巨大的。它減少了對冗余傳感器的依賴，降低了算法訓(xùn)練中由于處理噪聲數(shù)據(jù)而產(chǎn)生的研發(fā)成本，更重要的是，它為純視覺方案補(bǔ)齊了一塊“光學(xué)短板”，讓視覺方案能夠在更多極端環(huán)境下挑戰(zhàn)激光雷達(dá)的地位。

最后的話

展望未來，隨著傳感器技術(shù)的進(jìn)一步微縮化和3D堆疊工藝的成熟，LOFIC技術(shù)有望與片上AI處理單元更緊密地結(jié)合。未來的傳感器可能在電荷離開像素的那一刻，就已經(jīng)完成了初步的語義篩選和特征增強(qiáng)。在這個(gè)演進(jìn)過程中，橫向溢出積分電容作為底層的物理創(chuàng)新，將持續(xù)發(fā)揮其“副水箱”的作用，讓自動(dòng)駕駛無論在何種光影變幻中，都能始終如一地看清前方的道路。對于純視覺自動(dòng)駕駛而言，LOFIC不僅僅是一項(xiàng)硬件改良，更是通往全天候自動(dòng)駕駛時(shí)代的入場券。

審核編輯 黃宇