[首發(fā)于智駕最前沿微信公眾號(hào)]相信很多人小時(shí)候看動(dòng)畫(huà)片的時(shí)候，一定看到過(guò)這么一個(gè)畫(huà)面，動(dòng)畫(huà)片中的主角會(huì)在墻壁上畫(huà)出極其逼真的隧道，從而誤導(dǎo)對(duì)手撞向墻壁。就在去年，前美國(guó)國(guó)家航空航天局工程師馬克·羅伯就利用類似的手段，在泡沫塑料墻上繪制了一幅三維道路畫(huà)作，結(jié)果成功騙過(guò)了一輛處于自動(dòng)輔助駕駛狀態(tài)的特斯拉（開(kāi)啟Autopilot功能）。實(shí)驗(yàn)中，特斯拉在時(shí)速四十英里的情況下，完全沒(méi)有做出制動(dòng)動(dòng)作，直接穿透了這堵假墻，而另一輛配備了激光雷達(dá)的車輛就穩(wěn)穩(wěn)地停在了障礙物前。這一現(xiàn)象引發(fā)了公眾對(duì)純視覺(jué)技術(shù)安全性的強(qiáng)烈質(zhì)疑，也讓人們開(kāi)始重新審視純視覺(jué)方案在面對(duì)極端光學(xué)幻覺(jué)時(shí)的識(shí)別能力。

從技術(shù)發(fā)展的眼光來(lái)看，早期的純視覺(jué)系統(tǒng)之所以無(wú)法識(shí)別這類場(chǎng)景，核心原因在于當(dāng)時(shí)的神經(jīng)網(wǎng)絡(luò)算法在處理三維空間時(shí)更像是在“看照片”而不是“感知世界”。攝像頭捕獲的是光子并將其轉(zhuǎn)化為二維的像素矩陣，深度信息在這一過(guò)程中其實(shí)是丟失的。傳統(tǒng)的視覺(jué)算法通過(guò)識(shí)別物體的特征紋理、邊緣輪廓以及透視關(guān)系來(lái)反推距離，逼真的三維畫(huà)作恰恰是利用了這些視覺(jué)線索來(lái)偽造深度。但隨著算法架構(gòu)從基于規(guī)則的模塊化設(shè)計(jì)演進(jìn)到現(xiàn)在的端到端神經(jīng)網(wǎng)絡(luò)，以及硬件系統(tǒng)的提升，視覺(jué)感知系統(tǒng)對(duì)真實(shí)三維空間的理解已經(jīng)發(fā)生了質(zhì)的變化。

空間建模邏輯的重構(gòu)與占用網(wǎng)絡(luò)的革新

視覺(jué)感知系統(tǒng)想理解三維畫(huà)作，首先需要解決如何從二維圖像中重建三維幾何信息的問(wèn)題。在自動(dòng)駕駛發(fā)展的很長(zhǎng)一段時(shí)間里，大多數(shù)車輛運(yùn)行的系統(tǒng)主要依賴于目標(biāo)檢測(cè)技術(shù)。這意味著神經(jīng)網(wǎng)絡(luò)會(huì)嘗試在圖像中尋找符合“車道線”、“車輛”或“行人”特征的像素塊，并為其框定一個(gè)三維邊界。當(dāng)畫(huà)作成功模擬了車道延伸的質(zhì)感和遠(yuǎn)方的地平線時(shí)，由于系統(tǒng)在庫(kù)中找不到匹配的“障礙物”模型，檢測(cè)器會(huì)將這些像素識(shí)別為可行駛區(qū)域。

但隨著占用網(wǎng)絡(luò)的使用，純視覺(jué)自動(dòng)駕駛的障礙物檢測(cè)能力得到了飛速提升。這一技術(shù)不再只是關(guān)注特定的物體分類，而是將車輛周圍的空間整體切分為成千上萬(wàn)個(gè)微小的立方體單元，即體素。占用網(wǎng)絡(luò)的任務(wù)是預(yù)測(cè)每一個(gè)體素單元在三維空間中是被物體占據(jù)了，還是處于空閑狀態(tài)。在最新的技術(shù)專利中，特斯拉更進(jìn)一步地引入了高保真占用確定技術(shù)，并采用了一種被稱為符號(hào)距離場(chǎng)的數(shù)學(xué)模型。與簡(jiǎn)單的二進(jìn)制占用判斷不同，這種模型會(huì)計(jì)算三維空間中任意一點(diǎn)到最近物體表面的精確距離。如果該數(shù)值為正，則代表該點(diǎn)位于物體外部；如果為負(fù)，則代表位于物體內(nèi)部；而數(shù)值正好等于零的點(diǎn)，則代表物體的表面邊界。

圖片源自：網(wǎng)絡(luò)

這種基于距離場(chǎng)的建模方式賦予了視覺(jué)系統(tǒng)更強(qiáng)的幾何敏感性。通過(guò)處理來(lái)自八個(gè)不同角度攝像頭的視頻流，系統(tǒng)能夠計(jì)算出物體表面的細(xì)微曲率和起伏。即便畫(huà)作在顏色和紋理上做到了極致，但它在物理上依然是一個(gè)平滑的平面。當(dāng)占用網(wǎng)絡(luò)結(jié)合了符號(hào)距離場(chǎng)技術(shù)后，它能夠以亞體素級(jí)的精度識(shí)別出物體表面的平整度。在處理所謂的“三維假路”時(shí)，算法會(huì)就可以發(fā)現(xiàn)圖像中表現(xiàn)出的“遠(yuǎn)景深度”與感知到的“平面幾何”之間存在邏輯沖突。

此外，硬件的迭代對(duì)于識(shí)別能力的提升也起到了至關(guān)重要的作用。隨著硬件的不斷升級(jí)，攝像頭的像素密度也實(shí)現(xiàn)了大幅提升，這使得系統(tǒng)可以捕捉到3D畫(huà)作中的印刷網(wǎng)點(diǎn)、紙張接縫或是畫(huà)布表面的反光特性。這些微小的視覺(jué)特征在低分辨率時(shí)代會(huì)被算法作為噪點(diǎn)過(guò)濾掉，但在高分辨率時(shí)代，它們成為了判斷“這是否是一幅畫(huà)”的關(guān)鍵證據(jù)。同時(shí)，新的計(jì)算芯片也提供了更強(qiáng)的數(shù)據(jù)處理能力，支持系統(tǒng)以更高的頻率更新三維世界模型，從而實(shí)時(shí)修正對(duì)環(huán)境的認(rèn)知偏見(jiàn)。

運(yùn)動(dòng)差與時(shí)空融合的識(shí)別機(jī)制

如果說(shuō)靜態(tài)的占用網(wǎng)絡(luò)是從空間幾何的角度識(shí)破了偽裝，那么運(yùn)動(dòng)差則是純視覺(jué)方案在動(dòng)態(tài)環(huán)境下最強(qiáng)大的“測(cè)距儀”。在人類的視覺(jué)經(jīng)驗(yàn)中，當(dāng)我們移動(dòng)時(shí)，離我們近的物體在視野中移動(dòng)得快，而遠(yuǎn)處的物體移動(dòng)得慢。這種相對(duì)速度的差異提供了極其可靠的深度線索。即使一個(gè)人閉上一只眼睛，只要他在移動(dòng)，就不會(huì)被一面畫(huà)著路的墻壁騙到，因?yàn)殡S著距離墻壁越來(lái)越近，畫(huà)中所有的像素點(diǎn)都會(huì)以相同的速度擴(kuò)張，這與真實(shí)三維場(chǎng)景中不同深度景物的擴(kuò)張速度完全不符。

在最新的視覺(jué)軟件架構(gòu)中，這種生物學(xué)原理被轉(zhuǎn)化為強(qiáng)大的時(shí)空融合算法。以前的系統(tǒng)在處理每一幀畫(huà)面時(shí)，更像是處理一張獨(dú)立的照片，而現(xiàn)在的端到端網(wǎng)絡(luò)則是處理一段持續(xù)的視頻流。系統(tǒng)會(huì)識(shí)別一個(gè)包含過(guò)去幾秒鐘內(nèi)的數(shù)十幀圖像視頻隊(duì)列，通過(guò)對(duì)比不同時(shí)刻、不同角度的像素位移，神經(jīng)網(wǎng)絡(luò)可以精確地計(jì)算出每一個(gè)像素點(diǎn)的光流矢量。在面對(duì)畫(huà)著三維道路的墻面時(shí)，時(shí)空融合算法會(huì)發(fā)現(xiàn)一個(gè)邏輯漏洞，即畫(huà)作背景中表現(xiàn)出的“遠(yuǎn)方地平線”，其光流特征竟然和近處的“墻角”完全一致。在物理世界中，這是不可能發(fā)生的。

圖片源自：網(wǎng)絡(luò)

這種對(duì)物理一致性的判斷被整合進(jìn)了系統(tǒng)的世界模型中。所謂世界模型，是自動(dòng)駕駛腦部的一個(gè)內(nèi)部仿真器，它不斷預(yù)測(cè)未來(lái)幾秒鐘內(nèi)周圍環(huán)境的演變。當(dāng)車輛加速駛向一堵畫(huà)著三維道路的墻時(shí)，世界模型會(huì)預(yù)期看到一個(gè)平面的快速擴(kuò)張。如果此時(shí)攝像頭捕捉到的紋理在可以表現(xiàn)深度，但其運(yùn)動(dòng)特征符合平面的縮放規(guī)律，系統(tǒng)內(nèi)部的預(yù)測(cè)誤差就會(huì)激增。此時(shí)就會(huì)觸發(fā)系統(tǒng)的防御機(jī)制，將其識(shí)別為高風(fēng)險(xiǎn)的不確定區(qū)域。

通過(guò)這些復(fù)雜的算法協(xié)作，現(xiàn)階段的純視覺(jué)系統(tǒng)正在擺脫對(duì)簡(jiǎn)單圖像分類的依賴。它學(xué)會(huì)通過(guò)觀察光影的變化、物體的位移以及幾何結(jié)構(gòu)的連貫性來(lái)解構(gòu)周圍的場(chǎng)景。這種能力的提升讓自動(dòng)駕駛系統(tǒng)對(duì)整個(gè)物理世界規(guī)則理解不斷深化。

端到端架構(gòu)下的不確定性與安全性博弈

在討論視覺(jué)系統(tǒng)識(shí)別能力的同時(shí)，我們不得不提自動(dòng)駕駛技術(shù)路徑的一次重大轉(zhuǎn)向，即從規(guī)則驅(qū)動(dòng)轉(zhuǎn)向數(shù)據(jù)驅(qū)動(dòng)的端到端模型。在規(guī)則驅(qū)動(dòng)的架構(gòu)中，需要寫(xiě)下成千上萬(wàn)行代碼告訴汽車“如果看到紅色圓形標(biāo)志，就停下”。這種方法存在一定的局限性，由于現(xiàn)實(shí)世界有無(wú)窮無(wú)盡的組合，根本無(wú)法預(yù)測(cè)到每一個(gè)邊緣場(chǎng)景。而在現(xiàn)在的端到端系統(tǒng)中，感知和決策被整合進(jìn)了一個(gè)巨大的神經(jīng)網(wǎng)絡(luò)，它通過(guò)學(xué)習(xí)老司機(jī)的真實(shí)錄像來(lái)理解如何開(kāi)車。

圖片源自：網(wǎng)絡(luò)

這種“模仿學(xué)習(xí)”賦予了自動(dòng)駕駛系統(tǒng)更強(qiáng)的泛化能力。神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中見(jiàn)過(guò)無(wú)數(shù)真實(shí)的隧道、立交橋和高速公路，也見(jiàn)過(guò)各種光影變幻下的平面墻壁。它通過(guò)大量的學(xué)習(xí)，自動(dòng)駕駛會(huì)了解一個(gè)真實(shí)的物理開(kāi)口在光線分布、紋理過(guò)渡以及隨著車輛靠近時(shí)的畫(huà)面細(xì)節(jié)變化上具有特定的統(tǒng)計(jì)特征。當(dāng)一個(gè)三維畫(huà)作出現(xiàn)時(shí)，雖然它在某些特征上模仿得很像，但在更多的維度上，它偏離了真實(shí)駕駛場(chǎng)景的統(tǒng)計(jì)分布。

當(dāng)然，只要聊到端到端，就不得不提“黑盒”問(wèn)題。當(dāng)一輛處于端到端架構(gòu)下的車識(shí)別出了假墻并制動(dòng)時(shí)，其實(shí)是數(shù)億個(gè)神經(jīng)元協(xié)同工作的結(jié)果，很難定位具體是哪個(gè)邏輯起到的作用。為了增加系統(tǒng)的透明度和安全性，研發(fā)人員在神經(jīng)網(wǎng)絡(luò)中添加了專門的“可視化頭”，將AI腦海中的構(gòu)思實(shí)時(shí)渲染在屏幕上。這種可視化不僅是給乘客看的，更是體現(xiàn)出系統(tǒng)內(nèi)部各模塊達(dá)成共識(shí)的過(guò)程。

最后的話

純視覺(jué)方案對(duì)三維畫(huà)作的識(shí)別能力正經(jīng)歷從“完全被動(dòng)”到“主動(dòng)解構(gòu)”的進(jìn)化。隨著占用網(wǎng)絡(luò)的細(xì)化、時(shí)空融合技術(shù)的應(yīng)用以及硬件計(jì)算能力的爆發(fā)，現(xiàn)在的視覺(jué)系統(tǒng)已經(jīng)初步具備了識(shí)破三維圖像的能力。雖然無(wú)法做到百分百的識(shí)別，但純視覺(jué)自動(dòng)駕駛的技術(shù)演進(jìn)邏輯已經(jīng)非常清晰，純視覺(jué)不再是看圖說(shuō)話，而是一種建立在物理規(guī)律和動(dòng)態(tài)觀察基礎(chǔ)上的全感官重建。隨著數(shù)據(jù)的進(jìn)一步積累和模型規(guī)模的擴(kuò)大，未來(lái)的自動(dòng)駕駛汽車將擁有比人類更敏銳的眼力，能識(shí)破各類的邊緣場(chǎng)景。

審核編輯 黃宇