僅僅識(shí)別出字符對(duì)于應(yīng)對(duì)復(fù)雜的城市交通是遠(yuǎn)遠(yuǎn)不夠的，自動(dòng)駕駛系統(tǒng)必須理解“左轉(zhuǎn)”、“進(jìn)入”和“待行區(qū)”這幾個(gè)詞組合在一起所代表的交通規(guī)制含義。傳統(tǒng)的基于規(guī)則的系統(tǒng)（Rule-based System）主要通過(guò)工程師手動(dòng)編寫(xiě)大量的邏輯判斷語(yǔ)句來(lái)實(shí)現(xiàn)這一能力，例如“如果檢測(cè)到文字等于某字符串且信號(hào)燈等于某狀態(tài)，則執(zhí)行某動(dòng)作”。然而，這種方法在面對(duì)“此時(shí)左轉(zhuǎn)可進(jìn)入待行區(qū)”或“左轉(zhuǎn)綠燈亮起前禁止進(jìn)入”等含義相近但表述迥異的提示時(shí)，就難以做出準(zhǔn)確的指令動(dòng)作。為了提升系統(tǒng)的泛化能力，視覺(jué)語(yǔ)言模型（VLM）開(kāi)始被引入自動(dòng)駕駛的感知架構(gòu)中。

視覺(jué)語(yǔ)言模型的核心價(jià)值在于它能夠?qū)D像信息與文本語(yǔ)義映射到同一個(gè)高維特征空間中進(jìn)行對(duì)比和關(guān)聯(lián)。在訓(xùn)練階段，這類(lèi)模型通過(guò)學(xué)習(xí)海量的道路場(chǎng)景圖像及其對(duì)應(yīng)的文字描述，掌握了“文字描述”與“物理世界對(duì)象”之間的對(duì)應(yīng)關(guān)系。舉個(gè)例子，當(dāng)模型在圖像中看到地面噴漆的文字并匹配到“進(jìn)入待行區(qū)”的語(yǔ)義時(shí)，它會(huì)自動(dòng)通過(guò)交叉注意力機(jī)制，將“待行區(qū)”這個(gè)語(yǔ)言符號(hào)與路口前方特定的空白車(chē)道區(qū)域進(jìn)行空間上的對(duì)齊。這種對(duì)齊不僅是坐標(biāo)的重合，更是邏輯上的關(guān)聯(lián)，使得自動(dòng)駕駛汽車(chē)能夠像人類(lèi)一樣，根據(jù)提示語(yǔ)的內(nèi)容去尋找對(duì)應(yīng)的物理空間。

圖片源自：網(wǎng)絡(luò)

在理想汽車(chē)等車(chē)企最新發(fā)布的架構(gòu)中，視覺(jué)語(yǔ)言模型被賦予了“系統(tǒng)2”的職能，即負(fù)責(zé)邏輯推理和處理長(zhǎng)尾復(fù)雜場(chǎng)景。與負(fù)責(zé)快速反應(yīng)、處理日常跟車(chē)轉(zhuǎn)向的“系統(tǒng)1”不同，視覺(jué)語(yǔ)言模型會(huì)接收傳感器輸入的圖像流，經(jīng)過(guò)深層邏輯思考，輸出關(guān)于當(dāng)前交通環(huán)境的語(yǔ)義描述或決策建議。當(dāng)車(chē)輛行駛至帶有漢字提示的路口時(shí)，視覺(jué)語(yǔ)言模型會(huì)分析提示語(yǔ)的語(yǔ)境，它是永久性的路牌，還是臨時(shí)的施工告示？它針對(duì)的是所有車(chē)輛，還是特定車(chē)道的車(chē)輛？這種基于常識(shí)的推理能力，使得自動(dòng)駕駛汽車(chē)能夠應(yīng)對(duì)那些未曾在訓(xùn)練數(shù)據(jù)中出現(xiàn)過(guò)的極端案例。

為了確保在高速行駛過(guò)程中的實(shí)時(shí)性，這些模型在部署時(shí)會(huì)經(jīng)過(guò)嚴(yán)格的量化和剪枝處理，以適應(yīng)車(chē)載計(jì)算平臺(tái)的算力限制。同時(shí)，為了提高魯棒性，系統(tǒng)會(huì)利用多幀圖像融合技術(shù)。在接近路口的幾十米范圍內(nèi)，攝像頭會(huì)連續(xù)拍攝數(shù)十幀包含漢字提示的圖像，系統(tǒng)通過(guò)對(duì)比不同角度、不同光照下的識(shí)別結(jié)果，利用概率統(tǒng)計(jì)模型計(jì)算出最終結(jié)論的置信度。只有當(dāng)置信度超過(guò)安全閾值時(shí)，語(yǔ)義理解的結(jié)果才會(huì)轉(zhuǎn)化為決策層的控制輸入。這種嚴(yán)謹(jǐn)?shù)奶幚砹鞒?，確保了“識(shí)別漢字”這一功能能夠真正服務(wù)于行車(chē)安全，而不會(huì)成為干擾項(xiàng)。

動(dòng)態(tài)環(huán)境中的決策閉環(huán)

以“左轉(zhuǎn)車(chē)輛進(jìn)入待行區(qū)”這一具體案例來(lái)聊一聊，當(dāng)交通環(huán)境中出現(xiàn)這類(lèi)的文字提示時(shí)，自動(dòng)駕駛系統(tǒng)的表現(xiàn)實(shí)際上是一個(gè)典型的感知-決策-控制閉環(huán)。待行區(qū)的設(shè)置旨在提高路口的通行效率，通常要求車(chē)輛在直行信號(hào)燈變綠、左轉(zhuǎn)信號(hào)燈仍為紅燈時(shí)，提前駛?cè)肼房谥醒氲念A(yù)設(shè)區(qū)域。這一動(dòng)作的難點(diǎn)在于它打破了“紅燈?！钡幕A(chǔ)規(guī)則，賦予了特定文字提示更高的優(yōu)先權(quán)。自動(dòng)駕駛汽車(chē)在處理這一場(chǎng)景時(shí)，需要實(shí)時(shí)同步三個(gè)維度的信息，識(shí)別出的漢字指令、當(dāng)前的信號(hào)燈相位以及車(chē)輛在車(chē)道內(nèi)的精準(zhǔn)位置。

當(dāng)車(chē)輛通過(guò)視覺(jué)系統(tǒng)確認(rèn)了“左轉(zhuǎn)待行區(qū)”的存在后，決策模塊會(huì)進(jìn)入一個(gè)特定的狀態(tài)機(jī)邏輯。此時(shí)，車(chē)輛會(huì)密切監(jiān)控信號(hào)燈的變化。如果直行信號(hào)燈轉(zhuǎn)為綠燈，識(shí)別出的漢字提示就會(huì)被激活，轉(zhuǎn)化為一條“允許低速前行至待行區(qū)終點(diǎn)”的路徑規(guī)劃指令。在這一過(guò)程中，車(chē)輛會(huì)利用雷達(dá)和攝像頭的融合感知，確保待行區(qū)內(nèi)沒(méi)有被前車(chē)占滿，并實(shí)時(shí)探測(cè)地面的停止線位置。這種決策過(guò)程不僅僅是文字識(shí)別的應(yīng)用，更是對(duì)動(dòng)態(tài)交通規(guī)則的精準(zhǔn)復(fù)刻。如果系統(tǒng)只具備識(shí)別文字的能力，而缺乏對(duì)交通流邏輯的理解，可能導(dǎo)致車(chē)輛在待行區(qū)中停滯不前，從而影響整體路口的通行效率。

在復(fù)雜的城市普通路段，漢字提示往往伴隨著大量的環(huán)境不確定性。部分路口可能因?yàn)榕R時(shí)施工臨時(shí)取消了待行區(qū)，并用黃線或隔離墩進(jìn)行了封堵。此時(shí)，具備高級(jí)語(yǔ)義理解能力的系統(tǒng)會(huì)表現(xiàn)出更強(qiáng)的自適應(yīng)性。它會(huì)結(jié)合視覺(jué)語(yǔ)言模型對(duì)“施工”、“禁止進(jìn)入”等關(guān)鍵詞的識(shí)別，以及對(duì)交通錐、水馬等障礙物的物理感知，推翻高精地圖中的原始設(shè)定，做出最符合當(dāng)前實(shí)情的判斷。這種基于實(shí)時(shí)的感知結(jié)果優(yōu)于靜態(tài)地圖數(shù)據(jù)的邏輯，是目前智能駕駛技術(shù)向全場(chǎng)景、全天候進(jìn)階的重要標(biāo)志。

隨著多傳感器融合技術(shù)的演進(jìn)，自動(dòng)駕駛汽車(chē)在識(shí)別漢字時(shí)的抗干擾能力得到了顯著提升。在夜間雨天環(huán)境，地面的漢字噴漆由于路面反光可能變得難以辨認(rèn)。此時(shí)，系統(tǒng)可利用激光雷達(dá)的回波強(qiáng)度差異來(lái)輔助判斷。由于噴漆材質(zhì)與瀝青路面對(duì)激光的反射率不同，激光雷達(dá)可以在一定程度上勾勒出地面的文字輪廓，并與攝像頭的視覺(jué)結(jié)果進(jìn)行互補(bǔ)校驗(yàn)。這種多物理維度的感知，使得自動(dòng)駕駛汽車(chē)對(duì)“左轉(zhuǎn)車(chē)輛進(jìn)入待行區(qū)”這類(lèi)指令的理解，不再僅依賴于“看”，而是建立在對(duì)環(huán)境全方位理解的基礎(chǔ)上，從而實(shí)現(xiàn)了決策的穩(wěn)健閉環(huán)。

端到端架構(gòu)下的認(rèn)知演進(jìn)

自動(dòng)駕駛對(duì)漢字及各種交通信息的處理正朝著“感知-規(guī)控一體化”的方向快速演進(jìn)。傳統(tǒng)的模塊化架構(gòu)雖然邏輯清晰，但在信息傳遞過(guò)程中不可避免地會(huì)產(chǎn)生損耗和誤差。若文字識(shí)別模塊輸出了一個(gè)字符錯(cuò)誤，可能會(huì)導(dǎo)致后續(xù)的規(guī)則判斷完全失效。隨著端到端（End-to-End）自動(dòng)駕駛模型的出現(xiàn)，通過(guò)試圖模擬人類(lèi)的神經(jīng)網(wǎng)絡(luò)，直接將原始的圖像信息轉(zhuǎn)化為車(chē)輛的控制指令。在這一架構(gòu)中，漢字不再是被拆解出的獨(dú)立變量，而是作為全局環(huán)境特征的一部分，直接參與到行駛路徑的預(yù)測(cè)中。

在端到端架構(gòu)下，視覺(jué)語(yǔ)言動(dòng)作模型（VLA）可用于文字識(shí)別，這種模型不僅能“看懂”漢字、邏輯推導(dǎo)出含義，還能直接輸出油門(mén)、剎車(chē)和轉(zhuǎn)向的具體數(shù)值。當(dāng)系統(tǒng)看到“左轉(zhuǎn)車(chē)輛進(jìn)入待行區(qū)”時(shí)，它不再需要經(jīng)過(guò)“識(shí)別字符-查閱地圖-判斷燈色-生成規(guī)劃”的繁瑣步驟，而是可以通過(guò)在大規(guī)模高質(zhì)量駕駛數(shù)據(jù)中學(xué)習(xí)到的經(jīng)驗(yàn)，直接做出擬人的駕駛動(dòng)作。由于深度學(xué)習(xí)網(wǎng)絡(luò)能夠捕捉到人類(lèi)駕駛員在面對(duì)復(fù)雜文字提示時(shí)那些微妙且合理的反應(yīng)邏輯，因此這種演進(jìn)極大地提升了系統(tǒng)處理極端場(chǎng)景的能力。

圖片源自：網(wǎng)絡(luò)

由于大模型的訓(xùn)練需要消耗巨大的算力和高質(zhì)量的數(shù)據(jù)，且模型的黑盒屬性也給安全驗(yàn)證帶來(lái)了困難。為了應(yīng)對(duì)這一挑戰(zhàn)，就有技術(shù)方案開(kāi)始探索“世界模型”的概念。世界模型可以在云端模擬出數(shù)以億計(jì)的包含復(fù)雜漢字提示的交通場(chǎng)景，讓自動(dòng)駕駛算法在虛擬世界中進(jìn)行充分的強(qiáng)化學(xué)習(xí)。通過(guò)在仿真環(huán)境中反復(fù)測(cè)試車(chē)輛對(duì)“限時(shí)通行”、“公交專(zhuān)用”、“待行區(qū)”等復(fù)雜提示的理解與執(zhí)行，算法的魯棒性在量產(chǎn)上車(chē)前就能得到充分驗(yàn)證。

最后的話

現(xiàn)在的自動(dòng)駕駛汽車(chē)已經(jīng)具備了在標(biāo)準(zhǔn)環(huán)境下準(zhǔn)確識(shí)別漢字提示并執(zhí)行相應(yīng)邏輯的能力。這種能力源于計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理以及多模態(tài)融合技術(shù)的深度集成。隨著視覺(jué)語(yǔ)言模型和端到端架構(gòu)的普及，車(chē)輛對(duì)道路語(yǔ)義的理解將不再局限于死板的字符匹配，而是具備了常識(shí)推理能力的認(rèn)知水平。在面對(duì)“左轉(zhuǎn)車(chē)輛進(jìn)入待行區(qū)”這種交通指示時(shí)，自動(dòng)駕駛汽車(chē)可通過(guò)不斷進(jìn)化的算法，在讀懂了每一個(gè)字的同時(shí)，更可以理解字里行間蘊(yùn)含的交通秩序與文明。

審核編輯 黃宇