[首發(fā)于智駕最前沿微信公眾號(hào)]自動(dòng)駕駛車輛要在復(fù)雜多變的道路環(huán)境中安全行駛，不僅需要“看見(jiàn)”前方的車輛、行人和路面標(biāo)志，還需要“讀懂”交通標(biāo)識(shí)上的文字提示、施工告示牌和乘客的語(yǔ)言指令。之前和大家討論過(guò)VLA，了解到視覺(jué)-語(yǔ)言-動(dòng)作模型，但在很多場(chǎng)景中，大家還會(huì)提到VLM，看起來(lái)與VLA非常類似，那VLM又是個(gè)啥？與VLA（Vision-Language-Action，視覺(jué)-語(yǔ)言-動(dòng)作）又有什么區(qū)別？

什么是VLM?

VLM即視覺(jué)-語(yǔ)言模型（Vision–Language Model），是一類讓計(jì)算機(jī)“看懂”圖像和“讀懂”文字能力合二為一的人工智能系統(tǒng)，它通過(guò)在同一個(gè)模型中聯(lián)合處理視覺(jué)特征和語(yǔ)言信息，實(shí)現(xiàn)對(duì)圖片或視頻內(nèi)容的深度理解與自然語(yǔ)言互動(dòng)。VLM可以抽取圖像中的物體形狀、顏色、位置甚至動(dòng)作，然后將這些視覺(jué)嵌入與文本嵌入在多模態(tài) Transformer 中融合，讓模型學(xué)會(huì)把“畫(huà)面”映射成語(yǔ)義概念，再通過(guò)語(yǔ)言解碼器生成符合人類表達(dá)習(xí)慣的文字描述、回答問(wèn)題或創(chuàng)作故事。通俗來(lái)說(shuō)，VLM 就像擁有視覺(jué)和語(yǔ)言雙重感官的“大腦”，能夠在看到一張照片后，不僅識(shí)別出里面的貓狗、車輛或建筑，還能用一句話或一段話把它們生動(dòng)地說(shuō)出來(lái)，大大提升了 AI 在圖文檢索、輔助寫作、智能客服和機(jī)器人導(dǎo)航等場(chǎng)景中的實(shí)用價(jià)值。

如何讓VLM高效工作？

VLM可以將一幀原始的道路圖像轉(zhuǎn)換為計(jì)算機(jī)能處理的特征表示。這一過(guò)程通常由視覺(jué)編碼器完成，主流方案包括卷積神經(jīng)網(wǎng)絡(luò)（CNN）和近年來(lái)興起的視覺(jué)Transformer（ViT）。它們會(huì)對(duì)圖像進(jìn)行分層處理，提取出道路紋理、車輛輪廓、行人形狀以及路牌文字等多種視覺(jué)特征，并將它們編碼為向量形式。語(yǔ)言編碼器和語(yǔ)言解碼器則負(fù)責(zé)處理自然語(yǔ)言的輸入與輸出，也采用基于Transformer的架構(gòu)，將文字拆分為Token，然后學(xué)習(xí)各個(gè)Token之間的語(yǔ)義關(guān)聯(lián)，并能夠根據(jù)給定的向量特征生成連貫的語(yǔ)言描述。

將視覺(jué)編碼器得到的圖像特征和語(yǔ)言模塊進(jìn)行對(duì)齊是VLM的關(guān)鍵所在。常見(jiàn)的做法是通過(guò)跨模態(tài)注意力（cross-attention）機(jī)制，讓語(yǔ)言解碼器在生成每個(gè)文字Token時(shí)，能夠自動(dòng)關(guān)注到圖像中與該文字最相關(guān)的區(qū)域。比如在識(shí)別“前方施工，請(qǐng)減速慢行”這句話時(shí)，模型會(huì)在圖像中著重關(guān)注黃色施工標(biāo)志、交通錐或挖掘機(jī)等顯著區(qū)域，從而保證生成的文字與實(shí)際場(chǎng)景高度一致。整個(gè)系統(tǒng)可以端到端聯(lián)合訓(xùn)練，也就是說(shuō)模型的損失函數(shù)會(huì)同時(shí)考慮視覺(jué)特征提取的準(zhǔn)確性和語(yǔ)言生成的流暢性，通過(guò)不斷迭代，將兩者的性能共同提升。

為了讓VLM更好地適應(yīng)自動(dòng)駕駛的特殊場(chǎng)景，訓(xùn)練過(guò)程通常分為預(yù)訓(xùn)練和微調(diào)兩個(gè)階段。在預(yù)訓(xùn)練階段，會(huì)利用海量的網(wǎng)絡(luò)圖文，比如從互聯(lián)網(wǎng)收集的大規(guī)模圖片和對(duì)應(yīng)的標(biāo)題、說(shuō)明文字，讓模型先掌握通用的視覺(jué)-語(yǔ)言對(duì)應(yīng)關(guān)系。這一階段的目標(biāo)是讓模型具備跨領(lǐng)域的基本能力，能識(shí)別多種物體、理解常見(jiàn)場(chǎng)景、生成自然表達(dá)。隨后，進(jìn)入微調(diào)階段，需要采集自動(dòng)駕駛專屬的數(shù)據(jù)集，這其中包括各種道路類型（城市道路、高速公路、鄉(xiāng)村公路）、多種天氣條件（晴天、雨雪、夜晚）、不同交通設(shè)施（施工區(qū)域、隧道、十字路口）等場(chǎng)景下的圖像，并配以專業(yè)標(biāo)注的文字描述。通過(guò)這種有針對(duì)性的訓(xùn)練，模型才能在實(shí)際行駛中精準(zhǔn)識(shí)別交通標(biāo)志上的文字信息，并及時(shí)生成符合交通法規(guī)和行駛安全的提示語(yǔ)。

在實(shí)際應(yīng)用中，VLM能夠支持多種智能化功能。首先是實(shí)時(shí)場(chǎng)景提示。當(dāng)車輛行駛在突遇施工、積水、落石等危險(xiǎn)區(qū)域時(shí)，VLM會(huì)識(shí)別路面狀況，結(jié)合圖像中出現(xiàn)的施工標(biāo)志、警示牌或水坑輪廓，自動(dòng)生成“前方道路施工，請(qǐng)?zhí)崆皽p速”或“前方積水較深，請(qǐng)繞行”的自然語(yǔ)言提示，并將該提示通過(guò)儀表盤或車載語(yǔ)音播報(bào)給駕駛員。其次是交互式語(yǔ)義問(wèn)答。乘客可通過(guò)語(yǔ)音助手詢問(wèn)“前方哪條車道最快？”、“我還能在下一個(gè)路口右轉(zhuǎn)嗎？”等問(wèn)題，系統(tǒng)會(huì)將語(yǔ)音轉(zhuǎn)文字后，結(jié)合當(dāng)前圖像和地圖數(shù)據(jù)，利用VLM回答“從左側(cè)車道行駛可避開(kāi)前方擁堵，請(qǐng)注意車距”或“前方禁止右轉(zhuǎn)，請(qǐng)繼續(xù)直行”之類的文字回復(fù)。再者，VLM還可對(duì)路標(biāo)與路牌文字識(shí)別，它不僅對(duì)交通標(biāo)志的圖形進(jìn)行分類，還能識(shí)別標(biāo)志牌上的文字信息，將“限高3.5米”“禁止掉頭”“施工中”等信息結(jié)構(gòu)化地傳遞給決策模塊。

為了讓VLM在車載環(huán)境中實(shí)時(shí)運(yùn)行，通常會(huì)采用“邊緣-云協(xié)同”架構(gòu)。在云端完成大規(guī)模預(yù)訓(xùn)練和定期微調(diào)，將性能最優(yōu)的模型權(quán)重通過(guò)OTA（Over-The-Air）下發(fā)到車載單元；車載單元部署經(jīng)過(guò)剪枝、量化和蒸餾等技術(shù)優(yōu)化后的輕量級(jí)推理模型，依托車載GPU或NPU在毫秒級(jí)別內(nèi)完成圖像與語(yǔ)言的聯(lián)合推理。對(duì)于對(duì)時(shí)延要求極高的安全提示，優(yōu)先使用本地推理結(jié)果；對(duì)于更加復(fù)雜的非安全場(chǎng)景分析，如行程總結(jié)或高級(jí)報(bào)告，則可異步將數(shù)據(jù)上傳云端進(jìn)行深度處理。

數(shù)據(jù)標(biāo)注與質(zhì)量保障是VLM部署的另一大關(guān)鍵。標(biāo)注團(tuán)隊(duì)需要在不同光照、天氣、道路類型條件下采集多視角、多樣本圖像，并為每張圖像配備詳盡的文字描述。如對(duì)一張高速路施工場(chǎng)景的圖像，不僅要框選出施工車輛、路障和交通錐，還要撰寫“前方高速公路正在施工，左側(cè)車道封閉，請(qǐng)向右變道并減速至60公里/小時(shí)以內(nèi)”的自然語(yǔ)言說(shuō)明。為了保證標(biāo)注一致性，通常會(huì)進(jìn)行多輪審核和校驗(yàn)，并引入弱監(jiān)督策略對(duì)大量未標(biāo)注圖像生成偽標(biāo)簽，降低人工成本的同時(shí)保持?jǐn)?shù)據(jù)多樣性與標(biāo)注質(zhì)量。

安全性與魯棒性是自動(dòng)駕駛的核心要求。當(dāng)VLM在雨雪、霧霾或復(fù)雜光照條件下出現(xiàn)識(shí)別錯(cuò)誤時(shí)，系統(tǒng)必須迅速評(píng)估其不確定性，并及時(shí)采取冗余措施。常見(jiàn)做法有利用模型集成（Ensemble）或貝葉斯深度學(xué)習(xí)（BayesianDL）計(jì)算輸出置信度，當(dāng)置信度低于閾值時(shí)，系統(tǒng)退回至傳統(tǒng)多傳感器融合感知結(jié)果，或提示駕駛員手動(dòng)接管。與此同時(shí)，跨模態(tài)注意力的可解釋性工具能夠幫助在事故復(fù)盤時(shí)追蹤模型的決策過(guò)程，明確模型為何在某一幀圖像中生成特定提示，從而為系統(tǒng)迭代和責(zé)任認(rèn)定提供依據(jù)。

隨著大語(yǔ)言模型（LLM）和大視覺(jué)模型（LVM）的持續(xù)發(fā)展，VLM將在多模態(tài)融合、知識(shí)更新和人機(jī)協(xié)同方面取得更大突破。系統(tǒng)不僅能處理攝像頭圖像，還會(huì)整合雷達(dá)、LiDAR和V2X（Vehicle-to-Everything）數(shù)據(jù)，使得對(duì)車輛周邊環(huán)境的感知更為全面；同時(shí)將實(shí)時(shí)獲取的交通法規(guī)更新、路政公告和氣象預(yù)報(bào)輸入語(yǔ)言模型，為車輛決策和提示提供最新背景知識(shí)；在交互方式上，乘客可通過(guò)語(yǔ)音、手勢(shì)和觸摸屏多模態(tài)聯(lián)合輸入，獲取更加自然、有效的行駛建議。

VLA與VLM有何差別？

VLA與VLM都是大模型的重要技術(shù)，那兩者又有何區(qū)別？VLA和VLM雖然都屬于多模態(tài)大模型體系，但在模型架構(gòu)、目標(biāo)任務(wù)、輸出類型和應(yīng)用場(chǎng)景上其實(shí)存在根本差異。VLM主要解決的是圖像與語(yǔ)言之間的關(guān)聯(lián)問(wèn)題，其核心能力是對(duì)圖像進(jìn)行語(yǔ)義理解，并通過(guò)語(yǔ)言表達(dá)這種理解，輸出形式通常是自然語(yǔ)言，例如圖像描述、視覺(jué)問(wèn)答、圖文匹配、圖文生成等，代表任務(wù)包括“這張圖里有什么？”“這個(gè)圖和這段話是否匹配？”等，廣泛應(yīng)用于AI助手、搜索引擎、內(nèi)容生成和信息提取等領(lǐng)域。

VLA則是VLM的進(jìn)一步擴(kuò)展，它不僅需要理解圖像中的視覺(jué)信息和語(yǔ)言指令，還要將兩者融合后生成可執(zhí)行的動(dòng)作決策，輸出不再是文本，而是物理控制信號(hào)或動(dòng)作計(jì)劃，例如加速、剎車、轉(zhuǎn)彎等。因此，VLA模型不僅承擔(dān)感知和理解任務(wù)，還需要完成行為決策和動(dòng)作控制，是面向真實(shí)世界“感知—認(rèn)知—執(zhí)行”閉環(huán)系統(tǒng)的關(guān)鍵技術(shù)，其典型應(yīng)用包括自動(dòng)駕駛、機(jī)器人導(dǎo)航、智能操作臂等?？梢哉f(shuō)，VLM是“看懂+說(shuō)清楚”，而VLA是“看懂+聽(tīng)懂+做對(duì)”，前者更偏向信息理解與表達(dá)，后者則更聚焦智能體的自主行為能力和決策執(zhí)行能力。

最后的話

視覺(jué)-語(yǔ)言模型通過(guò)將圖像感知與自然語(yǔ)言處理相結(jié)合，為自動(dòng)駕駛系統(tǒng)提供了更豐富、更靈活的語(yǔ)義層面支持。它不僅能幫助車輛“看懂”復(fù)雜的道路場(chǎng)景，還能用“看得懂”的自然語(yǔ)言與人類駕駛員或乘客進(jìn)行高效交互。盡管在模型體積、實(shí)時(shí)性、數(shù)據(jù)標(biāo)注與安全保障等方面仍面臨挑戰(zhàn)，但隨著算法優(yōu)化、邊緣計(jì)算與車聯(lián)網(wǎng)技術(shù)的不斷進(jìn)步，VLM定將成為推動(dòng)智能駕駛進(jìn)入“感知-理解-決策”一體化時(shí)代的關(guān)鍵引擎，為未來(lái)出行帶來(lái)更高的安全性和舒適性。

審核編輯 黃宇