在智能汽車產(chǎn)業(yè)蓬勃發(fā)展的當下，智能座艙作為車輛的重要組成部分，正經(jīng)歷著前所未有的變革。清華大學智能綠色車輛與交通全國重點實驗室的曹東璞教授在全球智能汽車產(chǎn)業(yè)大會（GIV 2024）上指出，國內(nèi)智能座艙的發(fā)展速度驚人，已經(jīng)從過去的落后狀態(tài)轉(zhuǎn)變?yōu)轭I先國際。這一轉(zhuǎn)變的背后，AI大模型起到了關鍵的推動作用。

然而，隨著智能座艙市場的快速發(fā)展，頭部座艙企業(yè)已經(jīng)遇到了瓶頸。為了突破這一困境，多模態(tài)成為了智能座艙發(fā)展的新熱點。多模態(tài)是指通過不同的信息來源或形式（如文本、語音、圖像、視頻等）來傳遞和接收信息。相較于單一模態(tài)，多模態(tài)能夠更全面、完整地反映真實世界的復雜性和多樣性，同時實現(xiàn)不同模態(tài)之間的交互和融合。

隨著技術的持續(xù)迭代和發(fā)展，AI大模型正在從單一模態(tài)向多模態(tài)演進。咨詢公司Gartner預測，建立在多模態(tài)大模型上的生成式AI應用將在未來幾年內(nèi)實現(xiàn)快速增長。智能汽車作為原生多模態(tài)大模型的絕佳落地場景，正引領著這一變革。

商湯絕影和GPT-4V等多模態(tài)大模型的發(fā)布，標志著AI公司開始在技術框架層將語言模型、視覺模型、聲音模型等進行融合。這些模型通過跨模態(tài)數(shù)據(jù)的訓練，實現(xiàn)了多模態(tài)的對齊和連接，從而能夠在更廣泛的場景中應用。

商湯絕影將多模態(tài)大模型業(yè)務分為模型層、引擎層和業(yè)務層三層。模型層包括車端側(cè)和云端的模型，用于進行多模態(tài)大模型的推理。引擎層則包括座艙大腦和全時駕駛輔助兩個產(chǎn)品，分別用于感知座艙內(nèi)的情況和車外場景。業(yè)務層則包括語音助手、ADAS系統(tǒng)、手機運用以及娛樂功能等，與下面的模型層和引擎層進行融合。

然而，多模態(tài)大模型在智能座艙中的應用也面臨著諸多挑戰(zhàn)。首先，車端應用大模型需要強大的算力支持，而如何更優(yōu)、更好地使用算力是一個亟待解決的問題。其次，集中化跨模態(tài)的全鏈路數(shù)據(jù)打通和服務接口的標準化等方面也需要進一步努力。此外，多模態(tài)大模型在實際應用中的取舍也是一個重要問題。一些新功能雖然看似炫酷，但可能并不符合用戶的實際需求，導致資源浪費。

因此，智能座艙的發(fā)展需要回歸原點，改變車內(nèi)場景的交互效率。百度智艙業(yè)務部總經(jīng)理李濤指出，如果一個功能頻繁被用戶使用，可能說明整體車輛設計的智能化程度較低，無法理解用戶當前所需。因此，智能座艙的發(fā)展應該更加注重用戶體驗和實際需求，通過多模態(tài)大模型等技術手段提高交互效率，為用戶帶來更加便捷、智能的出行體驗。

綜上所述，多模態(tài)作為智能座艙的新突破口，正引領著智能汽車產(chǎn)業(yè)的發(fā)展。然而，要實現(xiàn)多模態(tài)大模型在智能座艙中的廣泛應用，還需要克服諸多技術和市場挑戰(zhàn)。未來，隨著技術的不斷進步和市場的日益成熟，智能座艙將迎來更加廣闊的發(fā)展前景。