此前，北京時間6月11-14日，計算機視覺頂會CVPR 2025在美國田納西州納什維爾舉行，小鵬汽車受邀參與自動駕駛研討會CVPR WAD（Workshop on Autonomous Driving），與Waymo、英偉達(dá)、加利福尼亞大學(xué)洛杉磯分校（UCLA）、圖賓根大學(xué)（University of Tuebingen）等來自工業(yè)界和學(xué)術(shù)界的自動駕駛同行共同探討業(yè)界最新AI技術(shù)。

CVPR是AI與計算機視覺領(lǐng)域的頂級學(xué)術(shù)會議，與 ICCV、ECCV 并稱計算機視覺三大頂級會議，每年都被自動駕駛業(yè)界和學(xué)界視為前沿技術(shù)交流的窗口。

CVPR舉辦的自動駕駛研討會（CVPR WAD）歷時已有八屆，是全球最具權(quán)威性的自動駕駛技術(shù)會議之一。小鵬汽車是由大會邀請，到場分享自動駕駛基座模型研發(fā)進(jìn)展的唯一中國車企。

AI大模型浪潮以來，自動駕駛領(lǐng)域發(fā)生了技術(shù)范式的切換，已經(jīng)從過去人類手寫規(guī)則的模型，升級為基于海量數(shù)據(jù)訓(xùn)練出的AI模型，相關(guān)技術(shù)進(jìn)展也成了這幾年CVPR的大熱議題。

在本屆的CVPR WAD上，小鵬世界基座模型負(fù)責(zé)人劉先明博士發(fā)表了題為《通過大規(guī)模基礎(chǔ)模型實現(xiàn)自動駕駛的規(guī)模化》（Scaling up Autonomous Driving via Large Foudation Models）的演講，系統(tǒng)地介紹了小鵬汽車自研的業(yè)界首個超大規(guī)模自動駕駛基座模型的歷程和方法，披露了其在模型預(yù)訓(xùn)練、強化學(xué)習(xí)、模型車端部署、AI和數(shù)據(jù)基礎(chǔ)設(shè)施搭建方面的前沿探索，為同行帶去工業(yè)領(lǐng)域的實踐經(jīng)驗。

同一天，在大洋此岸的中國廣州，小鵬汽車宣布推出全球首款搭載L3級算力平臺的AI汽車——小鵬G7，并且在行業(yè)內(nèi)首次提出了「L3級算力平臺」的兩大標(biāo)準(zhǔn)：

第一，“有效算力”大于2000TOPS；

第二，搭載本地部署的「VLA+VLM模型」。小鵬汽車認(rèn)為，「大算力+物理世界大模型+大數(shù)據(jù)」將共同定義未來“AI汽車”的能力上限。

今年4月，小鵬汽車已對外宣布正在研發(fā)參數(shù)規(guī)模達(dá)到720億的云端大模型，即“小鵬世界基座模型”。

該基座模型是以大語言模型為骨干網(wǎng)絡(luò)，使用海量優(yōu)質(zhì)駕駛數(shù)據(jù)訓(xùn)練的VLA大模型（視覺-語言的-行為大模型），具備視覺理解能力、鏈?zhǔn)酵评砟芰Γ–oT）和動作生成能力。目前，小鵬汽車已經(jīng)在后裝算力的車端上用小尺寸的基座模型實現(xiàn)了控車。在沒有任何規(guī)則代碼托底的情況下，新的“AI大腦”展現(xiàn)出令人驚喜的基礎(chǔ)駕車技能，能夠絲滑地加減速、變道繞行、轉(zhuǎn)彎掉頭、等待紅綠燈等等。

劉博士表示，小鵬汽車已經(jīng)在云上訓(xùn)練了10億、30億、70億、720億等多個參數(shù)的模型，并且持續(xù)向模型“投喂”更大規(guī)模的訓(xùn)練數(shù)據(jù)。目前，小鵬世界基座模型累計“吃下”2000多萬條視頻片段（每條時長30秒）。

在這一過程中，研發(fā)團隊清晰地看到了規(guī)模法則（Scaling Law）的顯現(xiàn)。也就是說，模型的參數(shù)量越大、模型學(xué)習(xí)的數(shù)據(jù)越多，模型的性能越強。這是AI大模型浪潮以來，行業(yè)內(nèi)首次明確驗證規(guī)模法則在自動駕駛VLA模型上持續(xù)生效。

目前，業(yè)界主流的車端模型參數(shù)一般在幾百萬到十億級別。在車端直接訓(xùn)練小模型，規(guī)模法則沒有發(fā)揮空間，模型的性能上限也很難提升，更無從實現(xiàn)強大的鏈?zhǔn)酵评淼饶芰Α?/p>

基于這一判斷，小鵬汽車早在去年就確定了云端基模技術(shù)路線，也即在云端“不計成本”地訓(xùn)練超大規(guī)模世界基座模型，再通過蒸餾的方式生產(chǎn)出適配車端算力的小模型。蒸餾能夠最大限度地保留云端基模的核心能力，幫助車端模型跳出車端算力的“一畝三分地”。

在規(guī)則時代，自動駕駛能否從L2輔助駕駛進(jìn)化到L4自動駕駛是一個頗具爭議的議題。在規(guī)則時代，自動駕駛模型其實屬于“模仿學(xué)習(xí)”模型，這意味它只能處理訓(xùn)練數(shù)據(jù)中見過的場景。而自動駕駛核心難點在于處理更罕見的、復(fù)雜的、事關(guān)安全的長尾問題，但通常這些問題發(fā)生概率極低，因此往往沒有足夠的數(shù)據(jù)供模型學(xué)習(xí)。

到了AI時代，全新的解法已然出現(xiàn)，“強化學(xué)習(xí)”成為了提升模型思考能力、幫助模型處理長尾場景的重要手段。小鵬汽車證實了“云端基座模型+強化學(xué)習(xí)”的組合，是讓模型性能突破上限的最佳方法。

值得注意的是，小鵬世界基座模型并不是靜態(tài)的，它在持續(xù)學(xué)習(xí)、循環(huán)進(jìn)化（Continued Online Learning）?？梢?將模型的迭代過程分成內(nèi)、外兩個循環(huán)，內(nèi)循環(huán)是指包含預(yù)訓(xùn)練、后訓(xùn)練（包括監(jiān)督精調(diào)SFT和強化學(xué)習(xí)RL）和蒸餾部署的模型訓(xùn)練過程；外循環(huán)，是指模型在車端部署之后，持續(xù)獲取新的駕駛數(shù)據(jù)和用戶反饋，繼續(xù)用于云端基模的訓(xùn)練。

自成立至今十多年，小鵬現(xiàn)有幾十萬量輔助駕駛車輛跑在全國各地，源源不斷地創(chuàng)造著新的訓(xùn)練數(shù)據(jù)，包括大量的長尾場景數(shù)據(jù)，劉博士指出：“強化學(xué)習(xí)非常講究數(shù)據(jù)采樣，非常依賴來自真實世界的數(shù)據(jù)?！?/p>

在此次CVPR WAD上，劉博士所提出的“軟件3.0時代，打造云端工廠，開啟AI時代模型生產(chǎn)新范式”同樣讓現(xiàn)場參會者留下了深刻的印象。事實上，為了研發(fā)世界基座模型，小鵬汽車從去年便開始布局AI基礎(chǔ)設(shè)施，建成了國內(nèi)汽車行業(yè)首個萬卡智算集群，用以支持基座模型的預(yù)訓(xùn)練、后訓(xùn)練、模型蒸餾、車端模型訓(xùn)練等任務(wù)。小鵬汽車將這套從云到端的生產(chǎn)流程稱為“云端模型工廠”。

目前，這個“云端工廠”擁有10 EFLOPS的算力，集群運行效率常年保持在90%以上，全鏈路迭代周期可達(dá)平均5天一次。如此算力規(guī)模和運營效率，對標(biāo)的是頭部AI企業(yè)。

在大模型時代，想成為一流的自動駕駛公司，首先必須成為一流的AI公司。

在大會現(xiàn)場，小鵬汽車首次展示了兩個核心數(shù)據(jù)：小鵬云上基模訓(xùn)練過程中，處理了超過 40萬小時的視頻數(shù)據(jù)；流式多處理器的利用率（streaming multiprocessor utilization，即SM utilization）達(dá)到 85%。前者代表云端數(shù)據(jù)處理能力，后者所提及的“流式多處理器”是 GPU 的核心計算單元。SM利用率是評判GPU計算資源使用效率的重要指標(biāo)。

此外，劉博士還從云端模型訓(xùn)練和車端模型部署兩個層面，拆解了小鵬汽車自動駕駛團隊提升世界基座模型訓(xùn)練效率的方法。

在模型訓(xùn)練層面，小鵬的研發(fā)團隊在CPU、GPU等方面做了聯(lián)合優(yōu)化，“VLM、VLA等多模態(tài)模型不同于LLM，訓(xùn)練過程不只受限于計算瓶頸，還受到數(shù)據(jù)加載瓶頸、通信瓶頸的限制，大規(guī)模并行訓(xùn)練首先要解決這些問題?！?/p>

在車端模型部署層面，小鵬汽車有一個與眾不同的優(yōu)勢：自研的圖靈AI芯片專為AI大模型而定制，模型、編譯器、芯片團隊針對下一代模型開展了充分的聯(lián)合研發(fā)工作，比如定制 AI 編譯器以最大化執(zhí)行效率，協(xié)同設(shè)計硬件友好、量化友好的模型架構(gòu)，確保軟硬件充分耦合，最終“榨干”車端算力。

“車端計算量的重要來源是輸入的 Token （詞元）數(shù)量。以配備了 7 個攝像頭的 VLA 模型為例，每輸入約 2 秒視頻內(nèi)容，會產(chǎn)生超過 5000 個Token。我們一方面要壓縮輸入中的冗余信息，降低計算延遲。另一方面還要確保輸入視頻的長度，以獲得更豐富的上下文信息?！?/p>

劉博士稱，小鵬團隊創(chuàng)新設(shè)計了針對VLA模型的 Token 壓縮方法，可在不影響上下文長度的情況下，將車端芯片的Token處理量壓縮70%，比如將5000Token壓縮到1500Token?！?/p>

回到小鵬汽車此次在CVPR WAD分享本身，作為唯一受邀演講的中國車企，以技術(shù)創(chuàng)新為源動力的小鵬汽車將經(jīng)過幾十萬用戶驗證的自動駕駛實踐成果反哺學(xué)術(shù)界，以“商業(yè)-科研”的良性循環(huán)，為全球自動駕駛研究注入了寶貴的動力。