近日，小鵬汽車正式發(fā)布世界模型X-World技術報告，從數據、模型、訓練、驗證及應用等多層面詳解X-World的構建與使用。

X-World是一個基于視頻擴散生成技術（Video Diffusion）構建的、服務于自動駕駛的可控多視角生成式世界模型，具備多視角下即時響應與持續(xù)生成的能力。

技術報告還展示了X-World在小鵬汽車自動駕駛中的實際應用價值，該模型已投入到閉環(huán)仿真測試、在線強化學習、數據生成等實際生產環(huán)節(jié)。

在近期向用戶陸續(xù)推送的第二代VLA的研發(fā)與驗證過程中，X-World 也已被大量用于環(huán)境仿真與模型評估。

自動駕駛系統(tǒng)的評估主要依賴真實道路測試與仿真測試。其中，仿真測試具備成本更低、效率更高、場景覆蓋更廣、可重復驗證等優(yōu)勢。傳統(tǒng)仿真評估大量采用基于 3D 高斯濺射（3DGS）的技術路線，這類方法能夠在一定程度上復現真實場景，但當自動駕駛模型產生大幅變道、繞行等明顯偏離原始采集軌跡的行為時，這種方法往往難以對超出既有重建范圍的后續(xù)場景進行有效生成與評估。因此，行業(yè)內仍高度依賴實車道路測試，而這種方式存在著成本高、場景覆蓋有限、難以復現指定情況等問題。

為了解決這些瓶頸，小鵬生成世界模型團隊試圖構建一個“現實世界模擬器”，讓它能夠在給定動作條件下生成符合物理約束的未來視頻，同時在持續(xù)生成過程中保持良好的可控性與穩(wěn)定性。在這一背景下，X-World應運而生，通過輸入多攝像頭的歷史視頻流和待執(zhí)行的駕駛動作（或動作序列），便可生成對應的未來多攝像頭視頻流。X-World可以被視為一個會“思考”駕駛場景的物理AI系統(tǒng)，它能夠根據當前的路況和駕駛操作，想象出數秒后路況的變化。

架構層面，X-World 基于當前領先的視頻生成模型 WAN 2.2 構建，沿用其潛空間視頻生成范式，將視頻VAE與基于DiT的潛空間去噪器相結合。底層采用高壓縮比 3D 因果自編碼器（VAE），大幅降低計算與內存開銷，支持長時序視頻建模，從而更好地捕捉豐富的時空依賴關系，同時降低延遲、加快推理速度。模型骨干為定制化的DiT骨干網絡，通過視角-時間自注意力機制，實現時間維度和視角維度的聯合建模，從而確保7路攝像頭視角間的一致性。X-World 還提供了一套全面的條件控制接口，包括自車動作、動態(tài)交通參與者、靜態(tài)道路元素（如車道線、道路邊界）、攝像頭內外參，可對駕駛場景的生成過程進行細粒度調控。這些設計共同實現了多輸入條件下的可控多視角生成。

X-World 模型（框架如上圖所示）

在本篇技術報告中，小鵬團隊圍繞X-World實際落地過程中遇到的技術難點做了分享，核心在于如何實現跨視角3D一致性、多條件受控生成準確、長時序畫面生成。除了模型架構上的新穎嘗試，在訓練層面，團隊采用了兩個階段的訓練方式：

第一階段，將一個大型預訓練視頻生成模型，改造為完全可控的多攝像頭世界模型。

第二階段，通過“分塊因果架構”和“少步自強制學習”，結合滾動鍵值緩存，將模型轉換為流式自回歸模擬器。

與傳統(tǒng)的雙向視頻擴散模型不同，X-World 采用流式自回歸的方式運行，可以逐步生成未來視頻畫面以進行實時交互，這一設計使得模型能夠天然適用于閉環(huán)場景，既可為端到端策略的可擴展評估提供支撐，也可應用于在線強化學習訓練。

實驗結果顯示，X-World實現了高質量的多視角視頻生成?？傮w而言，它具備以下三大核心優(yōu)勢：

實現了較強的跨視角一致性，確保各攝像頭間（7路環(huán)視攝像頭）的幾何信息與目標特征一致；

嚴格的動作跟隨性，生成的未來畫面與指令要求的自車行為高度匹配；

具備長視頻推演能力，可在較長的時間跨度內實現穩(wěn)定的預測。上述特性讓生成式世界模型更接近實用的 “現實世界仿真器” 形態(tài)，能夠為VLA自動駕駛系統(tǒng)提供可復現的基準測試、可擴展的回歸測試與交互式學習支撐。

在具體的應用場景上，X-World不僅僅是一個視頻生成模型，更是一個高保真、交互式、可控的底層基礎平臺，服務于小鵬汽車第二代VLA的開發(fā)與驗證。目前，X-World已經在小鵬汽車自動駕駛的閉環(huán)仿真測試、在線強化學習、數據生成等環(huán)節(jié)起到支撐作用。

依托X-World，小鵬構建面向第二代VLA的閉環(huán)評估引擎。區(qū)別于傳統(tǒng)的基于3D重建的技術路線，X-World可進行交互式推演，并支持對安全關鍵指標進行評估。例如，在 X-World 中運行第二代VLA，可在高度貼近真實世界視覺分布的虛擬環(huán)境中，評估碰撞率、目標達成進度、乘坐舒適性等性能指標。目前，小鵬自動駕駛仿真場景從一年前的3萬增加到50多萬個，每日仿真測試里程等效于3000萬公里實車測試。

X-World可充當在線強化學習的仿真平臺?？衫肵-World的可控性，針對自動駕駛中的難點場景進行專項優(yōu)化，例如重點優(yōu)化模型在路口遭遇行人“鬼探頭”、 擁堵路段變道猶豫等場景的表現。

X-World可實現大規(guī)模數據生成與增強。X-World作為生成式數據工廠，既可以生成缺失的長尾場景數據，提升第二代VLA應對長尾場景（Corner Case）的能力，也能生成海外數據用于模型訓練，加速小鵬自動駕駛全球化落地進程。

操作控制演示

支持指令控制畫面。

例如輸入"左轉"、"加速"。

多車場景控制

支持控制畫面中其他車輛的行為。

例如讓它們加速、減速、變道。

長距離預測

支持連續(xù)生成幾十秒的畫面，

且畫面始終保持穩(wěn)定和連貫。

風格變換

支持改變天氣和時間。

例如"雨天"、"黑夜"、"德國的街道"

3月19日起，小鵬第二代VLA面向用戶陸續(xù)推送。從前沿技術探索到工程化落地，小鵬汽車持續(xù)以先進科技與強大技術實力，為用戶帶來全場景、更安心和高效的智駕體驗，讓更安全、更智能的自動駕駛普及到每一條道路。