[首發(fā)于智駕最前沿微信公眾號(hào)]在很多廠家的技術(shù)方案中，會(huì)提到世界模型的介紹。世界模型，就是自動(dòng)駕駛系統(tǒng)內(nèi)部用來(lái)表示外部世界并預(yù)測(cè)未來(lái)演變的一組模型或表征。換句話說(shuō)，世界模型就是把傳感器看到的東西（攝像頭畫面、激光雷達(dá)點(diǎn)云、雷達(dá)回波、定位速度等）組織起來(lái)，變成車能“理解”和“推演未來(lái)”的內(nèi)部信息，然后用這套信息去預(yù)測(cè)接下來(lái)幾秒鐘可能發(fā)生的事。

這個(gè)“內(nèi)部信息”有兩種常見(jiàn)風(fēng)格。一種是把外界拆成一堆具體對(duì)象，每個(gè)對(duì)象有位置、速度、大小、類別這些東西，然后去預(yù)測(cè)這些對(duì)象會(huì)怎么動(dòng)。另一種是把環(huán)境做成一張網(wǎng)格或地圖（比如俯視下的占用格子），在格子上直接學(xué)它們?nèi)绾巫兓Ｇ罢呷菀桌斫狻⒛芨锢砑s束結(jié)合；后者在處理復(fù)雜道路或車流時(shí)更直觀一些。但無(wú)論哪種，目的都是讓車不僅知道“現(xiàn)在怎樣”，還能估計(jì)“下一秒、兩秒后可能怎樣”。

世界模型既可以是基于物理規(guī)則寫出來(lái)的，也可以是用機(jī)器學(xué)習(xí)從大量數(shù)據(jù)里學(xué)出來(lái)的。常見(jiàn)的做法是把這兩者結(jié)合，先用簡(jiǎn)單的物理模型提供基線，再用學(xué)習(xí)模型去修正那些物理模型覆蓋不了的復(fù)雜行為。這樣既有解釋性，又能利用數(shù)據(jù)提升精度。

在自動(dòng)駕駛里，世界模型到底做什么？

世界模型其實(shí)可以實(shí)現(xiàn)幾件事，第一件事是把“現(xiàn)在”的觀測(cè)變成穩(wěn)定的信息。傳感器會(huì)有噪聲、遮擋、時(shí)間延遲等問(wèn)題，世界模型會(huì)用歷史信息把這些瞬時(shí)的、零散的觀測(cè)整合成連續(xù)的狀態(tài)估計(jì)。舉個(gè)容易懂的例子，當(dāng)一個(gè)行人被路邊車擋住了鏡頭一小會(huì)兒，模型不會(huì)立刻斷定人消失了，而是根據(jù)之前的速度和道路位置合理估計(jì)他的可能位置，繼續(xù)保留這個(gè)目標(biāo)的存在。

第二件事是給出“多步的未來(lái)預(yù)測(cè)”。這比只看現(xiàn)在重要得多。預(yù)測(cè)不是只說(shuō)“物體現(xiàn)在在哪”，而是輸出未來(lái)幾秒鐘里物體可能的軌跡。對(duì)于自動(dòng)駕駛汽車來(lái)說(shuō)，未來(lái)往往不止一種可能，那個(gè)行人可能繼續(xù)直走，也可能突然加速或停下。世界模型要能表示這種多樣性，告訴下游的決策模塊“有這幾種大概率發(fā)生的未來(lái)”。

第三件事是當(dāng)作“模擬器”給規(guī)劃器用。規(guī)劃器在做決策時(shí)需要評(píng)估不同動(dòng)作的后果。世界模型可以在車內(nèi)做很多“如果……會(huì)怎樣”的試算，把候選動(dòng)作代入模型，看到每種動(dòng)作會(huì)帶來(lái)什么風(fēng)險(xiǎn)和結(jié)果，然后選一個(gè)既安全又高效的動(dòng)作。這種方式在控制里叫模型預(yù)測(cè)控制，世界模型讓這種思路能在復(fù)雜交通里用上。

第四件事是生成訓(xùn)練數(shù)據(jù)或豐富仿真?，F(xiàn)實(shí)世界里很難收集到所有極端情況，世界模型能在仿真里復(fù)現(xiàn)一些復(fù)雜交互場(chǎng)景，幫工程師訓(xùn)練感知和決策模塊，尤其是那些在現(xiàn)實(shí)里很少見(jiàn)但很重要的危險(xiǎn)邊緣場(chǎng)景。

世界模型為什么重要？它會(huì)帶來(lái)哪些影響？

世界模型給自動(dòng)駕駛帶來(lái)的最直觀的好處是讓系統(tǒng)變得更“前瞻”。當(dāng)車能提前預(yù)測(cè)周圍人的下一步動(dòng)作，規(guī)劃器就可以提前減速、調(diào)整軌跡，避免緊急剎車或碰撞。這也讓自動(dòng)駕駛系統(tǒng)處理不確定性的能力變強(qiáng)。對(duì)于現(xiàn)實(shí)的交通情況來(lái)說(shuō)，是非常復(fù)雜的，不確定性會(huì)很多，世界模型通常會(huì)以概率或多個(gè)備選方案來(lái)表示未來(lái)的可能，這樣自動(dòng)駕駛系統(tǒng)不會(huì)僅依托唯一一個(gè)可能的路徑。世界模型也讓自動(dòng)駕駛的工程效率得到提升，把世界動(dòng)態(tài)學(xué)到模型里之后，可以在仿真里快速試驗(yàn)策略，減少實(shí)車試錯(cuò)成本。世界模型也讓自動(dòng)駕駛的可解釋性在一定程度得到改善，尤其是采用對(duì)象級(jí)表示時(shí)，人可以比較容易看懂“為什么車做了這個(gè)決策”（因?yàn)槟Ｐ皖A(yù)測(cè)行人會(huì)這樣做）。

當(dāng)然，世界模型很大程度上會(huì)比較依賴數(shù)據(jù)。如果訓(xùn)練數(shù)據(jù)里很少見(jiàn)某類場(chǎng)景，模型在這類場(chǎng)景上預(yù)測(cè)可能會(huì)出大偏差。此外，長(zhǎng)時(shí)預(yù)測(cè)會(huì)積累誤差，模型每一步都可能有小錯(cuò)，錯(cuò)會(huì)逐步放大，幾秒鐘后預(yù)測(cè)可能完全偏離真實(shí)。這會(huì)誤導(dǎo)規(guī)劃器做出不合適的動(dòng)作。可驗(yàn)證性問(wèn)題也是世界模型繼續(xù)解決的問(wèn)題，當(dāng)世界模型是一個(gè)深度網(wǎng)絡(luò)時(shí)，它內(nèi)部的推理過(guò)程難以用傳統(tǒng)方法證明是安全的，這給安全認(rèn)證帶來(lái)麻煩。計(jì)算與實(shí)時(shí)性更是世界模型在設(shè)計(jì)時(shí)需要解決的難題之一，多步、多模態(tài)的預(yù)測(cè)如果不做優(yōu)化，算力開銷大，推理延遲高，這在實(shí)時(shí)系統(tǒng)里是不能接受的。

世界模型既然可以提升自動(dòng)駕駛的性能，那它應(yīng)如何應(yīng)用到自動(dòng)駕駛中？一種方法是把學(xué)習(xí)到的世界模型作為建議器，用來(lái)產(chǎn)生候選未來(lái)，但把最后的安全檢查和約束放在規(guī)則化的決策層或簡(jiǎn)單可靠的安全過(guò)濾器里。還有一種方法是把世界模型盡量壓縮并優(yōu)化成能在車端快速運(yùn)行的版本，同時(shí)把復(fù)雜的長(zhǎng)時(shí)預(yù)測(cè)放在云端或離線訓(xùn)練里做支撐?？傊?，把世界模型當(dāng)成輔助決策的強(qiáng)力工具，同時(shí)保留冗余和規(guī)則化的安全網(wǎng)，是當(dāng)前大多數(shù)技術(shù)方案的解法。

最后的話

世界模型并不是一個(gè)遙不可及的高深概念，它更像是讓自動(dòng)駕駛汽車學(xué)會(huì)“思考”的工具。有了它，自動(dòng)駕駛汽車不再只是依賴當(dāng)下看到的畫面去做反應(yīng)，而是能結(jié)合經(jīng)驗(yàn)和預(yù)測(cè)，把眼前的情況和未來(lái)的變化聯(lián)系起來(lái)。這種能力，就好比讓汽車學(xué)會(huì)了“未雨綢繆”，能更冷靜、更聰明地處理復(fù)雜環(huán)境。

不管是提升自動(dòng)駕駛的安全性，還是減少對(duì)昂貴傳感器和高精地圖的依賴，世界模型都可能發(fā)揮關(guān)鍵作用。未來(lái)誰(shuí)能把世界模型用得更好，誰(shuí)就可能在自動(dòng)駕駛的競(jìng)爭(zhēng)中走得更快、更穩(wěn)。對(duì)普通人來(lái)說(shuō)，世界模型最終會(huì)體現(xiàn)在更安心的出行體驗(yàn)上，世界模型會(huì)讓你感受到，車越來(lái)越像一個(gè)真正可靠的駕駛伙伴，而不僅僅是一臺(tái)聽指令的機(jī)器。