摘要：近年來自動駕駛場景中的預(yù)測任務(wù)逐漸興起一種新形式，即預(yù)測未來基于鳥瞰圖的空間占有柵格(occupancy)和光流(flow)。此類預(yù)測任務(wù)與傳統(tǒng)預(yù)測軌跡的任務(wù)相比在很多場景下會提供更多的信息，作為自動駕駛上下游的一環(huán)，有著更廣泛的應(yīng)用場景。在今年的Waymo Open Dataset Challenge 2022上，Waymo推出了此任務(wù)的全新挑戰(zhàn)賽。地平線在這個項(xiàng)目上研發(fā)出了一種全新的利用時空信息進(jìn)行編碼解碼的層級網(wǎng)絡(luò)，通過多重編碼網(wǎng)絡(luò)，多尺度時空融合，預(yù)測隱變量以及聯(lián)合柵格占有和光流的損失函數(shù)等創(chuàng)新性技術(shù)，將這一任務(wù)的精度推上新的高度。

背景

預(yù)測任務(wù)是自動駕駛場景中至關(guān)重要的一項(xiàng)任務(wù)，其目的是通過對運(yùn)動物體的歷史軌跡和運(yùn)動狀態(tài)的觀測，結(jié)合道路信息，推測其未來的行為，為下游的規(guī)劃控制提供更豐富的預(yù)測信息。其表征形式通常為多條未來可能的軌跡。近年來，越來越多的研究表明，基于鳥瞰圖的空間占有柵格和光流的表征形式相比多條軌跡預(yù)測有更強(qiáng)的表征能力。相比于軌跡的形式，占有柵格有更豐富的空間分布信息，能更好的表征動態(tài)物體的位置，形狀，身份的不確定性；其聯(lián)合概率分布的形式在一定程度上可以處理物體之間的交互的能力；同時，所有的動態(tài)物體可以同時并行處理，極大地提升了處理的效率；另外，此種方法還具有推測被遮擋物體的能力，能有效預(yù)防諸如“鬼探頭”等的情況；最后，其鳥瞰圖下的表征形式能更好地與上下游相結(jié)合?；谶@個趨勢，Waymo于今年推出了全新的自動駕駛挑戰(zhàn)賽項(xiàng)目，即Occupancy and Flow Prediction Challenge。此挑戰(zhàn)賽給定過去一秒中動態(tài)物體（車輛，自行車和行人）的運(yùn)動軌跡，要求對未來八秒的可觀測物體的柵格占有、遮擋物體的柵格占有以及對應(yīng)光流做預(yù)測。本方法結(jié)合了CNN、transformer、三維稀疏卷積等優(yōu)勢，利用隱變量豐富了未來的信息，創(chuàng)新性地引入了層級時序解碼機(jī)制，在此次Waymo挑戰(zhàn)賽中取得了極佳的成績。

方法

輸入

模型的輸入包含了動態(tài)信息和靜態(tài)信息。其中動態(tài)信息包含了歷史幀和當(dāng)前幀的動態(tài)物體（車輛，自行車和行人）的空間占有柵格信息以及對應(yīng)物體的屬性信息（比如物體檢測框的長寬高和速度等信息），靜態(tài)信息包含了整個場景的路面相關(guān)信息（比如道路中線，道路邊緣，路面其他特征等）。所有信息都被處理成二維鳥瞰圖并進(jìn)一步進(jìn)行時間尺度上的聚合。我們同時使用了2D編碼器和3D編碼器，其中針對2D編碼器，動態(tài)信息輸入會直接在特征維上進(jìn)行時間拼接；而針對3D編碼器，時間會作為額外的維度（靜態(tài)信息在每一幀上進(jìn)行復(fù)制），并且輸入會作稀疏化處理。 編碼器

編碼器一共分為三種，分別是基本編碼器，注意力編碼器以及時空編碼器

基本編碼器：作為整個框架的基本編碼器，我們選擇使用了RegNet[1]模型。RegNet是一個設(shè)計完備且效率很高的模型。編碼器經(jīng)過層層降采樣編碼，生成了5個維度上的特征，對應(yīng)的尺度分別是輸入的1/2，1/4，1/8，1/16和1/32。

注意力編碼器：近年來，在檢測和分割任務(wù)中，SwinTransformer及其升級版SwinTransformerV2[2]取得了很好的結(jié)果?；谄洫?dú)特的局部窗口注意力機(jī)制，不僅能很好地編碼動態(tài)物體和路面間的交互，還大量地減少了網(wǎng)絡(luò)計算量，因此我們使用了SwinTransformerV2來作為整個網(wǎng)絡(luò)的注意力編碼器。為了可以和基本編碼器輸出特征的尺度相對應(yīng)，我們將每個patch的尺寸由4改成了2，由此注意力編碼器可以輸出和基本編碼器尺度相同的5個特征。

時空編碼器：為了更好地進(jìn)行幀間信息交互提取，我們設(shè)計了一個3D時空編碼器來額外捕捉時間尺度上的信息。因?yàn)槲覀兊妮斎胄畔⒃邙B瞰圖上有著很高的稀疏度，我們選擇使用3D稀疏卷積和子流形稀疏卷積[3]來搭建網(wǎng)絡(luò)。這樣既可以大量地加速3D卷積的計算也可以有效防止稀疏特征在早期過快地膨脹(dilation)。我們對應(yīng)其他編碼器，設(shè)計了5階段網(wǎng)絡(luò)，其中時間維在2和4階段進(jìn)行下采樣。針對網(wǎng)絡(luò)的每個輸出特征，我們將時間維和特征維進(jìn)行合并來使特征降維。

聚合器

聚合器由兩部分組成，在空間尺度上，我們利用BiFPN做多尺度的聚合；在時間尺度上，我們利用隱變量模型來豐富未來的信息。類比于條件變分器，我們在每一個尺度，每一個空間位置都對未來的概率進(jìn)行建模。在訓(xùn)練階段，我們基于現(xiàn)在時刻的概率分布做采樣。推理階段，我們直接采用概率分布均值。為了保證預(yù)測分布和已觀測分布的一致性，我們采用Kullback-Leibler divergence損失函數(shù)作為監(jiān)督信號。

解碼器

解碼器采用多層級多尺度的特征金字塔形式，基本的組成單元為3D卷積Bottleneck結(jié)構(gòu)。3D bottleneck中采用了膨脹卷積和分組卷積，可以極大地擴(kuò)大感受野并節(jié)省計算量。同時，為了將編碼后的2D特征做時序展開，我們引入了3D轉(zhuǎn)置卷積Bottleneck。這些堆疊的bottleneck通過上采樣進(jìn)行多尺度的鏈接，有效地融合了多尺度的信息。同時，為了節(jié)省計算量，我們在輸出尺度上用ConvLSTM做時序上的修正。

損失函數(shù)

對于可觀測占有柵格和被遮擋占有柵格的預(yù)測，我們采用Focal Loss作為其監(jiān)督信號，兩者采用相同的權(quán)重進(jìn)行加權(quán)。

對于光流的預(yù)測，我們采用Smooth L1損失函數(shù)。為了將光流和占有率的預(yù)測解耦，我們利用占有率的真值做加權(quán)。

為了保證柵格占有率和光流預(yù)測的一致性，我們采用跟蹤損失函數(shù)進(jìn)行進(jìn)一步監(jiān)督。利用光流的預(yù)測，我們可以對前一幀的柵格占有率進(jìn)行空間變形來得到當(dāng)前幀的基于光流的空間占有預(yù)測。

最后將基于光流的空間占有預(yù)測和當(dāng)前幀柵格占有預(yù)測相乘，來得到當(dāng)前幀的空間占有-光流聯(lián)合預(yù)測，并用此聯(lián)合預(yù)測和當(dāng)前幀的柵格占有真值來計算損失函數(shù)traced loss。我們同時采用Focal loss和交叉熵?fù)p失函數(shù)進(jìn)行監(jiān)督[4]。

為保證聚合器中隱變量中現(xiàn)在和未來的一致性，我們采用Kullback-Leibler divergence損失函數(shù)作為監(jiān)督信號[5]來監(jiān)督預(yù)測的概率分布函數(shù)參數(shù)。

最后，所有的損失函數(shù)進(jìn)行加權(quán)和作為最后的損失函數(shù)。

實(shí)驗(yàn)結(jié)果

消融實(shí)驗(yàn)

本表展示了在Waymo數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果，灰色的一列為評測的主指標(biāo)?？梢钥闯?，loss的改進(jìn)，如focal loss和traced loss分別帶來了2.01%和0.46%的提升。同時，更豐富的柵格化輸入帶來了1.23%的提升。同時，結(jié)構(gòu)化的改進(jìn)，包括隱變量，時空解碼器，以及解碼器的改進(jìn)帶來了約1.21%的提升。最后TTA帶來了約0.40%的提升。值得一提的是，所有的實(shí)驗(yàn)都是在十分之一的數(shù)據(jù)集上做的驗(yàn)證。這些結(jié)果充分的說明了我們方法的有效性。

測試集表現(xiàn)

下表展示了我們方法在waymo測試集上的排名，灰色的一列代表評測的主指標(biāo)，可以看出，我們的結(jié)果在主指標(biāo)上大幅領(lǐng)先對手，充分說明我們方法的優(yōu)越性。

結(jié)果可視化

下面展示我們的方法在特定場景下的對接下來8秒占有柵格（左）和光流（右）的可視化結(jié)果。下面列出了直行，紅綠燈路口左轉(zhuǎn)右轉(zhuǎn)掉頭，無保護(hù)左轉(zhuǎn)，4-way-stop，無保護(hù)左轉(zhuǎn)，自主避障，停車入庫，被遮擋物體的猜測等場景?？梢钥闯?，我們的方法能有效地處理復(fù)雜場景，能實(shí)現(xiàn)多動態(tài)物體的交互，交通信息和規(guī)則的理解，自主避障，對被遮擋物體的推測等功能。

普通路面：主要展示對不同車速/加速減速情況的車流預(yù)測，可以看出HOPE能對未來軌跡的不確定性進(jìn)行很好的建模

交叉路口：主要展示對不同轉(zhuǎn)彎，停車等待的車流預(yù)測

掉頭場景：復(fù)雜路口

不確定場景：直行、右轉(zhuǎn)兩條車道都有可能駛?cè)?/p>

右轉(zhuǎn)：右轉(zhuǎn)車輛對直行車輛進(jìn)行了避讓

左轉(zhuǎn)：根據(jù)路口紅綠燈、交通規(guī)則等綜合信息對路權(quán)進(jìn)行判斷

無保護(hù)左轉(zhuǎn)：左轉(zhuǎn)車輛對直行車輛進(jìn)行了避讓

2 way stop：可以看見車輛交互，處理先來后到順序

遮擋繞行：可以看見車輛對前方靜止車輛進(jìn)行了繞行

停車入庫：小樣本、低速場景預(yù)測，可以看見低速場景下軌跡的不確定性更高，模型可以有多種可能的軌跡預(yù)測

遮擋物體的猜測：綠色的為被遮擋物體

審核編輯 ：李倩