最近炒得比較火的影子模式實(shí)際就是在通過數(shù)據(jù)收集的方式不斷模擬自動駕駛系統(tǒng)按照人類駕駛習(xí)慣實(shí)現(xiàn)人之間的交互過程。對于開發(fā)者而言，則需要重新思考人類駕駛員之間是如何正常且正確交互的，從而在設(shè)計(jì)實(shí)現(xiàn)所標(biāo)定的控制參數(shù)中不斷模擬并實(shí)現(xiàn)社會面相契合的自動駕駛。 ?

實(shí)際上對于如何為自動駕駛真正有效的交互控制能力而言，其核心是需要尋求如下一系列基本問題的答案的： ?

首先，什么是實(shí)際道路駕駛中需要考慮的場景交互過程？各類場景交互的優(yōu)劣如何評價？如何為合理且正確的場景交互行為建模？如何將建模結(jié)果應(yīng)用于后續(xù)開發(fā)過程中？ ?

回答如上問題就需要理解復(fù)雜交通場景中各行駛車輛之間動態(tài)交互的原則和傾向性，通過利用對環(huán)境目標(biāo)行為或反應(yīng)的信念和期望，產(chǎn)生不同的社會駕駛行為；預(yù)測該對應(yīng)移動目標(biāo)場景的未來狀態(tài)，可以最大限度的構(gòu)建安全的智能車輛行駛行為，進(jìn)而對行為預(yù)測和潛在碰撞過程提升相應(yīng)的檢測能力；最終為開發(fā)創(chuàng)建逼真的仿真駕駛模擬器。

如何定義可解釋的駕駛行為 ?

在某種程度上，預(yù)測需要圍繞在高階自動駕駛系統(tǒng)中觀察到的軌跡是否具備可解釋性而構(gòu)建的，目標(biāo)識別過程有助于直觀解釋其軌跡預(yù)測的合理性，從而有助于進(jìn)行系統(tǒng)分析和調(diào)試。這樣將朝著使我們的自動駕駛系統(tǒng)將向更值得信賴的方向發(fā)展，也是證明系統(tǒng)決策的能力的關(guān)鍵。

自車以藍(lán)色顯示，條形圖顯示非自車的目標(biāo)概率。對于每個目標(biāo)，最多顯示兩個最有可能到達(dá)目標(biāo)的預(yù)測軌跡，其表示寬度與概率成正比。這里的可解釋性指的是自車對其目標(biāo)車的所有實(shí)際行為所做出的預(yù)判都具備可解釋性、合理性分析。比如如下為典型的4個自動駕駛場景下，可以分別給出不同的解釋性說明。



(a)場景1：T字路口換道避撞????????????????

(b) 場景2：十字路口



(c)場景3：環(huán)島路口駛出避撞????????????????

(d) 場景4：紅綠燈復(fù)雜場景 ? ? ? ? ?

(a)S1：自車目標(biāo)是一個前方藍(lán)色目標(biāo)。車輛 V1 在自車道上，V1 從左向右變道，如果偏離自車的預(yù)測軌跡，那么自動駕駛控制將會退出。由于避撞需要大幅減速，自車可以決定換道以避免被減速。因?yàn)槿绻?V1 的目標(biāo)是向東行駛，則變道將是不合理的。 ?

(b)S2：自車目標(biāo)是一個前方藍(lán)色目標(biāo)。車輛 V1 正從東面接近交叉路口，車輛 V2 從西面接近。當(dāng) V1 接近交叉路口、減速并等待轉(zhuǎn)彎時，自車對 V1 將右轉(zhuǎn)的信念顯著增加，因?yàn)槿绻繕?biāo)是左轉(zhuǎn)或直行，停下來是不合理的。由于自車識別出V1的目標(biāo)是往北走，它預(yù)測V1會等到V2過去，給自車一個上路的機(jī)會。 ?

(c)S3：自車目標(biāo)是綠色目標(biāo)。當(dāng) V1 從環(huán)形交叉路口的內(nèi)側(cè)車道變?yōu)橥鈧?cè)車道并降低速度時，自車將預(yù)測V1 將從南出口駛出，因?yàn)檫@是實(shí)現(xiàn)該目標(biāo)的合理行動過程。這樣，自車將在 V1 仍在環(huán)形交叉路口時駛?cè)氕h(huán)形交叉路口。 ?

(d)S4：自車的目標(biāo)是紫色目標(biāo)。兩輛車在紅綠燈處停在路口，車輛 V1 從后面接近他們，車輛 V2 從相反的方向穿過。當(dāng) V1 達(dá)到零速度時，目標(biāo)生成函數(shù)在其當(dāng)前位置為 V1 添加一個停止目標(biāo)（橙色），此目標(biāo)分布將向它移動，因?yàn)橥Ｖ箤τ诒?西目標(biāo)來說是不合理的。 ?

本文提出的車輛軌跡預(yù)測方法 ?

基于前序分析，可以說預(yù)測其他車輛的意圖和行駛軌跡的能力是自動駕駛的關(guān)鍵問題。首先，對于駕駛場景中這種耦合多代理交互是一種有限觀察數(shù)據(jù)，可以增強(qiáng)預(yù)測環(huán)境移動目標(biāo)趨勢的能力，從而做出快速準(zhǔn)確的預(yù)測，因此這個問題將變得非常復(fù)雜。

為了在這種情況下進(jìn)行預(yù)測，自動駕駛研究的標(biāo)準(zhǔn)方法是假設(shè)車輛使用有限數(shù)量的不同高級操作之一，例如車道跟隨、變道、轉(zhuǎn)彎、停止等。 ? 最近基于深度學(xué)習(xí)的方法在自動駕駛中呈現(xiàn)了不少令人驚喜的結(jié)果。這些預(yù)測模型是在大型數(shù)據(jù)集上訓(xùn)練的，這些數(shù)據(jù)集通過涉及傳感車輛（例如視頻、激光雷達(dá)、雷達(dá)）的數(shù)據(jù)收集活動變得可用。 ?

為了預(yù)測車輛的未來行駛動機(jī)，我們必須推理為了什么目的 - 車輛執(zhí)行其過去的行駛路徑還是改變其預(yù)期路徑，這就需要了解其他車輛的目標(biāo)來預(yù)測其未來的行駛動機(jī)和軌跡，這有助于在未來一定的時間范圍內(nèi)進(jìn)行精準(zhǔn)規(guī)劃。那么，這種推理將有助于解決保守的自動駕駛問題。

?

這里我們需要通過分類器來根據(jù)觀察到的駕駛軌跡，預(yù)測當(dāng)前車輛需要執(zhí)行的操作。這種方法的局限性在于它們只能檢測其他車輛的當(dāng)前動機(jī)，因此使用此類預(yù)測規(guī)劃器實(shí)際上受限于檢測到的運(yùn)動時間尺度。另一種方法是為每個其他車輛指定一組有限的可能目標(biāo)（例如道路出口點(diǎn)），并根據(jù)車輛觀察到的局部狀態(tài)規(guī)劃到每個目標(biāo)的完整軌跡。雖然這種方法可以生成長期預(yù)測，但其局限性在于生成的軌跡必須與車輛相對緊密地匹配，才能對車輛的目標(biāo)做出高置信度的預(yù)測。 ?

本文闡述了一種用于自動駕駛的集成預(yù)測和規(guī)劃系統(tǒng)，該系統(tǒng)使用“理性逆向規(guī)劃”（也就是逆向假設(shè)）來識別其他車輛的目標(biāo)。目標(biāo)識別通過蒙特卡洛樹搜索 (MCTS) 算法來規(guī)劃自車的最佳行駛策略。逆向規(guī)劃和 MCTS 利用一組共享的已定義演習(xí)和宏觀行動，以此來構(gòu)建合理性說明的行動規(guī)劃。城市駕駛場景模擬評估表明該系統(tǒng)能夠穩(wěn)健地識別其他車輛目標(biāo)，使我們的車輛能夠利用重要的機(jī)會來顯著減少駕駛時間。在每種情況下都需要會為證明系統(tǒng)預(yù)測及決策是否合理輸出直觀的解釋。 ?

為此，利用可解釋的基于目標(biāo)行為分析的預(yù)測和規(guī)劃 (IGP2)，利用有限空間下的運(yùn)動分析計(jì)算優(yōu)勢，可以很好的擴(kuò)展機(jī)動序列的規(guī)劃和預(yù)測方法。通過理性逆向規(guī)劃的新穎整合來實(shí)現(xiàn)這一目標(biāo)，以識別其他車輛目標(biāo)，并使用蒙特卡洛樹搜索 (MCTS)為自車規(guī)劃最佳行動軌跡。

實(shí)際上，這種最佳軌跡的預(yù)測是通過逆向規(guī)劃和 MCTS ，利用一組共享的已定義操作來構(gòu)建合理性原則解釋的運(yùn)動規(guī)劃，即規(guī)劃相對于給定指標(biāo)應(yīng)該是最優(yōu)的，來實(shí)現(xiàn)的。 ?

IGP2：可解釋的基于目標(biāo)的預(yù)測和規(guī)劃 ?

整個預(yù)測方法依賴于兩個假設(shè)：首先，每輛車都試圖從一組可能的目標(biāo)中達(dá)到某個（未知）目標(biāo)，同時，每輛車都遵循從一個有限的已定義操作庫來生成對應(yīng)的規(guī)劃。 ?

下圖中概述了我們提議的 IGP2 系統(tǒng)中的組件。

? ?

在高層次上，可解釋的行為預(yù)測能力IGP2 近似最優(yōu)自車行駛策略 π* 定義如下： 對于每個非自車情況，生成其可能的目標(biāo)并為該車輛反向規(guī)劃每個目標(biāo)。每個非自車的最終目標(biāo)概率和預(yù)測軌跡是由蒙特卡洛樹搜索 (MCTS) 算法的模擬過程所提供的信息生成的，這一過程中包含了自車朝向其當(dāng)前目標(biāo)的最佳機(jī)動計(jì)劃。為了在逆向規(guī)劃和 MCTS 中保持所需的高效搜索能力，如上這些操作需要使用上下文信息靈活地連接操作。 ?

本文將在如下部分中詳細(xì)介紹如上圖中的這些組件如何生成。 ?

A. 行為預(yù)測 ?

在對智駕車輛進(jìn)行行為預(yù)測分析的時候，需要提前做出一些行為假設(shè)。比如，我們可以假設(shè)每輛車都在執(zhí)行以下操作之一：車道跟隨、左/右變道、左/右轉(zhuǎn)、讓路、停止。每個機(jī)動參數(shù) ω 指定適用性和終止條件。例如，左變道僅適用于車輛左側(cè)有一條相同行駛方向的車道，并在車輛到達(dá)新車道且其方向與車道對齊時終止。 ?

一些動作有自由參數(shù)，例如 follow-lane 有一個參數(shù)來指定何時終止。如果適用，指定機(jī)動車輛要遵循的局部軌跡可以表示為 si 1:n，其中包括全局坐標(biāo)系中的參考路徑和沿路徑的目標(biāo)速度。為了便于說明，我們假設(shè) si 使用與 si 相同的表示和索引，但通常情況并非如此（例如，s可以按縱向位置而不是時間進(jìn)行索引，它可以插值到時間指數(shù)）。

此時，參考路徑是通過貝塞爾樣條函數(shù)生成的，該樣條函數(shù)擬合到從道路拓?fù)渲刑崛〉囊唤M點(diǎn)，目標(biāo)速度是使用類似于域啟發(fā)式方法進(jìn)行設(shè)置。 ?

B.宏動作 ?

宏動作指定了智能汽車的常見機(jī)動序列，并根據(jù)道路布局等上下文信息自動設(shè)置機(jī)動車運(yùn)動的自由參數(shù)。下表指定了我們系統(tǒng)中使用的宏操作。宏動作的適用條件由宏動作中第一個機(jī)動的適用條件以及可選的附加條件給出。宏動作的終止條件由宏動作中最后一個機(jī)動的終止條件給出。 ? ?

? C. 速度平滑 ?

為了獲得車輛 i 的可行軌跡，需要定義一個速度平滑操作，用于優(yōu)化給定軌跡 si 1:n 中的目標(biāo)速度。設(shè)置 xt 為參考路徑上在 si 和 vt 處的縱向位置，其目標(biāo)速度為 1 ≤ t ≤ n。我們將 κ : x → v 定義為點(diǎn) xt 之間目標(biāo)速度的分段線性插值。給定兩個時間步長差值為時間Δt；最大速度和加速度，vmax/amax；并設(shè)置 x1 = x^1, v1 = v^1，我們將速度平滑定義為: ?

?

其中，λ > 0 是給予優(yōu)化目標(biāo)的加速部分的權(quán)重。如上公式是一個非線性非凸優(yōu)化問題，例如，使用原始對偶內(nèi)點(diǎn)法可以解決該類問題。 ?

從問題的解決方案 (x2:n, v2:n) 中，利用插值可以獲得原始點(diǎn)在 x^t 處可實(shí)現(xiàn)的速度。 ?

D. 目標(biāo)識別 ?

我們假設(shè)每個非自車 i 尋求達(dá)到有限數(shù)量的可能目標(biāo)之一 Gi ∈ Gi ，使用從我們定義的宏觀行動中構(gòu)建對應(yīng)的運(yùn)動規(guī)劃。我們使用理性逆向規(guī)劃的框架來計(jì)算 i 在時間 t 的目標(biāo)的貝葉斯后驗(yàn)分布： ?

?

其中 L(s1:t|Gi) 是假設(shè) i 的目標(biāo)為 Gi 時觀察到的軌跡的似然，p(Gi) 指定 Gi 的先驗(yàn)概率。 ?

似然度是兩個計(jì)劃之間獎勵差異的函數(shù)：從 i 的初始觀察狀態(tài) si1 到速度平滑后的目標(biāo) Gi ，得到最佳軌跡的獎勵 r^，沿著觀察到的軌跡直到時間 t 的軌跡獎勵 r ，然后繼續(xù)以最佳方式達(dá)到目標(biāo) Gi，平滑僅應(yīng)用于 t 之后的軌跡。 ?

概率定義為一個縮放參數(shù)，這種可能性定義假設(shè)車輛以近似理性地（即最佳地）駕駛以實(shí)現(xiàn)其目標(biāo)，同時允許有一些偏差。如果目標(biāo)不可行，我們將其概率設(shè)置為零。 ?

1）目標(biāo)生成： 啟發(fā)式函數(shù)用于根據(jù)車輛 i 的位置和上下文信息（例如道路布局）生成一組可能的目標(biāo) Gi。在我們的系統(tǒng)中，我們包括當(dāng)前道路和連接道路可見端的目標(biāo)（以自車的視野區(qū)域?yàn)榻纾３舜祟愳o態(tài)目標(biāo)之外，還可以添加取決于當(dāng)前流量的動態(tài)目標(biāo)。例如，密集合并場景中，動態(tài)添加停止目標(biāo)以模擬車輛允許自車在前方合并的意圖。 ?

2）機(jī)動檢測： 機(jī)動檢測用于檢測車輛當(dāng)前（在時間t）需要執(zhí)行的動作，在持續(xù)規(guī)劃之前允許逆向規(guī)劃所需要完成的動作。假設(shè)有一個模塊計(jì)算每輛車 i 的當(dāng)前動作概率 p(ωi)，一種選擇是貝葉斯變點(diǎn)檢測。由于不同的當(dāng)前動作可能暗示不同的目標(biāo)，可以對 p(ωi) > 0 的每個可能的當(dāng)前動作執(zhí)行逆向規(guī)劃。因此，每個當(dāng)前動作產(chǎn)生其相關(guān)的目標(biāo)后驗(yàn)概率可以表示為 p(Gi| s1:t , ωi). ?

3)逆向規(guī)劃： 逆向規(guī)劃是使用 A*search 對宏觀行動進(jìn)行規(guī)劃。A* 在完成產(chǎn)生初始軌跡 s^1:τ 的當(dāng)前機(jī)動 ωi 后開始。每個搜索節(jié)點(diǎn) q 對應(yīng)于一個狀態(tài) s ∈ S，初始節(jié)點(diǎn)處于狀態(tài) s^τ ，并且宏動作通過它們應(yīng)用于 s 的適用性條件進(jìn)行過濾。A* 選擇通向節(jié)點(diǎn) q’ 的下一個宏操作，該節(jié)點(diǎn)對目標(biāo) Gi 的估計(jì)總成本最低，由 f(q’ ) = l(q’ ) + h(q’）到達(dá)節(jié)點(diǎn) q’ 的成本 l(q’ )計(jì)算得出。由從 i 在初始搜索節(jié)點(diǎn)中的位置到它在 q’ 中的位置行駛時間給出，遵循通向 q’ 的宏動作返回的軌跡。 ?



?

A* 假設(shè)所有其他未計(jì)劃在觀察到的軌跡后使用恒速車道跟隨模型的車輛。我們在逆向規(guī)劃期間不檢查碰撞。用于估計(jì)從 q’ 到目標(biāo) Gi 的剩余成本的成本啟發(fā)式 h(q 0 ) 由在限速下從 i 在 q0 中的位置通過直線到目標(biāo)的行駛時間給出。h(q0 ) 的這個定義根據(jù) A* 理論是可接受的，它確保搜索返回最優(yōu)計(jì)劃。找到最優(yōu)計(jì)劃后，我們從計(jì)劃中的機(jī)動和初始段 s^1:τ 中提取完整的軌跡 s^i 1:n。 ?

4) 軌跡預(yù)測： 我們的系統(tǒng)必須要為給定的車輛和目標(biāo)預(yù)測多個可能的軌跡。因?yàn)樵谀承┣闆r下，不同的軌跡可能是（接近）最佳的，但可能導(dǎo)致不同的預(yù)測，這可能需要自車的不同行為。我們運(yùn)行 A* 搜索一段固定的時間，并讓它計(jì)算一組具有相關(guān)獎勵的計(jì)劃（最多一些固定數(shù)量的計(jì)劃）。 ?

每當(dāng) A* 搜索找到一個達(dá)到目標(biāo)的節(jié)點(diǎn)時，相應(yīng)的計(jì)劃就會添加到計(jì)劃集中。給定一組平滑軌跡{s^i,k 1:n |ω i, Gi} k=1..K 到具有初始狀態(tài) ω i 和相關(guān)獎勵 rk = Ri(s^i,k1:n) 的目標(biāo) Gi，我們通過如下波爾茲曼分布預(yù)測可以得到最優(yōu)軌跡： ?



其中 γ 是縮放參數(shù)（設(shè)定 γ = 1）。 ?

E. 自車規(guī)劃

為了計(jì)算自車的最佳計(jì)劃，我們使用目標(biāo)概率和預(yù)測軌跡來實(shí)現(xiàn)蒙特卡羅樹搜索 (MCTS) 算法。 ?

該算法執(zhí)行多個閉環(huán)模擬 s^t:n，從當(dāng)前狀態(tài) s^t = st 開始向下到某個固定的搜索深度或直到達(dá)到目標(biāo)狀態(tài)。在每次模擬開始時，對于每個非自車，我們首先對當(dāng)前機(jī)動進(jìn)行采樣，然后使用相關(guān)概率對車輛的目標(biāo)和軌跡進(jìn)行采樣。搜索樹中的每個節(jié)點(diǎn) q 對應(yīng)于一個狀態(tài) s ∈ S 并且宏動作通過它們應(yīng)用于 s 的適用性條件進(jìn)行過濾。

在使用一些探索技術(shù)選擇宏動作 μ 之后，根據(jù)宏動作 μ 生成的軌跡和非自車的采樣軌跡，對當(dāng)前搜索節(jié)點(diǎn)中的狀態(tài)進(jìn)行前向模擬，生成部分軌跡 s^τ:ι 和新的搜索節(jié)點(diǎn) q0 與狀態(tài) s^ι 。 ?

軌跡的前向模擬使用比例控制和自適應(yīng)巡航控制的組合來控制車輛的加速和轉(zhuǎn)向。根據(jù)對車輛的觀察，在每個時間步長中監(jiān)控車輛運(yùn)動的終止條件。對s^τ:ι 執(zhí)行碰撞檢查以檢查自車是否發(fā)生碰撞，在這種情況下，我們將獎勵設(shè)置為 r ← rcoll進(jìn)行反向傳播，其中 rcoll 是方法參數(shù)。如果新狀態(tài) s^ι 達(dá)到自車目標(biāo) Gε，我們計(jì)算反向傳播的獎勵為 r ← Rε (s^t:n)。如果搜索達(dá)到其最大深度 dmax 而沒有碰撞或?qū)崿F(xiàn)目標(biāo)，我們設(shè)置 r ← rterm，它可以是一個常數(shù)或基于類似于 A* 搜索的啟發(fā)式獎勵估計(jì)。 ?

? 總結(jié) ?

本文介紹了一種通過理性逆向規(guī)劃進(jìn)行目標(biāo)識別和多模態(tài)軌跡預(yù)測的方法。通過將目標(biāo)識別與MCTS 計(jì)劃相結(jié)合，為自車生成優(yōu)化計(jì)劃。在模擬城市駕駛場景中的評估顯示準(zhǔn)確的目標(biāo)識別、提高的駕駛效率以及解釋預(yù)測和自我計(jì)劃的能力。??




審核編輯：劉清