隨著自動駕駛技術(shù)的加速發(fā)展與應(yīng)用落地，如何檢驗和驗證自動駕駛車輛及系統(tǒng)的可靠性變得至關(guān)重要。自動駕駛系統(tǒng)存在的風(fēng)險可以通過該系統(tǒng)發(fā)生事故即失效的概率衡量，因此，驗證自動駕駛系統(tǒng)失效的概率是否低至可以接受水平是自動駕駛驗證的一個重要目標(biāo)。為了驗證或估計這個極低的概率，需要高昂的時間及安全成本完成實車路測——根據(jù)相關(guān)分析，為了得到失效概率的一個可靠置信區(qū)間（95%置信度，相對誤差20%）需要超過五千萬英里的道路測試。故高成本效益的仿真模擬測試成為驗證自動駕駛系統(tǒng)可靠性的重要手段。

本文簡要闡述和分析蒙特卡羅方法面對小概率事件時的困難，如何通過可靠性分析算法估計自動駕駛系統(tǒng)在邏輯場景中的失效概率，并將基于場景的測試結(jié)果轉(zhuǎn)化為整體失效概率。

01. 可靠性的定義

可靠性定義為被測試車輛或系統(tǒng)在某場景中不會失效的概率，即??。此處的失效是指被測試自動駕駛車輛及算法在一個具體場景中某項評價指標(biāo)（kpi）小于閾值，即??，其中??為該具體場景的參數(shù)值向量，??和??分別是評價指標(biāo)函數(shù)向量和對應(yīng)的閾值向量。為了便于說明，本文選取單kpi，多kpi的失效域可視為多個單kpi失效域的并集。

在此假設(shè)下，被測試自動駕駛車輛及算法在任意邏輯場景中失效的概率可定義為：

其中??是該邏輯場景中參數(shù)，??為這些參數(shù)的分布函數(shù)。

若邏輯場景??在??公里的平均出現(xiàn)頻率為??，則根據(jù)貝葉斯定理此被測試車輛或算法在??公里上的平均失效率為：

而車輛在??公里（或時間）上出現(xiàn)失效的次數(shù)一般被認(rèn)為服從泊松分布，則?

通過仿真模擬，估計被測試車輛或算法在各邏輯場景中的失效概率??，則該車輛平均在??公里上發(fā)生失效的概率可以估計為： ??。

故如何構(gòu)建估計量??，正確穩(wěn)定地估計被測試車輛或算法在各邏輯場景，即參數(shù)空間中的失效概率成為一個核心問題。

02. 估計量的好壞

在成本相同即采樣數(shù)量相同的情況下，一個估計量??對真值??估計的好壞主要考慮準(zhǔn)確性（accuracy）和精確性（precision）兩個方面。

準(zhǔn)確性衡量估計量是否能正確估計出被估計的真值，而精確性衡量估計量的散布范圍。例如下圖中，準(zhǔn)確性描述彈孔是否以把心為中心，精確性描述單孔的散布范圍，故①為精確而不準(zhǔn)確，②為既不精確亦不準(zhǔn)確，③為準(zhǔn)確但不精確，④為即準(zhǔn)確又精確。

圖1 準(zhǔn)確性與精確性

衡量準(zhǔn)確性的指標(biāo)主要有偏差??及相對偏差??；衡量精確性的指標(biāo)主要為標(biāo)準(zhǔn)差??及相對誤差（變差系數(shù)）??。 ? 當(dāng)??時我們稱??為??的無偏估計；若??隨著樣本數(shù)量的增加趨近于0，則??為??的漸進無偏估計。僅當(dāng)??的偏差較小時，討論其精確性才有實際意義。

03. 樸素蒙特卡洛方法

對失效概率最簡單的估計方式即樸素蒙特卡洛方法（CMC）。在測試空間中隨機生成??個獨立同分布的樣本（場景），即??,…,??，其上車輛的表現(xiàn)函數(shù)為??。

即??為真值的無偏估計，同時其估計精準(zhǔn)性不受測試空間維度影響，有著非常好的魯棒性。當(dāng)??趨近無窮時??依概率/分布收斂到的??的真值，其收斂性可由中心極限定理保證，即： ??。 ??的相對誤差/變差系數(shù)為： ??。 通過上面的分析，我們無需擔(dān)心??的準(zhǔn)確性（其為無偏估計量）。其精確性即??由樣本數(shù)??控制，并依的速度收斂。

04. 蒙特卡洛的困難

雖然傳統(tǒng)蒙特卡洛方法有種種優(yōu)勢，但是當(dāng)失效是小概率事件，正如現(xiàn)實情況中自動駕駛車輛及系統(tǒng)失效概率很低時，上述估計??的方法會陷入困難。

例如當(dāng)自動駕駛系統(tǒng)或車輛在某測試空間中的失效概率為??，為了得到較好的精確性，例如要求相對誤差??，則需要測試的具體場景個數(shù)約為??，太多了！

因此，無法通過樸素蒙特卡羅的方法泛化并驗證一個成熟的自動駕駛車輛或算法！雖然通過拉丁超立方或擬蒙特卡洛采樣可以一定程度的節(jié)約成本，但即使??個測試場景依然是無法接受的。

05. 可靠性分析算法

根據(jù)上面的表達式可以看出，蒙特卡洛的困難的原因主要在于當(dāng)失效概率很小時??的分母??過小。考慮??表示在??個隨機場景中失效場景的平均個數(shù)，故一個自然的思路即通過增加采樣中的失效場景個數(shù)來克服上面的困難，即應(yīng)用一個更容易采集到失效場景的提議分布函數(shù)??來代替原始分布函數(shù)??進行采用，再通過下面的等式估計失效概率

其中??和??分別表示該邏輯場景中參數(shù)的原始分布及提議分布對應(yīng)的密度函數(shù)。

賽目在測試空間分析工具中提供了基于此思想的自適應(yīng)重要性采樣、自適應(yīng)splitting方法以及方向采樣等可靠性分析算法，自動在測試空間中尋找失效臨界，實現(xiàn)以可以接受的成本精確估計失效概率??。

圖2?可靠性分析操作界面

為了說明可靠性分析算法的效率，下面的例子中我們選取了了一個顯式的評價函數(shù)。

測試空間：??獨立且服從標(biāo)準(zhǔn)正態(tài)分布；

評價函數(shù)：??；

閾值：T分別取2、3、4、5。

下表列出對比了我們提供的自適應(yīng)重要性采樣與樸素蒙特卡羅方法在效率上的差異。

通過此例中的數(shù)據(jù)可以清晰看出，適合的可靠性分析算法可以準(zhǔn)確估計失敗概率（使用的自適應(yīng)重要性采樣實際為無偏估計），同時可以極大提升估計失效概率的效率，尤其時當(dāng)失效概率較小時。例如次例中失敗概率在??至??數(shù)量級時，同等精度下蒙特卡羅方法需要的仿真次數(shù)為十萬至千萬級，而實驗中使用的可靠性分析算法只需要數(shù)千次仿真。并行仿真下，高效的可靠性分析算法可以大幅縮減時間成本，完成對自動駕駛車輛在多個邏輯場景中失效概率的準(zhǔn)確估計。

編輯：黃飛

?