自動(dòng)駕駛是人工智能當(dāng)前最熱門(mén)的方向之一，也是未來(lái)將對(duì)人類(lèi)生活會(huì)產(chǎn)生重大影響的方向。機(jī)器學(xué)習(xí)在自動(dòng)駕駛中有舉足輕重的地位，從環(huán)境感知到策略控制，都有它的身影。在本文中，SIGAI以百度阿波羅平臺(tái)為例，介紹機(jī)器學(xué)習(xí)在自動(dòng)駕駛系統(tǒng)中的應(yīng)用，揭開(kāi)自動(dòng)駕駛算法的神秘面紗。

自動(dòng)駕駛簡(jiǎn)介

自動(dòng)駕駛的目標(biāo)是讓交通工具能夠自主行駛，典型的是飛行器和車(chē)輛，這是人類(lèi)長(zhǎng)期以來(lái)追求的目標(biāo)。飛機(jī)的自動(dòng)駕駛在多年前已經(jīng)實(shí)現(xiàn)，空中的障礙物、交通情況比地面簡(jiǎn)單很多，而且有雷達(dá)等手段精確定位。現(xiàn)階段的重點(diǎn)是車(chē)輛的自動(dòng)駕駛，目前，Google、百度、特斯拉等公司都投入大量資源在這個(gè)領(lǐng)域進(jìn)行研發(fā)，也取得了一些重要進(jìn)展。

目前的自動(dòng)駕駛系統(tǒng)由攝像機(jī)，激光雷達(dá)等傳感器，控制器，GPS定位系統(tǒng)，數(shù)字地圖，算法等多個(gè)部件構(gòu)成，在這里我們重點(diǎn)介紹算法部分，尤其是機(jī)器學(xué)習(xí)技術(shù)在其中的應(yīng)用情況。

無(wú)人駕駛為什么需要機(jī)器學(xué)習(xí)？

很多人可能不理解為什么自動(dòng)駕駛需要機(jī)器學(xué)習(xí)技術(shù)，讓我們首先來(lái)看人是怎么駕駛車(chē)輛的?，F(xiàn)在要開(kāi)車(chē)從清華大學(xué)東門(mén)去北京首都機(jī)場(chǎng)T3航站樓，你作為司機(jī)要完成這一次駕駛?cè)蝿?wù)。接下來(lái)你會(huì)怎么做？

首先，你要知道本次行駛的起始地和目的地。如果是老司機(jī)，你會(huì)知道按照什么樣的路線開(kāi)到機(jī)場(chǎng)去；如果不是，則需要借助導(dǎo)航軟件，它將為你計(jì)算出一條最優(yōu)的行駛路徑。下面是搜狗地圖為我們計(jì)算出來(lái)的路徑：

這里涉及到定位，路徑規(guī)劃的問(wèn)題。前者可以通過(guò)GPS或其他技術(shù)手段來(lái)實(shí)現(xiàn)，后者也有成熟的算法，如Dijkstra或者A*搜索算法，學(xué)過(guò)數(shù)據(jù)結(jié)構(gòu)和算法的同學(xué)對(duì)Dijkstra算法都不會(huì)陌生，它給出了計(jì)算圖的兩個(gè)節(jié)點(diǎn)之間最短距離的方案。目前，這一問(wèn)題已經(jīng)很好的解決了，而且計(jì)算機(jī)比人要強(qiáng)。

接下來(lái)，你就要啟動(dòng)汽車(chē)開(kāi)始行駛了。首先你要知道的是：路在什么地方？應(yīng)該上哪個(gè)車(chē)道？

這就是機(jī)器學(xué)習(xí)登場(chǎng)的時(shí)候了，它要解決路面和車(chē)道線檢測(cè)問(wèn)題。目前主流的自動(dòng)駕駛系統(tǒng)一般都采用了激光雷達(dá)+攝像機(jī)+其他傳感器相結(jié)合的方案。無(wú)論是激光雷達(dá)掃描得到的3D距離數(shù)據(jù)，還是攝像機(jī)成像的2D數(shù)據(jù)，我們都要對(duì)它們進(jìn)行分析，以準(zhǔn)確的確定路面的位置，車(chē)道線和每個(gè)車(chē)道的范圍。

在找到了道路和車(chē)道之后，我們就要開(kāi)始行駛了，你要控制油門(mén)，剎車(chē)，方向盤(pán)?，F(xiàn)在問(wèn)題又來(lái)了，怎么開(kāi)？

你得知道路上有沒(méi)有車(chē)，有沒(méi)有人，有多少車(chē)，有多少人，以及其他障礙物，它們?cè)诼访娴氖裁吹胤?。這又是機(jī)器學(xué)習(xí)和機(jī)器視覺(jué)要解決的問(wèn)題，同樣是檢測(cè)問(wèn)題。我們需要對(duì)激光雷達(dá)或者攝像機(jī)的圖像進(jìn)行分析，得到這些障礙物的準(zhǔn)確位置。

行駛過(guò)程中，你遇到的這些行人，車(chē)輛都是移動(dòng)的，因此你必須要對(duì)他們的運(yùn)動(dòng)趨勢(shì)做出預(yù)判。你前面的車(chē)輛、后面的車(chē)輛的行駛速度和軌跡都會(huì)影響你要采取的動(dòng)作。如果有人要過(guò)馬路，距離你還有30米，你是停下來(lái)等他過(guò)去，還是慢速行駛過(guò)去？

這是機(jī)器視覺(jué)中的目標(biāo)跟蹤問(wèn)題，我們要準(zhǔn)確的跟蹤出人，車(chē)輛，動(dòng)物等移動(dòng)目標(biāo)的運(yùn)動(dòng)軌跡，估計(jì)出他們的運(yùn)動(dòng)速度與方向，以便于做出決策。

行駛一會(huì)兒之后，你遇到了第一個(gè)十字路口，這里有紅綠燈，當(dāng)前是紅燈，因此你需要停下來(lái)等待，而不是硬闖過(guò)去，這又涉及到一個(gè)問(wèn)題，你怎么知道這些交通燈？

這依然是機(jī)器視覺(jué)要解決的問(wèn)題，即準(zhǔn)確的檢測(cè)出圖像中的交通燈，并知道它們當(dāng)前的狀態(tài)。除了紅綠燈之外，還有其他交通標(biāo)志需要我們識(shí)別，比如速度限制、是否允許調(diào)頭等。

還有一個(gè)問(wèn)題沒(méi)有解決，在知道這些環(huán)境參數(shù)之后，我們?cè)撛趺葱旭?？即根?jù)環(huán)境參數(shù)得到要執(zhí)行的動(dòng)作，在這里是車(chē)輛行駛的速度（速度是一個(gè)矢量，具有大小和方向）。最簡(jiǎn)單的做法是用規(guī)則來(lái)做決策，我們總結(jié)出人駕駛車(chē)輛的經(jīng)驗(yàn)，前面沒(méi)有車(chē)，后面沒(méi)有車(chē)的時(shí)候該怎么行駛；前面有2輛車(chē)，后面有3輛車(chē)的時(shí)候該怎么行駛.....。問(wèn)題是：各種情況實(shí)在是太多了，我們無(wú)法窮舉出所有的情況。

對(duì)于這個(gè)問(wèn)題的一個(gè)解決方案是深度強(qiáng)化學(xué)習(xí)，和AlphaGo類(lèi)似的一種技術(shù)，這也是一種機(jī)器學(xué)習(xí)算法。它的思路是根據(jù)環(huán)境的參數(shù)預(yù)測(cè)出要執(zhí)行的動(dòng)作，我們用一些數(shù)據(jù)進(jìn)行訓(xùn)練，得到這樣一個(gè)模型，也就是人開(kāi)車(chē)時(shí)的經(jīng)驗(yàn)，然后用它來(lái)做決策。但是這種方法有一個(gè)嚴(yán)重的問(wèn)題，神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果不具有可解釋性，有時(shí)候會(huì)出現(xiàn)莫名其妙的結(jié)果，這會(huì)嚴(yán)重影響安全性。關(guān)注過(guò)AlphaGo的同學(xué)都知道，在一次對(duì)戰(zhàn)中，它下出了一個(gè)完全無(wú)法理解的棋，對(duì)于自動(dòng)駕駛來(lái)說(shuō)，這可能是一個(gè)災(zāi)難。

在列出了自動(dòng)駕駛中所需要用機(jī)器學(xué)習(xí)解決的問(wèn)題之后，接下來(lái)我們將以百度阿波羅平臺(tái)為例，看看這些問(wèn)題是怎么解決的。

百度阿波羅平臺(tái)簡(jiǎn)介

阿波羅（Apollo）是百度的無(wú)人駕駛開(kāi)放平臺(tái)，和當(dāng)年的阿波羅登月計(jì)劃同名，對(duì)于這一計(jì)劃，時(shí)任美國(guó)總統(tǒng)約翰肯尼迪有一句經(jīng)典的名言：

我們選擇在這個(gè)10年登上月球并完成其他計(jì)劃，并不是因?yàn)樗菀淄瓿?，而是因?yàn)樗錆M(mǎn)挑戰(zhàn)，因?yàn)椋ǖ窃拢┻@一目標(biāo)可以整合并檢驗(yàn)我們最出色的能力和技能。

在2017年百度已經(jīng)宣布阿波羅開(kāi)源，目前有大量的廠商已經(jīng)接該平臺(tái)進(jìn)行合作。我們可以通過(guò)閱讀它的源代碼和文檔來(lái)了解其所采用的技術(shù)。

阿波羅的官網(wǎng)地址是：

http://apollo.auto/

源代碼，文檔與數(shù)據(jù)下載地址為：

https://github.com/apolloauto

在這里需要申明的是，SIGAI的作者與百度以及阿波羅平臺(tái)沒(méi)有任何商業(yè)和其他關(guān)系，我們純粹是站在技術(shù)和產(chǎn)品角度，以第三方的視角來(lái)分析他們的技術(shù)。

先看看阿波羅官方對(duì)目前狀態(tài)的整體介紹：

阿波羅2.5版本的目標(biāo)是用低成本的傳感器實(shí)現(xiàn)自動(dòng)駕駛。它能讓車(chē)輛保持在某一車(chē)道上，并與前面最近的車(chē)輛保持距離，這通過(guò)一個(gè)前視攝像頭，以及前視雷達(dá)來(lái)實(shí)現(xiàn)。對(duì)攝像頭圖像的分析采用了深度神經(jīng)網(wǎng)絡(luò)，隨著樣本數(shù)據(jù)的累積，神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)將越來(lái)越準(zhǔn)。官方說(shuō)明，目前不支持在高度彎曲，沒(méi)有車(chē)道線標(biāo)志的道路上行駛。

首先來(lái)看它軟件部分的整體結(jié)構(gòu)（下圖截取自阿波羅官網(wǎng)）：

在這里，我們重點(diǎn)關(guān)注的是感知模塊，其他模塊以后有機(jī)會(huì)的話會(huì)寫(xiě)文章分別介紹。

感知模塊

首先來(lái)看感知模塊，它為我們提供了類(lèi)似人類(lèi)眼睛所提供的視覺(jué)功能，即理解我們所處的駕駛環(huán)境。首先來(lái)看阿波羅官方對(duì)感知模塊的介紹（以下兩段話引用了他們的原文）：

“Apollo 2.0感知模塊包括障礙物檢測(cè)識(shí)別和紅綠燈檢測(cè)識(shí)別兩部分。障礙物檢測(cè)識(shí)別模塊通過(guò)輸入激光雷達(dá)點(diǎn)云數(shù)據(jù)和毫米波雷達(dá)數(shù)據(jù)，輸出基于兩種傳感器的障礙物融合結(jié)果，包括障礙物的位置、形狀、類(lèi)別、速度、朝向等信息。紅綠燈檢測(cè)識(shí)別模塊通過(guò)輸入兩種焦距下的相機(jī)圖像數(shù)據(jù)，輸出紅綠燈的位置、顏色狀態(tài)等信息。上述兩大感知功能，使無(wú)人車(chē)具備在簡(jiǎn)單城市道路自動(dòng)駕駛的能力，希望能夠?qū)o(wú)人駕駛社區(qū)有幫助。如果對(duì)算法細(xì)節(jié)有興趣，請(qǐng)查閱github上的技術(shù)文檔?！?/p>

“通過(guò)安裝在車(chē)身的各類(lèi)傳感器如激光雷達(dá)、攝像頭和毫米波雷達(dá)等獲取車(chē)輛周邊的環(huán)境數(shù)據(jù)。利用多傳感器融合技術(shù)，車(chē)端感知算法能夠?qū)崟r(shí)計(jì)算出環(huán)境中交通參與者的位置、類(lèi)別和速度朝向等信息。背后支持這套自動(dòng)駕駛感知系統(tǒng)的是多年積累的大數(shù)據(jù)和深度學(xué)習(xí)技術(shù)，海量的真實(shí)路測(cè)數(shù)據(jù)經(jīng)過(guò)專(zhuān)業(yè)人員的標(biāo)注變成機(jī)器能夠理解的學(xué)習(xí)樣本，大規(guī)模深度學(xué)習(xí)平臺(tái)和GPU集群將離線學(xué)習(xí)大量數(shù)據(jù)所耗費(fèi)的時(shí)間大幅縮短，訓(xùn)練好的最新模型通過(guò)在線更新的方式從云端更新到車(chē)載大腦。人工智能+數(shù)據(jù)驅(qū)動(dòng)的解決方案使百度無(wú)人車(chē)感知系統(tǒng)能夠持續(xù)不斷的提升檢測(cè)識(shí)別能力，為自動(dòng)駕駛的決策規(guī)劃控制模塊提供準(zhǔn)確、穩(wěn)定、可靠的輸入?！?/p>

從這里可以看到，他們采用了攝像機(jī)，激光雷達(dá)，毫米波雷達(dá)等多種傳感器，用深度學(xué)習(xí)技術(shù)對(duì)這些傳感器采集的數(shù)據(jù)進(jìn)行分析，以確定車(chē)輛當(dāng)前所處環(huán)境中的交通參與者，這里的參與者是指人，車(chē)等重要目標(biāo)。

整個(gè)感知模塊的結(jié)構(gòu)如下圖所（該圖來(lái)自阿波羅在github上的公開(kāi)文檔）：

從上圖可以看出，核心的算法包括：

車(chē)道檢測(cè)

目標(biāo)檢測(cè)

車(chē)道線檢測(cè)

目標(biāo)跟蹤

軌跡管理

相機(jī)標(biāo)定

預(yù)測(cè)算法

規(guī)劃算法

在這里我們重點(diǎn)介紹前面4個(gè)算法。

道路和車(chē)道線識(shí)別

車(chē)道線屬于靜態(tài)目標(biāo)，不會(huì)移動(dòng)。準(zhǔn)確的確定車(chē)道線，不僅對(duì)車(chē)輛的縱向控制有用，還對(duì)橫向控制有用。車(chē)道線由一系列的線段集合來(lái)表示。首先，用卷積神經(jīng)網(wǎng)絡(luò)對(duì)攝像機(jī)采集的圖像進(jìn)行處理，預(yù)測(cè)出車(chē)道線的概率圖，即每一點(diǎn)處是車(chē)道線的概率。然后，對(duì)這種圖進(jìn)行二值化，得到分割后的二值圖像。接下來(lái)計(jì)算二值圖像的聯(lián)通分量，檢測(cè)出所有的內(nèi)輪廓，然后根據(jù)輪廓邊緣點(diǎn)得到車(chē)道的標(biāo)志點(diǎn)。從他們的描述文檔看，核心的一步是用卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)出圖像每一點(diǎn)是車(chē)道線的概率。

障礙物檢測(cè)識(shí)別

下面來(lái)看官方對(duì)障礙物 檢測(cè)模塊的描述：

“障礙物模塊包括基于激光雷達(dá)點(diǎn)云數(shù)據(jù)的障礙物檢測(cè)識(shí)別、基于毫米波雷達(dá)數(shù)據(jù)的障礙物檢測(cè)識(shí)別以及基于兩種傳感器的障礙物結(jié)果融合?；诩す饫走_(dá)點(diǎn)云數(shù)據(jù)的障礙物檢測(cè)識(shí)別，通過(guò)線下訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型，學(xué)習(xí)點(diǎn)云特征并預(yù)測(cè)障礙物的相關(guān)屬性（比如前景物體概率、相對(duì)于物體中心的偏移量、物體高度等），并根據(jù)這些屬性進(jìn)行障礙物分割?；诤撩撞ɡ走_(dá)數(shù)據(jù)的障礙物檢測(cè)識(shí)別，主要用來(lái)對(duì)毫米波雷達(dá)原始數(shù)據(jù)進(jìn)行處理而得到障礙物結(jié)果。該算法主要進(jìn)行了ID擴(kuò)展、噪點(diǎn)去除、檢測(cè)結(jié)果構(gòu)建以及ROI過(guò)濾。多傳感器障礙物結(jié)果融合算法，用于將上述兩種傳感器的障礙物結(jié)果進(jìn)行有效融合。該算法主要進(jìn)行了單傳感器結(jié)果和融合結(jié)果的管理、匹配以及基于卡爾曼濾波的障礙物速度融合。具體算法請(qǐng)參閱github技術(shù)文檔?！?/p>

從這里可以看出，對(duì)障礙物的檢測(cè)與車(chē)道線檢測(cè)不同，這里采用的是基于激光雷達(dá)和毫米波雷達(dá)的數(shù)據(jù)。這是出于安全的考慮，如果采用攝像機(jī)，在惡劣天氣如雨雪，以及極端光照條件下，圖像將無(wú)法有效的分析，另外，激光雷達(dá)和毫米波雷達(dá)給出了物體準(zhǔn)確的距離數(shù)據(jù)，這對(duì)安全的行駛至關(guān)重要，而單純靠圖像數(shù)據(jù)分析則很難做到。

接下來(lái)我們看他們對(duì)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)方案的描述：

“Deep network ingests an image and provides two detection outputs, lane lines and objects for Apollo 2.5. There is an ongoing debate on individual task and co-trained task for deep learning. Individual networks such as a lane detection network or an object detection network usually perform better than one co-trained multi-task network. However, with given limited resources, multiple individual networks will be costly and consume more time in processing. Therefore, for the economic design, co-train is inevitable with some compromise in performance. In Apollo 2.5, YOLO [1][2] was used as a base network of object and lane detection. The object has vehicle, truck, cyclist, and pedestrian categories and represented by a 2-D bounding box with orientation information. The lane lines are detected by segmentation using the same network with some modification.”

這里他們考慮了兩種方案：車(chē)道線檢測(cè)和障礙物檢測(cè)使用同一個(gè)神經(jīng)網(wǎng)絡(luò)，以及各自使用一個(gè)神經(jīng)網(wǎng)絡(luò)。后者的準(zhǔn)確率更高，但更耗費(fèi)計(jì)算資源，而且處理時(shí)間可能會(huì)更長(zhǎng)。最后選用的是第一種方案。具體的，采用了YOLO[1][2]作為基礎(chǔ)網(wǎng)絡(luò)來(lái)進(jìn)行目標(biāo)和車(chē)道檢測(cè)。目前區(qū)分的目標(biāo)有汽車(chē)，自行車(chē)，行人。這些目標(biāo)都用一個(gè)2D的矩形框表示，并且?guī)в谐蛐畔ⅰ＼?chē)道線用同一個(gè)網(wǎng)絡(luò)的輸出得到，使用了圖像分割技術(shù)。在之前的SIGAI公眾號(hào)文章“基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法綜述”中已經(jīng)簡(jiǎn)單介紹了YOLO和其他主要的算法，感興趣的讀者可以閱讀，如有需要。實(shí)現(xiàn)時(shí)，使用了Caffe。

阿波羅將目標(biāo)分為兩種類(lèi)型，靜態(tài)的和動(dòng)態(tài)的，下面來(lái)看他們的描述：

“In a traffic scene, there are two kinds of objects: stationary objects and dynamic objects. Stationary objects include lane lines, traffic lights, and thousands of traffic signs written in different languages. Other than driving, there are multiple landmarks on the road mostly for visual localization including streetlamp, barrier, bridge on top of the road, or any skyline. For stationary object, we will detect only lane lines in Apollo 2.5.”

靜態(tài)的目標(biāo)包括車(chē)道線，交通燈，其他各種寫(xiě)有文字的交通標(biāo)志。除此之外，路上還有一些標(biāo)志可用于視覺(jué)定位，包括路燈，柵欄，天橋，地平線等。

下面來(lái)看對(duì)動(dòng)態(tài)目標(biāo)的描述：

“Among dynamic objects, we care passenger vehicles, trucks, cyclists, pedestrians, or any other object including animal or body parts on the road. We can also categorize object based on which lane the object is in. The most important object is CIPV (closest object in our path). Next important objects would be the one in neighbor lanes.”

動(dòng)態(tài)目標(biāo)目前關(guān)注的是車(chē)輛，自行車(chē)，行人，動(dòng)物等。在這些目標(biāo)中，最重要的是道路上離我們最近的物體，其次是相鄰車(chē)道上的物體。

“Given a 2D box, with its 3D size and orientation in camera, this module searches the 3D position in a camera coordinate system and estimates an accurate 3D distance using either the width, the height, or the 2D area of that 2D box. The module works without accurate extrinsic camera parameters.”

目標(biāo)跟蹤

在檢測(cè)出各個(gè)運(yùn)動(dòng)目標(biāo)之后，接下來(lái)需要準(zhǔn)確的跟蹤這些目標(biāo)，得到他們的運(yùn)動(dòng)參數(shù)和軌跡。目標(biāo)跟蹤是一個(gè)狀態(tài)估計(jì)問(wèn)題，這里的狀態(tài)就是目標(biāo)的位置，速度，加速度等參數(shù)。跟蹤算法可以分為單目標(biāo)跟蹤和多目標(biāo)跟蹤兩類(lèi)，前者只跟蹤單個(gè)目標(biāo)，后者可以同時(shí)跟蹤多個(gè)目標(biāo)。

跟蹤算法的數(shù)據(jù)來(lái)源是目標(biāo)檢測(cè)的輸出結(jié)果，即在每一個(gè)時(shí)刻先檢測(cè)出路上的移動(dòng)目標(biāo)，得到他們的位置，大小等信息，然后對(duì)不同時(shí)刻的這些數(shù)據(jù)進(jìn)行分析，得到目標(biāo)的狀態(tài)和運(yùn)動(dòng)軌跡。

單目標(biāo)跟蹤算法的核心是估計(jì)出單個(gè)目標(biāo)的位置，速度，加速度等狀態(tài)信息，典型的算法有卡爾曼濾波，粒子濾波等。

和單個(gè)目標(biāo)跟蹤不同，多目標(biāo)跟蹤需要解決數(shù)據(jù)關(guān)聯(lián)問(wèn)題，即上一幀的每個(gè)目標(biāo)和下一幀的哪個(gè)目標(biāo)對(duì)應(yīng)，還要解決新目標(biāo)出現(xiàn)，老目標(biāo)消失問(wèn)題。多目標(biāo)的跟蹤的一般流程為每一時(shí)刻進(jìn)行目標(biāo)檢測(cè)，然后進(jìn)行數(shù)據(jù)關(guān)聯(lián)，為已有目標(biāo)找到當(dāng)前時(shí)刻的新位置，在這里，目標(biāo)可能會(huì)消失，也可能會(huì)有新目標(biāo)出現(xiàn)，另外目標(biāo)檢測(cè)結(jié)果可能會(huì)存在虛警和漏檢測(cè)。聯(lián)合概率濾波，多假設(shè)跟蹤，線性規(guī)劃，全局?jǐn)?shù)據(jù)關(guān)聯(lián)，MCMC馬爾可夫鏈蒙特卡洛算法先后被用于解決數(shù)據(jù)關(guān)聯(lián)問(wèn)題來(lái)完成多個(gè)目標(biāo)的跟蹤。

首先我們定義多目標(biāo)跟蹤的中的基本概念，目標(biāo)是我們跟蹤的對(duì)象，每個(gè)目標(biāo)有自己的狀態(tài)，如大小、位置、速度。觀測(cè)是指目標(biāo)檢測(cè)算法在當(dāng)前幀檢測(cè)出的目標(biāo)，同樣的，它也有大小、位置、速度等狀態(tài)值。在這里，我們要建立目標(biāo)與觀測(cè)之間的對(duì)應(yīng)關(guān)系。下面是一個(gè)數(shù)據(jù)關(guān)聯(lián)示意圖：

在上圖中，第一列圓形為跟蹤的目標(biāo)，即之前已經(jīng)存在的目標(biāo)；第二列圓為觀測(cè)值，即當(dāng)前幀檢測(cè)出來(lái)的目標(biāo)。在這里，第1個(gè)目標(biāo)與第2個(gè)觀察值匹配，第3個(gè)目標(biāo)與第1個(gè)觀測(cè)值匹配，第4個(gè)目標(biāo)與第3個(gè)觀測(cè)值匹配。第2個(gè)和第5個(gè)目標(biāo)沒(méi)有觀測(cè)值與之匹配，這意味著它們?cè)诋?dāng)前幀可能消失了，或者是當(dāng)前幀沒(méi)漏檢，沒(méi)有檢測(cè)到這兩個(gè)目標(biāo)。類(lèi)似的，第4個(gè)觀測(cè)值沒(méi)有目標(biāo)與之匹配，這意味著它是新目標(biāo)，或者虛警。

下面我們看對(duì)阿波羅官方對(duì)跟蹤的描述：

“The object tracking module utilizes multiple cues such as 3D position, 2D image patches, 2D boxes, or deep learning ROI features. The tracking problem is formulated ase multiple hypothesis data association by combining the cues efficiently to provide the most correct association between tracks and detected object, thus obtaining correct ID association for each object.”

這里采用了多種線索來(lái)跟住目標(biāo)，包括3D坐標(biāo)，2D圖像塊，2D包圍盒，以及通過(guò)深度學(xué)習(xí)得到的ROI特征。對(duì)于多目標(biāo)跟蹤，這里采用了多假設(shè)跟蹤算法[3]，這種算法最早用于雷達(dá)數(shù)據(jù)的跟蹤，如果對(duì)它感興趣，可以閱讀參考文獻(xiàn)。

紅綠燈檢測(cè)識(shí)別

下面來(lái)看對(duì)紅綠燈檢測(cè)算法的描述：

“紅綠燈模塊根據(jù)自身的位置查找地圖，可以獲得前方紅綠燈的坐標(biāo)位置。通過(guò)標(biāo)定參數(shù)，可以將紅綠燈從世界坐標(biāo)系投影到圖像坐標(biāo)系，從而完成相機(jī)的自適應(yīng)選擇切換。選定相機(jī)后，在投影區(qū)域外選取一個(gè)較大的感興趣區(qū)域，在其中運(yùn)行紅綠燈檢測(cè)來(lái)獲得精確的紅綠燈框位置，并根據(jù)此紅綠燈框的位置進(jìn)行紅綠燈的顏色識(shí)別，得到紅綠燈當(dāng)前的狀態(tài)。得到單幀的紅綠燈狀態(tài)后，通過(guò)時(shí)序的濾波矯正算法進(jìn)一步確認(rèn)紅綠燈的最終狀態(tài)。我們提出的基于CNN的紅綠燈的檢測(cè)和識(shí)別算法具有極高的召回率和準(zhǔn)確率，可以支持白天和夜晚的紅綠燈檢測(cè)識(shí)別。具體算法請(qǐng)參閱github技術(shù)文檔?！?/p>

模型數(shù)據(jù)

下圖是感知模塊中的一些模型和參數(shù)：

cnn_segmentation目錄下是用于車(chē)道線分割的模型。traffic_light目錄下有交通燈檢測(cè)模型。yolo_camera_detector目錄下有YOLO檢測(cè)器的配置文件。感興趣的讀者可以進(jìn)一步閱讀。

參考文獻(xiàn)

[1] J Redmon, S Divvala, R Girshick, A Farhadi, "You only look once: Unified, real-time object detection," CVPR 2016.

[2] J Redmon, A Farhadi, "YOLO9000: Better, Faster, Stronger," arXiv preprint.

[3] Donald B Reid. An algorithm for tracking multiple targets. 1979, IEEE Transactions on Automatic Control.