研究人員將使用udacity提供的模擬器，模擬車前部配有3個(gè)攝像頭，可記錄視頻以及與中央攝像頭對(duì)應(yīng)的轉(zhuǎn)向角。

行為克隆的本質(zhì)是克隆了驅(qū)動(dòng)程序的行為。本文的實(shí)驗(yàn)思路是根據(jù)駕駛員駕駛的訓(xùn)練數(shù)據(jù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)（CNN）以模擬駕駛員。

NVIDIA曾發(fā)布了一篇題為End to End Learning for Self-DrivingCars 的文章，他們訓(xùn)練CNN將原始像素從單個(gè)前置攝像頭直接映射到轉(zhuǎn)向命令。實(shí)驗(yàn)結(jié)果令人非常震驚，汽車學(xué)會(huì)了在有或沒(méi)有車道標(biāo)記的地方道路上或者在具有最少量訓(xùn)練數(shù)據(jù)的高速公路上行駛。本次實(shí)驗(yàn)，研究人員將使用udacity提供的模擬器，模擬車前部配有3個(gè)攝像頭，可記錄視頻以及與中央攝像頭對(duì)應(yīng)的轉(zhuǎn)向角。

收集數(shù)據(jù)

模擬器有2個(gè)通道：第一個(gè)通道非常容易，曲線較小且很少，第二個(gè)通道很難，有許多曲線和陡峭的山坡。

研究人員將使用來(lái)自兩個(gè)軌道的訓(xùn)練數(shù)據(jù)：

1.研究人員將駕駛兩條車道，將車保持在車道的中心位置。研究人員每人開車2圈。

2.研究人員將在兩條車道上各開一圈，并試圖漂移到兩側(cè)，或試圖轉(zhuǎn)向車道的中心。這將為研究人員提供模型校正的訓(xùn)練數(shù)據(jù)。

圖分別為左、中、右視角

捕獲的數(shù)據(jù)包含左圖像，中心圖像和右圖像的路徑，轉(zhuǎn)向角度，油門，中斷和速度值。

注意：研究人員將使用所有左，中，右圖像。研究人員將通過(guò)一些調(diào)整來(lái)矯正left_image的轉(zhuǎn)向角度。同樣，研究人員將通過(guò)一些調(diào)整來(lái)矯正right_image的轉(zhuǎn)向角度。

數(shù)據(jù)不平衡

圖轉(zhuǎn)向角直方圖

上面的直方圖顯示了訓(xùn)練數(shù)據(jù)的不平衡。左轉(zhuǎn)彎的數(shù)據(jù)多于右轉(zhuǎn)彎的數(shù)據(jù)。研究人員將通過(guò)隨機(jī)翻轉(zhuǎn)訓(xùn)練圖像并將轉(zhuǎn)向角度調(diào)整為steering_angle來(lái)補(bǔ)償這一點(diǎn)。

此外，大多數(shù)轉(zhuǎn)向角集中在0-0.25左右，研究人員沒(méi)有太多的數(shù)據(jù)來(lái)獲得更大的轉(zhuǎn)向角。研究人員將通過(guò)一些像素水平和垂直地隨機(jī)移動(dòng)圖像并相應(yīng)地調(diào)整轉(zhuǎn)向角來(lái)補(bǔ)償這一點(diǎn)。

數(shù)據(jù)擴(kuò)充

研究人員使用以下增補(bǔ)：

1.隨機(jī)翻轉(zhuǎn)一些圖像并將轉(zhuǎn)向角度調(diào)整為steering_angle

2.通過(guò)一些像素水平和垂直地隨機(jī)移動(dòng)圖像，并使用小的調(diào)整因子調(diào)整轉(zhuǎn)向角度。

3.路上有樹木，柱子等陰影。因此，研究人員將為訓(xùn)練圖像添加一些陰影。4.研究人員會(huì)隨機(jī)調(diào)整圖像的亮度。

以上這些是標(biāo)準(zhǔn)的OpenCV調(diào)整，代碼可以在GitHub存儲(chǔ)庫(kù)中找到。（詳見文末鏈接）

應(yīng)用增強(qiáng)后，下面是一些訓(xùn)練圖像的輸出。

前處理

本文期望圖像的輸入尺寸為66 * 200 * 3，而來(lái)自訓(xùn)練的圖像尺寸為160 * 320 * 3。此外，紙張期望將輸入圖像從RGB轉(zhuǎn)換為YUV顏色空間。因此，研究人員將從輸入圖像裁剪上部40像素行和下部20像素行。此外，作為預(yù)處理的一部分，研究人員將裁剪的圖像大小調(diào)整為66 * 200 * 3大小并將其轉(zhuǎn)換為YUV色彩空間。

模型

這是本文中描述的PilotNet模型：

該模型具有以下層：

①標(biāo)準(zhǔn)化層（硬編碼）除以127.5并減去1。

②3個(gè)卷積層，24個(gè)，36個(gè)，48個(gè)過(guò)濾器，5 * 5內(nèi)核和2個(gè)步幅。

③2個(gè)卷積層，64個(gè)濾波器，3 * 3內(nèi)核和步幅1。

④展平層

⑤3個(gè)完全連接的層，輸出尺寸為100,50,10

⑥和輸出轉(zhuǎn)向角的最終輸出層。

研究人員將使用Mean Squared Error（MSE）作為損失函數(shù)和優(yōu)化器，并進(jìn)行EarlyStopping回調(diào)。研究人員試圖訓(xùn)練它40個(gè)epoch，它在36個(gè)epoch停止。

訓(xùn)練60個(gè)epoch的模型，結(jié)果如下：

突出的特點(diǎn)：

1. 在每個(gè)圖層中，對(duì)要素圖的激活進(jìn)行平均。

2.最平均的地圖按比例放大到下面圖層的地圖大小。使用反卷積完成放大。

3.然后將來(lái)自較高級(jí)別的放大的地圖與來(lái)自下層的平均地圖相乘。

4.重復(fù)步驟2和3直到達(dá)到輸入。

5.具有輸入圖像大小的最后一個(gè)掩模被標(biāo)準(zhǔn)化為0.0到1.0的范圍。

以下是可視化圖，顯示輸入圖像的哪些區(qū)域?qū)W(wǎng)絡(luò)的輸出貢獻(xiàn)最大。

在應(yīng)用上述方法之后，下面是顯著的特征結(jié)果：

圖突出的車道標(biāo)記

結(jié)論

PilotNet是一個(gè)非常強(qiáng)大的網(wǎng)絡(luò)，從駕駛員學(xué)習(xí)輸出正確的轉(zhuǎn)向角度。對(duì)顯著物體的檢查表明，PilotNet學(xué)習(xí)了對(duì)人類“有意義”的特征，同時(shí)忽略了與駕駛無(wú)關(guān)的攝像機(jī)圖像中的結(jié)構(gòu)。此功能源自數(shù)據(jù)，無(wú)需手工標(biāo)記。