功能控制邏輯 ?

與記憶泊車類似，記憶行車這一功能主要實現(xiàn)簡單的面向服務(wù)的應(yīng)用服務(wù)。實現(xiàn)的典型應(yīng)用場景包括：上下班路線，接送兒童，商超采購等。即，駕駛員通過在系統(tǒng)上設(shè)置想要到達的目的地，激活記憶行車功能后，智駕車輛可以參照之前記憶的行車路線自主駕駛到目的地。期間，系統(tǒng)需要記憶用戶示教路線，實現(xiàn)從 A 到 B 點的全場景領(lǐng)航輔助駕駛，包含自動通過路口、掉頭、變道等。?

?

實現(xiàn)記憶行車功能的步驟主要分為兩步：

1）首先，駕駛員在手動駕駛下，將車輛從起始點A開到終點B。期間，記憶行車系統(tǒng)需要在后臺完成如下工作：

后臺通過即時定位建圖構(gòu)建駕駛員開車行駛過的路段對應(yīng)的實時局部地圖；

后臺需要結(jié)合構(gòu)建的地圖在其行駛期間同步實現(xiàn)對環(huán)境信息（主要指路標(biāo)）的實時記錄；

后臺通過類似影子模式一樣的功能記錄駕駛員的整個駕駛習(xí)慣；

后臺需要結(jié)合對應(yīng)構(gòu)建的地圖、環(huán)境信息、車輛行駛控制狀態(tài)、駕駛習(xí)慣控制狀態(tài)信息進行實時記錄；

2）其次，在激活記憶行車功能后，系統(tǒng)需要實現(xiàn)包含如下子功能：

后臺需要通過識別的道路環(huán)境信息以及車身姿態(tài)，確認車輛當(dāng)前位置是否是在之前定義的記憶行車路線上；

如果路線重定位成功，則控制車輛沿著既定的路線向前行駛至目的地。期間，整個車輛的智駕功能調(diào)用控制可以完全參照之前存儲的駕駛數(shù)據(jù)進行控制；

如果重定位不成功，則提示不可激活記憶行車，并在駕駛員控制車輛手動駕駛至目的地時，將當(dāng)前路段信息重新構(gòu)建到新的地圖中，新構(gòu)建的地圖可以認為是之前即時建圖的補充。后續(xù)做記憶行車控制前可以將兩條路徑均納入備選路徑中。

一個比較尖銳的問題就是記憶行車和傳統(tǒng)的城市自動駕駛在對整車場景的控制上會有哪些相同和不同點呢？ ?

?

實際上，記憶行車可以看成一種狹義上的城市自動駕駛NOA。他們應(yīng)用的傳感器單元是完全一致的，唯一的差別的就是對地圖的利用上。對于城市自動駕駛NOA來說，通常是會考慮直接導(dǎo)入高精地圖做精確定位，并融合導(dǎo)航信息尋找車輛的下一步的行駛路徑，而這里的記憶行車則需要區(qū)分為用戶陪駕和系統(tǒng)試校準(zhǔn)兩步。

①用戶陪駕/手動建圖

用戶陪駕階段又稱為手動建圖階段。其過程是駕駛手動駕駛車輛過程中系統(tǒng)通過后臺偷偷調(diào)用在線感知模塊端口進行即時定位建圖，使得臨時的建圖可以更好的替代城區(qū)/高速路所構(gòu)建的地圖，這個過程類似于在城市自動駕駛中的眾包建圖。這里需要注意的是，考慮到國家對數(shù)據(jù)安全、信息安全以及地圖資質(zhì)的問題，我們通過記憶建圖的地圖一般就是單車類型，該圖是不能通過網(wǎng)絡(luò)上傳至云端的。當(dāng)然，如果是針對由同一家tier1開發(fā)的同類車型可考慮通過軟件升級方式將地圖包在該車型內(nèi)部進行資源共享。

②智能建圖

對于記憶行車功能而言，還會充分考慮在智能駕駛系統(tǒng)功能激活的過程中，利用后臺記錄的方式進行智能建圖。這種智能建圖過程一般還需要融合傳統(tǒng)高精定位地圖傳遞的一部分先驗知識數(shù)據(jù)，對當(dāng)前即時建圖進行有效補充。比如，當(dāng)車輛行駛在某段位置路段上，對于記憶行車來說，考慮到算力、識別能力、存儲能力等，只會考慮固定的橫向距離（一般為10m范圍內(nèi)）對自車道及旁車道的三條車道進行建模。而高精地圖則可以考慮更寬范圍的建圖（甚至達到5-6條車道）。這樣就可考慮在記憶地圖與高精地圖匹配上后，將高精地圖的數(shù)據(jù)補充到記憶地圖中間，擴展記憶地圖的識別范圍和建圖能力。

當(dāng)然，如智能建圖所描述的功能來說，要求同時進行兩層次的計算。就有可能造成對資源的巨大消耗。這點上就對智駕域控的計算資源提出更大的需求。

③智能推薦

智能推薦是記憶行車功能相對于傳統(tǒng)智駕系統(tǒng)功能較大的區(qū)別點。一般情況下，傳統(tǒng)的ADAS系統(tǒng)功能的激活通常是由駕駛員主動發(fā)起，系統(tǒng)處于被動激活。當(dāng)然也有一些主機廠傾向于將整個功能做成可推薦式激活的方式。而記憶行車功能最大的特色就是“重定位+智能推薦”。即進入之前已經(jīng)完成建圖的某條路徑上時，會對自車姿態(tài)和位置做定位匹配，再根據(jù)一定的HMI交互規(guī)則對進行智能推薦是否打開記憶行車功能。

這里需要注意的是，如果從A點到達B點過程中，駕駛員有可能在兩段不同的時間內(nèi)選擇不同的駕駛路徑行駛至終點。對于記憶建圖來說，可能會存在存兩段圖的情況。記憶行車感知智駕系統(tǒng)步驟分解

對于智駕域最重要的感知源處理而言（無論是視覺點云、激光點云還是毫米波點云），總體可以分為四個層面的處理過程：場景重建、要素識別、關(guān)鍵目標(biāo)重組和自車重新定位。

?

“場景重建”意味著從視頻序列推斷場景中的幾何體，包括車輛在場景中的位置。“要素識別”是一個術(shù)語，用于將語義標(biāo)簽附加到視頻圖像或場景的各個識別對象中，識別中包括各種不同的層次結(jié)構(gòu)?！白攒囍匦露ㄎ弧笔侵杠囕v相對于其周圍環(huán)境的位置識別和度量定位?！瓣P(guān)鍵目標(biāo)重組”是將重定位、識別、重建形成的三個組成部分信息重新整合成統(tǒng)一表示的方法。

對于如上幾種感知如何應(yīng)用到實際的感知場景的分析過程可以通過如下例子對過程進行詳細分析。

這里我們可以針對智能行車功能中的新的一項功能——“記憶行泊車”進行說明。記憶行泊車這類功能需要在自動駕駛的視覺環(huán)境中，通過駕駛員手動駕駛階段在后臺提前繪制車輛周圍環(huán)境的地圖，同時在用戶地圖中估計車輛的當(dāng)前姿態(tài)。對于建圖和重定位的關(guān)鍵任務(wù)之一是根據(jù)之前記錄的車輛行駛路徑重定位來重新定位行駛軌跡的方法。

?

1）自車建圖重定位

首先，在場景訓(xùn)練階段需要將自車行駛通過訓(xùn)練的“封閉路段”（這里的封閉是個廣義的概念），針對從基礎(chǔ)設(shè)施傳輸?shù)牡貓DHDMap作為底圖進行智慧建圖。當(dāng)然，從車端的角度，也是需要結(jié)合一圈攝像頭進行場景BEV建圖。這里需要說明的是，從優(yōu)先級上講，我們一般會考慮在HDMap能夠保證一定的精度進行正常發(fā)送時，一般以HDMap作為底圖輸入給車端。而BEV則作為HDMap失效后的兜底，為自車提供后備車輛定位地圖。

下圖顯示了一個經(jīng)典的基于特征的重定位pipelines。

2）環(huán)境目標(biāo)語義識別

其次，在場景理解階段進行三維重建（即恢復(fù)場景三維幾何要素）和要素識別。包括場景繪制、障礙物避免、機動車輛控制、甚至反射照明場景元素等特性。場景要素識別實際是一種對于場景元素的高級推理。即將場景中的汽車、二輪車、卡車等元素進行空間層次結(jié)構(gòu)劃分子集，每個子集進行信息標(biāo)注。

在圖像識別的關(guān)鍵要素中，首要是需要提取圖像中的顯著特征。圖像中的一個顯著特征可能是像素區(qū)域，其中強度以特定方式變化，例如邊緣、角落或斑點。要估計地標(biāo)在世界坐標(biāo)系上的位置，就需要執(zhí)行特定目標(biāo)跟蹤，其中可以匹配相同特征的兩個或多個視圖。一旦車輛移動的足夠遠導(dǎo)致對于圖像特征目標(biāo)抓取不夠清晰時，算法則會拍攝另一張圖像并重新提取相應(yīng)的特征。通過重建相應(yīng)的特征信息來獲得它們在真實世界中的坐標(biāo)和姿態(tài)。然后，這些檢測到的、描述的和定位的地標(biāo)被存儲在永久存儲器中，以描述車輛軌跡的相對位置。如果車輛返回限定范圍內(nèi)的相同位置，實時特征檢測將與存儲的地標(biāo)匹配，以恢復(fù)車輛相對于存儲軌跡的姿態(tài)。

3）后融合處理

最后，則是最重要的一步，控制自車對預(yù)先登記的軌跡進行跟隨行駛。這個過程實際是對于前期識別和重建結(jié)果進行進一步處理，通過相機在世界坐標(biāo)系中繪制目標(biāo)地圖，參照當(dāng)前車輛的位置、位姿、自身信息等狀態(tài)對該預(yù)先設(shè)置的軌跡做時空物體跟蹤。比如，通過訓(xùn)練過的路段時，需要進行后期融合，將傳感輸出的數(shù)據(jù)進行路徑復(fù)制，指導(dǎo)車輛按照既定的路徑行駛。記憶行車技術(shù)支持

1）記憶建圖需求

記憶建圖原則是一種純車端傳感感知的功能，但是考慮到建圖過程中需要進行重定位和路徑規(guī)劃。因此，還需要結(jié)合GPS定位和導(dǎo)航地圖這類關(guān)聯(lián)系統(tǒng)的功能輸入。

并且考慮定位的精準(zhǔn)性、實時性，最好還能結(jié)合RTK這類即時定位修正單元對實際的定位過程進行實時修正。

?

2）建圖存儲空間需求

整個記憶行車功能比較大的資源消耗基本都體現(xiàn)在對于建圖、存圖和重定位上。特別是根據(jù)環(huán)境目標(biāo)來即時建圖上，需要充分考慮所構(gòu)建的地圖大小。這里和高精地圖的眾包建圖類似，實際它是一種車端的建圖過程。

由于記憶行車建圖所構(gòu)建的地圖整體是通過車端傳感器對整個環(huán)境信息的識別上。識別的過程實際就是一種即時定位建圖、存圖的過程。因此如上過程需要對中央計算單元的算力和存儲能力提出需求。

這里需要說明的是整個記憶行車功能激活的路線長度需要做一定程度的限定。通常需要考慮在就近行駛情況。比如上下班的日常通勤時間，為1小時（大概為35km左右）。如考慮超過1.5小時通勤時一般會存在一定的高速/快速場景（大概為 40~50km），路程約為70-80km。我們考慮的記憶行車過程其最大的記憶路線通常設(shè)置為150km，每2M/公里觸發(fā)一次地圖數(shù)據(jù)存儲。并且，對于記憶行車來說，其建圖過程還涉及包含對一些高精地圖覆蓋的內(nèi)部道路進行建圖。這類稍微極端的建圖成功率一般能達到90%。

建圖過程主要采用小圖到大圖的拼接過程。即，通過通過定位的車身位置，考慮在其周圍10-20m的范圍內(nèi)進行小圖建圖，隨后通過小圖拼接可以形成大圖，最終使得拼接結(jié)果接近真值。

對于這類記憶建圖來說一般會充分考慮采用差分數(shù)據(jù)更新的方式進行。通常，針對如上路段的存儲需求一般10GB足夠，這類地圖通常也是存儲在EMMC里面。

3）建圖實時性要求

通常情況下，我們這里提到的記憶建圖是在中低速情況下進行。因為速度越低意味著對同一個類似場景下的感知建圖所處理的時間就越長。但是，如果考慮一些較長距離的通勤情況，在高速路段下的特征是否支持記憶建圖呢？

?

記憶行車與NOA融合下的智能行車模式

主要考慮記憶地圖和高精地圖融合的技術(shù)難度和實現(xiàn)可能性，是否存在一鍵激活和后臺自主切換模式。這里我們需要說明的是實際上ADAS系統(tǒng)功能本身在很多場景應(yīng)用下也是和記憶行車有一定的重疊的。比如在考慮同一段行駛路線上的場景，當(dāng)事前通過記憶行車功能對該段行駛路徑已經(jīng)完成建圖后，當(dāng)駕駛員重新駛?cè)朐撀范纹瘘c，并且系統(tǒng)通過重定位成功后，便可以很順利的進入記憶行車模式（當(dāng)然這種進入前最好是需要通過HMI提示駕駛員是否準(zhǔn)予進入）。但是，如果駕駛員這時候強制切換進入了ADAS系統(tǒng)功能，比如點對點駕駛輔助功能NOA后，系統(tǒng)是會根據(jù)駕駛優(yōu)先級選擇響應(yīng)當(dāng)前駕駛員主動操作指令的。那么從另一個角度上說，如果駕駛員首先進入的是NOA功能呢？當(dāng)由于某些特殊原因，比如高精地圖/導(dǎo)航地圖短暫丟失導(dǎo)致NOA功能降級無法正常使用，但是記憶建圖的信息仍舊存在時，是否可以很好從后臺實現(xiàn)無感切換，從而確保用戶更好的感知體驗?zāi)兀?/p>

從基礎(chǔ)原理上講答案是肯定的。但是需要注意以下幾點：

1）NOA無感切換到記憶行車，需要重點審視NOA的設(shè)置目的是否和記憶行車一致。如果一致才考慮切換，否則可能將用戶送至另外的目的地，這是完全不能被接受的。

2）如果NOA的目的地和記憶行車完全匹配。期間，如果因為NOA的高精地圖/導(dǎo)航地圖丟失而導(dǎo)致的降級切入記憶行車，如果后續(xù)又重新識別到高精地圖/導(dǎo)航信號恢復(fù)，那么是否還需要重新切換回NOA。

3）如果NOA的目的地和記憶行車部分匹配。在匹配的路端行駛期間，如果因為NOA地圖丟失導(dǎo)致降級切入記憶行車，后續(xù)是否考慮短暫切入記憶行車維持一部分主動駕駛后再地圖重新識別后，重新切換回NOA。當(dāng)然這個過程需要冒一定風(fēng)險，比如即使重疊路端走完，也還沒有重新識別到數(shù)據(jù)，是否就需要真正的退出ADAS系統(tǒng)功能了。

記憶建圖與傳統(tǒng)ADAS系統(tǒng)功能時序示意圖

整個記憶行車處理時序圖如下所示。整個記憶行車模塊包括操作者Driver、MAD狀態(tài)機、任務(wù)管理器、地圖引擎、定位模塊、感知模塊、環(huán)境模型、規(guī)控等多個模塊。首先，啟動車輛上電后，記憶行車MAD的狀態(tài)機變通過自檢后反饋狀態(tài)可用，然后派發(fā)任務(wù)項給記憶“地圖引擎”，這里實際上是類似模仿高精地圖的叫法。同時，也將感知任務(wù)派發(fā)給感知模塊，感知模塊啟動感知任務(wù)后反饋檢測結(jié)果給MAD狀態(tài)機，MAD狀態(tài)機通過重定位模塊檢查感知數(shù)據(jù)是否能夠能夠與之前建立的記憶地圖相匹配。如果重定位成功，MAD狀態(tài)機則派發(fā)成功標(biāo)志給環(huán)境模型，同時，記憶地圖和定位模塊也會將相應(yīng)的地圖信息進行融合。最后，在規(guī)控模塊進行整個軌跡規(guī)劃和控制模塊執(zhí)行。

總結(jié)

記憶行車作為一種新興的自動駕駛功能，可以說也是參照記憶泊車的功能設(shè)計方式形成的一種高效的行車場景駕駛方式。相比于記憶泊車而言，記憶行車基本對場景邊界沒有提出太大的要求，一般的道路均可以作為行駛條件。但是記憶行車強依賴于前置地圖構(gòu)建過程，當(dāng)前置地圖構(gòu)建失敗或者準(zhǔn)確率不夠時，就無法在通過記憶泊車進行有效的重定位和車輛控制。因此，本文也重點闡述了記憶泊車的地圖構(gòu)建、資源需求和重定位的基礎(chǔ)算法。 ?

審核編輯：劉清