目前，汽車已經(jīng)成為人們?nèi)粘３鲂惺褂米疃嗟慕煌üぞ?。為了保證司乘人員和行人的安全，輔助駕駛和自動駕駛越來越成為汽車的標(biāo)準(zhǔn)配置。從L1級別的ADAS應(yīng)用FCW(前向碰撞預(yù)警)、LDW(車道偏離預(yù)警)、L2級別的 AEB(自動緊急制動)、LKA(車道保持輔助)、到更高級別的ACC(自適應(yīng)巡航)、AVP(代客泊車系統(tǒng))等等， 輔助駕駛/自動駕駛在汽車電子系統(tǒng)中有著越來越大比例的應(yīng)用。為了實現(xiàn)性能更強(qiáng)、穩(wěn)定性更高和準(zhǔn)確性更高的輔助駕駛、自動駕駛，汽車需要獲知本身的位置信息和周邊的環(huán)境信息，不同種類的傳感器，如視覺傳感器、激光傳感器(LiDAR)、毫米波傳感器(RADAR)等，在不同的工作環(huán)境下各有優(yōu)缺點，而融合來自多個傳感器數(shù)據(jù)的過程?？梢蕴峁└叩目煽啃?、冗余性以及最終的安全性。賽靈思作為可編程器件的領(lǐng)導(dǎo)品牌，在汽車電子系統(tǒng)，尤其在傳感器融合方面提供了全面的方案。且待本文向您徐徐道來。

1. 融合! 融合起來!

隨著輔助駕駛/自動駕駛的等級逐步提高，對傳感器種類和數(shù)量的要求會逐步增加。L1級別需求(如FCW(前向碰撞預(yù)警)、LDW(車道偏離預(yù)警)) 主要由單個傳感器，如單個視覺攝像頭、單個毫米波或攝像頭加毫米波的組合來實現(xiàn)相關(guān)預(yù)警功能:

L2級別需求(AEB(自動緊急制動)、LKA(車道保持輔助)) ，因為需要對車身部分(如底盤的剎車控制系統(tǒng)) 進(jìn)行直接控制，需要兩個或以上不同的傳感器來互相校驗，確保在各種環(huán)境下不錯過必須處理的信息，并加強(qiáng)冗余度，一般會有多個視覺攝像頭(比如由4個攝像頭組成360環(huán)視系統(tǒng)，加上一個單獨用于前向預(yù)警的攝像頭，共計5個攝像頭的系統(tǒng))、一個或若干毫米波及其他傳感器完成輔助駕駛功能：

對于L3來講，由于高級別半自動駕駛(如代客泊車AVP)需要對地圖進(jìn)行構(gòu)建，并進(jìn)行基于地圖的路徑規(guī)劃，通常需要引入激光雷達(dá)(為解決盲區(qū)，還需要布置高低位置的多個激光雷達(dá))，視覺、毫米波和激光雷達(dá)的數(shù)量總數(shù)基本會超過10個:

隨著高級輔助駕駛需要更多傳感器種類與數(shù)量，如何將這些信號歸一化為主控SoC需要的數(shù)據(jù)，也就是傳感器數(shù)據(jù)歸一化(normalization)的需求如何實現(xiàn)呢?這就是我們提及的傳感器融合的需求了：

那么傳感器數(shù)據(jù)數(shù)據(jù)歸一化，具體來說要如何進(jìn)行呢?我們由下圖來解釋一下：

將多個傳感器數(shù)據(jù)的負(fù)載(Payload)， 統(tǒng)一打包為包含報文種類、時間戳(Time Stamp)、其他包頭信息和負(fù)載的數(shù)據(jù)包，傳送至主控芯片，就是傳感器融合的信息了。

我們來總結(jié)一下傳感器融合的作用：

A 獲取車輛環(huán)境信息;

B 獲得更精確的結(jié)果;

--均衡不同傳感器的權(quán)重

--針對傳感器失效的魯棒性

--各傳感器取長補(bǔ)短

C 主要任務(wù)

--定位

--地圖繪制

--路徑規(guī)劃

2. 當(dāng)融合時且融合

當(dāng)我們意識到傳感器融合的優(yōu)勢時，就會發(fā)現(xiàn)FPGA在傳感器融合上的優(yōu)勢：

--FPGA的IO Pin可以靈活配置，適合不同的傳感器接口

--FPGA的邏輯可以靈活設(shè)計，針對不同型號的傳感器做出針對性的設(shè)計。

而傳感器融合的基石，就是如何進(jìn)行數(shù)據(jù)同步!

如果不進(jìn)行同步的話，假設(shè)有一個目標(biāo)高速經(jīng)過車輛前部，如果各傳感器不同步，不同的傳感器會給出不同的目標(biāo)方位和相對距離信息，會令處理系統(tǒng)很難做出正確響應(yīng)：

但如果進(jìn)行了同步，所有觀感器信息反饋的信息都是基于同一時間點，針對同一個目標(biāo)反饋的目標(biāo)速度、相對距離、角度等信息也不會產(chǎn)生混淆：

針對上述的同步，具體方式如下:

1. 硬件同步 / Hardware synchronization

--使用同步觸發(fā)(trigger acquisition， FPGA的強(qiáng)項之一哦!)

--所有傳感器使用同一個硬件給出的時鐘源(FPGA的IO資源非常適合做配置!).

2. 軟件同步 / Software synchronization

--使用時間戳(timestamp ) 同步

--每個傳感器自行加入校正后的時間戳

3. 空間同步 / Spatial synchronization

將各傳感器坐標(biāo)系統(tǒng)歸一化為統(tǒng)一系統(tǒng)(對坐標(biāo)系轉(zhuǎn)換的硬件加速也是FPGA的強(qiáng)項!)

4. 時空同步 / Spatiotemporal synchronization

--以上所有同步的綜合

下面也給出一些使用FPGA進(jìn)行同步的技術(shù)技巧：

1. 統(tǒng)一的的坐標(biāo)系與時鐘;

2. 使用GPS提供時間戳的時鐘同步與校準(zhǔn);

3. 一般使用激光雷達(dá)提供Trigger , 作為數(shù)據(jù)對齊基礎(chǔ);

--這是自動駕駛技術(shù)的歷史傳承，基于ROS / ROS2 的 Autoware， Baidu的Apollo及其他開源版本都是如此。

4. 傳感器相互之間進(jìn)行校正 ( Sensorcalibration );

同步后數(shù)據(jù)，如何通過網(wǎng)絡(luò)在車內(nèi)網(wǎng)絡(luò)傳輸，也是傳感器融合的重要功能，而TSN (時鐘同步網(wǎng)絡(luò)) 更是會助力融合更好地進(jìn)行!

基于802.1 AS的TSN我們在之前的文章中已經(jīng)有介紹，如有您有在賽靈思器件上實現(xiàn)TSN的需求，也請聯(lián)系科通，我們?yōu)槟峁┳稍兒椭С帧?/p>

3. 如何十分安全地融合?

既然傳感器融合主要用于汽車應(yīng)用，功能安全就變得非常重要!針對功能安全的需求，作為可編程器件領(lǐng)先品牌，賽靈思針對各行業(yè)的安全需求，提供了由原廠或第三方提供的服務(wù):

其中和汽車相關(guān)的 IEC-61508和 ISO-26262認(rèn)證，賽靈思都提供原廠直接支持的文檔、工具和服務(wù)。

當(dāng)然還有經(jīng)過車規(guī)驗證的各型號SOC/FPGA、IP、工具鏈和參考設(shè)計開發(fā)板，如果您有需求，都?xì)g迎聯(lián)系科通哦!

4. 有科通，融合更方便

針對車規(guī)需求，我們集成科通代理的相關(guān)產(chǎn)線，為您提供整體方案。下圖也只是其中一部分哦!

原文標(biāo)題：基于賽靈思的傳感器融合方案

文章出處：【微信公眾號：Comtech科通】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

審核編輯：湯梓紅