摘要

傳感器融合對于自動駕駛和自主機器人是至關(guān)重要，毫米波雷達-相機融合系統(tǒng)由于其互補的傳感能力而廣受歡迎。然而，這兩個傳感器之間的精確校準對于確保有效融合和提高整體系統(tǒng)性能更為重要。兩者之間的校準包括內(nèi)參校準和外參校準，后者對于實現(xiàn)精確的傳感器融合尤為重要。

不幸的是，許多基于目標的校準方法需要復(fù)雜的操作程序和精心設(shè)計的實驗條件，這給研究人員帶來了挑戰(zhàn)。為了解決這個問題，本文引入了一種新的方法，該方法利用深度學(xué)習(xí)從原始毫米波雷達數(shù)據(jù)（即距離-多普勒角數(shù)據(jù)）和相機圖像中提取共同特征。我們的方法不是顯式地表示這些共同特征，而是隱式地利用這些共同特征來匹配來自兩個數(shù)據(jù)源的相同對象，具體來說，提取的共同特征作為一個例子，展示了毫米波雷達和相機系統(tǒng)之間的在線無目標校準方法。通過這種基于特征的方法實現(xiàn)了對外參變換矩陣的估計，為了提高校準的準確性和穩(wěn)健性，應(yīng)用了RANSAC和Levenberg-Marquardt（LM）非線性優(yōu)化算法來推導(dǎo)矩陣，在真實環(huán)境的實驗證明了提出的方法的有效性和準確性。

主要貢獻

毫米波雷達和攝像頭是互補的傳感方式，廣泛用于自動駕駛和機器人等應(yīng)用。無論照明和天氣條件如何，毫米波雷達都能提供準確的距離、速度和角度信息，而相機則能捕捉高分辨率的視覺信息。毫米波雷達和相機的結(jié)合提高了感知能力，并可在動態(tài)環(huán)境中執(zhí)行物體識別、檢測和跟蹤等任務(wù)。毫米波雷達和相機之間的校準對于傳感器融合至關(guān)重要，因為它們的傳感原理不同，尤其是對于確定它們的相對姿態(tài)。一種很有前途的方法是使用深度學(xué)習(xí)從原始毫米波雷達數(shù)據(jù)中提取有用的特征，并探索雷達和圖像特征之間的關(guān)系，以估計外部變換矩陣，如圖1所示：

圖1：所提出的毫米波雷達相機在線外參校準方法的框架。該方案展示了校準毫米波雷達和攝像頭傳感器所涉及的順序步驟。該方法首先訓(xùn)練深度學(xué)習(xí)共同特征鑒別器，以確定毫米波雷達和相機數(shù)據(jù)中檢測到的對象是否共享共同特征。隨后基于共同特征的存在，利用訓(xùn)練的共同特征鑒別器在毫米波雷達和相機視圖中找到匹配對象。最后，基于這些匹配對象，形成相應(yīng)的相機-毫米波雷達點對進行校準。

與傳統(tǒng)的基于目標的方法不同，所提出的方法不僅降低了復(fù)雜性和配置要求，而且使系統(tǒng)能夠進行在線重新校準，減輕了外參矩陣隨時間的潛在風(fēng)險。這種能力在動態(tài)環(huán)境中尤其重要，在動態(tài)環(huán)境下，振動、溫度變化和一般磨損等因素會影響毫米波雷達和相機傳感器之間的位姿。這項工作的貢獻如下：

1） 開發(fā)一個深度學(xué)習(xí)模型，從原始毫米波雷達數(shù)據(jù)中學(xué)習(xí)有用的特征，并探索雷達和圖像特征之間的關(guān)系，以獲得共同特征。

2） 第一種已知的方法利用毫米波雷達和相機的共同特征來實現(xiàn)在線無目標物校準方法，并解決了傳統(tǒng)校準方法的挑戰(zhàn)，例如需要特定的校準目標和手動步驟，使所提出的方法在現(xiàn)實場景的應(yīng)用中更加實用和有效。

內(nèi)容概述

A.問題表述

毫米波雷達與相機校準涉及求解變換矩陣，該變換矩陣建立圖像像素坐標系（PCS）中的一個點與毫米波雷達坐標系（RCS）中的另一個點之間的對應(yīng)關(guān)系。該變換矩陣包括分別通過內(nèi)參校準和外參校準獲得的內(nèi)參矩陣和外參矩陣。在毫米波雷達相機外參校準中，目標是使用已知的相機內(nèi)參和RCS中的點與PCS中的對應(yīng)點之間的一組N對應(yīng)關(guān)系來確定外參矩陣。假設(shè)RCS中的一個點表示為Pr，其在PCS中的相應(yīng)點表示為Pp，則它們之間的變換可以表示為：

B.基于常見特征的點對應(yīng)匹配

基于前面的討論，解決毫米波雷達和相機坐標系統(tǒng)相關(guān)的外參矩陣的關(guān)鍵是在毫米波雷達和相機視圖之間找到足夠數(shù)量的點對應(yīng)。傳統(tǒng)的研究人員依靠使用獨特的校準目標物，如角反射器，來提高雷達和相機圖像中物體的可探測性。這些目標作為參考點，有助于在兩種傳感器之間建立準確的點對應(yīng)關(guān)系。然而，對于無目標校準方法，我們不使用特定的校準目標，也不事先了解毫米波雷達和相機視圖中的對象。幸運的是，基于在毫米波雷達和相機檢測中觀察到的與相同物體相對應(yīng)的共同特征，我們可以匹配這些物體，并進一步對準它們的中心，從而產(chǎn)生點對應(yīng)關(guān)系。

從毫米波雷達和相機檢測中提取的共同特征為識別和關(guān)聯(lián)兩種模態(tài)中的對象提供了有價值的信息。這些特征可以包括反射率、紋理、大小和運動模式。通過分析這些特征，我們可以識別出在毫米波雷達和相機數(shù)據(jù)中表現(xiàn)出相似模式或特征的物體。

由于毫米波雷達數(shù)據(jù)中的低分辨率和高噪聲等固有限制，使用傳統(tǒng)算法提取特征可能具有挑戰(zhàn)性。然而深度學(xué)習(xí)在特征提取方面表現(xiàn)出了比較好的效果，非常適合應(yīng)對這些場景。鑒于YOLO模型在圖像特征提取方面的成功，以及我們研究毫米波雷達和相機數(shù)據(jù)之間共享特征的目標，選擇使用基于YOLO的方法來提取共同特征。通過使YOLO模型適應(yīng)毫米波雷達數(shù)據(jù)，可以利用其強大的特征提取能力來識別和提取相關(guān)的雷達特征。這使我們能夠檢測毫米波雷達幀中的物體。同時YOLO模型檢測和識別相機圖像中物體的能力使我們能夠識別雷達和相機數(shù)據(jù)之間的共同特征。

此外，基于提取的雷達和圖像特征，我們構(gòu)建了另一個深度神經(jīng)網(wǎng)絡(luò)，專門致力于發(fā)現(xiàn)兩種模態(tài)之間的共享特征和匹配特征。該網(wǎng)絡(luò)旨在學(xué)習(xí)提取的特征之間存在的復(fù)雜關(guān)系和模式，能夠從雷達和相機數(shù)據(jù)中識別和對齊相應(yīng)的特征。最終可以有效地探索和利用雷達和相機數(shù)據(jù)共享的共同特征。

圖2：基于YOLO的公共特征網(wǎng)絡(luò)的體系結(jié)構(gòu)。CSPResNet：跨階段部分ResNet。CBL:Convolution3D+批量標準化+LeakyReLU。SPP：空間金字塔池。

圖2直觀地展示了基于YOLO的公共特征網(wǎng)絡(luò)的結(jié)構(gòu)，并突出了其關(guān)鍵組件和層，以便于全面理解。該網(wǎng)絡(luò)包括三個主要組件：基于YOLO的雷達探測器，它以原始雷達數(shù)據(jù)生成的快速傅立葉變換（FFT）熱圖作為輸入，并輸出包含檢測目標的綁定框；三維卷積神經(jīng)網(wǎng)絡(luò)（CNN）雷達特征提取器，其將從雷達檢測器獲得的邊界框作為輸入，并對這些邊界框所包含的距離-方位-多普勒（RAD）數(shù)據(jù)進行裁剪，然后基于分類的準確性來確定提取特征的質(zhì)量；以及全連接公共特征鑒別器，其利用YOLO提取的圖像特征以及雷達檢測器和雷達特征提取器提取的雷達特征來確定在圖像中檢測到的物體和雷達檢測到的對象是否是同一實體。

**C.毫米波雷達相機外部校準解決方案**

利用深度學(xué)習(xí)提取的共同特征，可以進行對象匹配和對應(yīng)識別。通過比較毫米波雷達和相機視圖中檢測到的物體的特征，我們可以確定哪些物體相互對應(yīng)。然后可以利用公共特征中編碼的空間信息來提取這些物體的中心，這使我們能夠在雷達和圖像像素坐標系之間建立點對應(yīng)關(guān)系。基于所獲得的特征點對應(yīng)關(guān)系，可以進行外參校準矩陣的估計。這本質(zhì)上是一個用于最小化重投影誤差的非線性問題。LM算法結(jié)合了最速下降和高斯-牛頓方法的優(yōu)點，已被廣泛用于解決非線性最小二乘問題。

然而，為了確保收斂到全局最優(yōu)解，該算法需要對外參矩陣給出良好的初始值。在本文的方法中，基于RANSAC（隨機樣本一致性）算法的校準矩陣的初始估計用作后續(xù)LM最小化的初始猜測，RANSAC是一種迭代方法，旨在使用最小的可能對應(yīng)集來估計數(shù)學(xué)模型的參數(shù)，同時有效地排除異常值。在外參校準的背景下，RANSAC有助于解決噪聲雷達測量和雷達相機點對應(yīng)關(guān)系變化帶來的挑戰(zhàn)。在使用RANSAC過濾掉不合適的對應(yīng)關(guān)系并獲得校準矩陣的魯棒初始估計之后，剩余的點對應(yīng)關(guān)系被用作輸入以解決PnP問題。這種兩步方法結(jié)合了RANSAC在處理異常值方面的優(yōu)勢和迭代LM優(yōu)化算法的準確性，為在存在噪聲雷達測量和點對應(yīng)變化的情況下進行外參校準提供了有效的解決方案。

實驗

實驗裝置如圖5所示，筆記本電腦和NVidia Jetson Xavier GPU使用以太網(wǎng)和USB電纜與雷達攝像頭系統(tǒng)建立連接，以收集數(shù)據(jù)。

圖5：實驗設(shè)置

表I給出了用于評估校準矩陣準確性的評估指標，包括平均絕對重投影誤差（MARE）和均方根重投影誤差。MARE表示投影雷達點與其對應(yīng)圖像點之間的平均絕對差，而RMSRE則測量投影圖像點與實際圖像點間的總體偏差。

使用獲得的校準矩陣將雷達點投影到圖像上的結(jié)果進一步支持了對我們校準性能的評估，如圖4所示。從圖4a中可以明顯看出，圖像點和投影雷達點彼此非常接近，投影雷達點主要落在圖像中目標（即汽車和人）占據(jù)的區(qū)域內(nèi)。圖4b和圖4c顯示了與兩個目標的運動相對應(yīng)的圖像點和投影雷達點的軌跡。可以觀察到，雷達和圖像軌跡表現(xiàn)出良好的對準，特別是考慮到雷達點的高度可變性。這些視覺結(jié)果突出了所提出的校準方法的實用性和有效性，即使在雷達測量中存在固有波動的情況下也是如此。

圖4：使用獲得的校準矩陣將雷達點投影到圖像上。（a） 將各個雷達點投影到圖像中的相應(yīng)目標上，即汽車和人。（b） 圖像點和投影雷達點的軌跡對應(yīng)于幀39處的兩個目標的移動。（c） 圖像點和投影雷達點的軌跡對應(yīng)于幀204處兩個目標的移動。

總結(jié)

根據(jù)毫米波雷達和相機的共同特點，提出了一種在線無目標的毫米波雷達和相機外參校準方法，所提出的方法利用深度學(xué)習(xí)技術(shù)從原始毫米波雷達數(shù)據(jù)和相機圖像中提取共同特征，從而能夠在不需要特定校準目標的情況下估計外部變換矩陣，實驗驗證了所提出方法的有效性，證明了其在具有挑戰(zhàn)性的真實世界環(huán)境中進行可靠和精確的雷達相機外部校準的潛力。這項研究為毫米波雷達相機傳感器融合領(lǐng)域做出了貢獻，并為校準技術(shù)的進一步進步和擴大所提出方法的應(yīng)用提供了基礎(chǔ)，未來的工作可能側(cè)重于進一步提高校準方法的效率和適應(yīng)性，并探索可視化和解釋毫米波雷達和相機數(shù)據(jù)之間的共同特征。






審核編輯：劉清