DYNA4為乘用車(chē)和商用車(chē)提供各種復(fù)雜的仿真模型，包括車(chē)輛動(dòng)力學(xué)模型、發(fā)動(dòng)機(jī)模型、動(dòng)力系統(tǒng)模型、電機(jī)模型、交通環(huán)境模型和ADAS物理傳感器模型等。由于攝像頭需要同時(shí)滿(mǎn)足視場(chǎng)更廣、更近的成像距離、體積更小以及成本更低等多方面要求，鏡頭設(shè)計(jì)過(guò)程中往往會(huì)主動(dòng)接受一定程度的畸變。較大的畸變有助于實(shí)現(xiàn)更大的視場(chǎng)角（FOV）、更緊湊的結(jié)構(gòu)、更高的透光效率以及更低的制造成本。攝像頭畸變模型用于描述真實(shí)鏡頭成像與理想針孔成像模型之間的偏差，其建模精度將直接決定像素坐標(biāo)與空間方向之間映射關(guān)系的準(zhǔn)確性?；兡Ｐ筒粶?zhǔn)確將引入系統(tǒng)性幾何誤差，并對(duì)相機(jī)標(biāo)定、多目標(biāo)融合以及下游感知與定位算法產(chǎn)生基礎(chǔ)性影響，尤其在廣角和魚(yú)眼攝像頭中尤為關(guān)鍵。

以下將基于DYNA4實(shí)現(xiàn)攝像頭畸變應(yīng)用進(jìn)行系統(tǒng)介紹。

01攝像頭畸變的種類(lèi)

攝像頭的畸變是鏡頭設(shè)計(jì)者主動(dòng)接受的一種權(quán)衡選擇，因?yàn)槿藗兿胱屗翱吹酶鼜V、更近、更小、更便宜”?；儾⒎窃O(shè)計(jì)缺陷，而是光學(xué)系統(tǒng)在視野、體積和成本之間做出的工程取舍，其影響通過(guò)畸變模型在軟件中進(jìn)行描述和補(bǔ)償。

現(xiàn)實(shí)中快速評(píng)估畸變程度，可以通過(guò)查看圖片邊緣的彎曲程度、以及尋找圖片中直線(xiàn)物體（如建筑邊框、門(mén)框、地磚縫、路沿、車(chē)道線(xiàn)、護(hù)欄等）的彎曲來(lái)近似評(píng)估。表達(dá)攝像頭畸變有很多成熟的方法，包括參數(shù)化畸變模型和查表式畸變模型。參數(shù)化畸變模型具有參數(shù)少、物理意義明確和易于標(biāo)定的優(yōu)點(diǎn)，適合大多數(shù)標(biāo)準(zhǔn)鏡頭；而查表式畸變模型通過(guò)直接存儲(chǔ)像素映射關(guān)系，能夠準(zhǔn)確描述復(fù)雜和非對(duì)稱(chēng)畸變，但代價(jià)是存儲(chǔ)開(kāi)銷(xiāo)大、外延性差以及工程復(fù)用性差等因素。下面是學(xué)術(shù)和工程界常用的一些畸變模型：

>OpenCV normal

>Kannala-Brandt（KB）

>Scaramuzza

>Polynomial 4th Degree Distortion

>Modified Division Distortion

對(duì)于視場(chǎng)角小于約120°的標(biāo)準(zhǔn)攝像頭系統(tǒng)，采用基于針孔模型的OpenCV normal畸變模型，可在保證物理可解釋性的同時(shí)獲得穩(wěn)定且成熟的工程效果。對(duì)于視場(chǎng)角在120°~180°范圍內(nèi)、畸變以徑向?qū)ΨQ(chēng)為主的車(chē)載魚(yú)眼攝像頭，OpenCV fisheye是不錯(cuò)的選擇，Kannala-Brandt畸變模型在OpenCV中以fisheye模型的形式進(jìn)行了工程化實(shí)現(xiàn)，并在算法表達(dá)和數(shù)值穩(wěn)定性方面進(jìn)行了優(yōu)化，F(xiàn)OV視角延展到大于180°廣角以外。對(duì)于存在明顯非對(duì)稱(chēng)與高階殘余畸變的非標(biāo)準(zhǔn)廣角鏡頭，Scaramuzza（OCamCalib）模型因其高度通用的幾何描述能力更加適合。對(duì)于僅針對(duì)特定鏡頭進(jìn)行的離線(xiàn)高精度擬合，而不太在乎其物理可解釋性能力的，可以使用Polynomial高階多項(xiàng)式畸變模型或Modified Division Distortion模型作為補(bǔ)充方案。

其中，OpenCV normal和KB（OpenCV fisheye）均屬于OpenCV范疇，有官方網(wǎng)頁(yè)且Github上有開(kāi)源代碼更新；Scaramuzza自帶辨識(shí)代碼的工箱箱，從使用角度來(lái)說(shuō)是較為方便的。在量產(chǎn)項(xiàng)目和多系統(tǒng)集成場(chǎng)景中，通常會(huì)優(yōu)先考慮生態(tài)成熟度、算法兼容性和長(zhǎng)期可維護(hù)性，例如選擇OpenCV normal或Kannala-Brandt等畸變模型。

02攝像頭的參數(shù)以及參數(shù)獲取手段

攝像頭通常有內(nèi)參和外參兩組數(shù)據(jù)。攝像頭內(nèi)參用于描述鏡頭和成像系統(tǒng)的幾何特性，定義空間光線(xiàn)到像素坐標(biāo)的投影關(guān)系；外參用于描述攝像頭相對(duì)于車(chē)輛或其他傳感器的空間位置和姿態(tài)，兩者共同決定了視覺(jué)信息在系統(tǒng)中的幾何一致性，是多傳感器融合和高精度感知的基礎(chǔ)。

圖2中紅色方塊代表攝像頭的空間位置使用，棋盤(pán)格為拍攝對(duì)象（棋盤(pán)格黑白等間距）。圖中棋盤(pán)上的綠色點(diǎn)在大地坐標(biāo)原點(diǎn)，攝像頭相對(duì)于棋盤(pán)格，可以通過(guò)平移向量t和旋轉(zhuǎn)矩陣R來(lái)表達(dá)。當(dāng)空間六坐標(biāo)（位置姿態(tài)）固定后，攝像頭在空間角度便固定了。

圖3為攝像頭的視角，即拍攝出來(lái)的照片?？梢园l(fā)現(xiàn)，雖然棋盤(pán)格黑白等間距且線(xiàn)性，但是投影到照片里并不是等距離變化，甚至直線(xiàn)變?yōu)榍€(xiàn)。從棋盤(pán)格里各個(gè)交點(diǎn)，映射到照片里各交點(diǎn)坐標(biāo)的這一個(gè)過(guò)程，便是擬合攝像頭的內(nèi)參畸變的重要步驟。

通常典型內(nèi)參包括：

>焦距：fx ，fy

>主點(diǎn)：cx ，cy

>畸變參數(shù)：

徑向畸變（k1, k2, …）

切向畸變（p1, p2）

或魚(yú)眼/多項(xiàng)式模型參數(shù)

圖3中主點(diǎn)，接近圖片的正中央位置，為光軸與成像平面的交點(diǎn)（投影中心落點(diǎn)），可以看出示例中的攝像頭是偏右側(cè)的，同時(shí)該主點(diǎn)通常近似為畸變的中心點(diǎn)。相對(duì)外參，內(nèi)參是攝像頭的固有屬性，對(duì)于不具備變焦的攝像頭，其內(nèi)參基本是固定不變的。簡(jiǎn)而言之，內(nèi)參定義了空間光線(xiàn)如何被投影到圖像平面上的像素坐標(biāo)。對(duì)比如下：

對(duì)于內(nèi)外參的獲取，通常可以使用棋盤(pán)格拍照然后通過(guò)辨識(shí)工具來(lái)辨識(shí)，例如：

OpenCV：

https://docs.opencv.org/4.x/db/d58/group__calib3d__fisheye.html

Scaramuzza：

https://sites.google.com/site/scarabotix/ocamcalib-omnidirectional-camera-calibration-toolbox-for-matlab提供的函數(shù)或工具箱。

其中棋盤(pán)格可以采用工具里推薦的黑白相間棋盤(pán)格，也可以是自定義的其它棋盤(pán)格布置形式，還可以從供應(yīng)商處直接獲取。由于外參是空間尺寸，所以也可以直接用機(jī)械測(cè)量距離和角度獲取的。維克多汽車(chē)同時(shí)也提供相關(guān)項(xiàng)目服務(wù)。

03DYNA4攝像頭傳感器模型參數(shù)填寫(xiě)

DYNA4支持不同的傳感器畸變模型。在DYNA4中，實(shí)現(xiàn)攝像頭仿真的步驟如圖4。首先打開(kāi)車(chē)輛的動(dòng)畫(huà)配置文件.dapx并進(jìn)行編輯，從左側(cè)Animation Object Database里將Camera拉入Animation Project，按需將Camera固定在空間某一固定位置，也可以放置在車(chē)輛里面。然后如紅色2處，選擇對(duì)應(yīng)的畸變模型（圖4中是KB模型的參數(shù)）。不同的畸變模型有不同的參數(shù)，如紅色3處為模型內(nèi)參。

攝像頭的安裝位置，即攝像頭外參，在紅色4處填寫(xiě)，包含平移和旋轉(zhuǎn)兩大部分。這里注意攝像頭坐標(biāo)的定義，DYNA4里攝像頭坐標(biāo)滿(mǎn)足右手定則，攝像頭正前方是X正，正上方是Z正。根據(jù)不同畸變模型里坐標(biāo)定義的差異進(jìn)行坐標(biāo)的角度轉(zhuǎn)換即可。平移數(shù)值分別為相對(duì)于整車(chē)或路側(cè)的相對(duì)的平移安裝距離（取決于攝像頭是固定在車(chē)上還是在路側(cè)安裝的RSU）。

除了攝像頭內(nèi)外參數(shù)，還有常規(guī)參數(shù)，例如水平垂直分辨率、ISO、光圈、快門(mén)時(shí)間等。填寫(xiě)完畢后，便實(shí)現(xiàn)了攝像頭在DYNA4里的設(shè)置。

圖4：DYNA4攝像頭參數(shù)設(shè)置

04DYNA4攝像頭傳感器標(biāo)定的復(fù)現(xiàn)以及棋盤(pán)格的制作

在攝像頭參數(shù)配置完畢之后，可以對(duì)軟件仿真的效果與實(shí)際標(biāo)定的結(jié)果進(jìn)行對(duì)比。首先需在DYNA4里制作實(shí)際過(guò)程中使用的棋盤(pán)格，如圖5采用的黑白交錯(cuò)、等間距的棋盤(pán)，棋盤(pán)上也可以寫(xiě)字或者其它標(biāo)記以便于后續(xù)校對(duì)，然后填入攝像頭的外參來(lái)確定攝像頭安裝位置。圖5是OpenCV建議的10*7等間距的棋盤(pán)格，這里加入了一些其他文字。圖6是自定義的棋盤(pán)格。在DYNA4中實(shí)現(xiàn)上述功能較為方便。在DYNA4的動(dòng)畫(huà)模塊中，可以通過(guò)棋盤(pán)格圖片貼圖的方式，將棋盤(pán)格PNG或JPG圖片直接貼附在平面對(duì)象上，其整體尺寸可通過(guò)設(shè)置貼圖平面的長(zhǎng)和寬進(jìn)行調(diào)整。

05不同畸變模型在DYNA4中的應(yīng)用效果

由于篇幅有限，選取Scaramuzza、KB、OpenCV normal/pinhole模型在DYNA4里的應(yīng)用為例。

5.1Scaramuzza的應(yīng)用效果

圖7是Scaramuzza提供的工具箱中的示例棋盤(pán)格圖像。Scaramuzza對(duì)大廣角畸變的攝像頭有較好的辨識(shí)效果。圖片展示了DYNA4中基于Scaramuzza攝像頭模型的棋盤(pán)格仿真結(jié)果與實(shí)際標(biāo)定過(guò)程中棋盤(pán)格圖像的對(duì)比。

圖7a是在DYNA4里填入內(nèi)外參，然后配置對(duì)應(yīng)的棋盤(pán)格，仿真得出的對(duì)應(yīng)棋盤(pán)格照片。圖7b為實(shí)際標(biāo)定過(guò)程攝像頭在某一角度下拍出來(lái)的棋盤(pán)格照片。圖7c是實(shí)際標(biāo)定的照片與DYNA4仿真的圖片疊加顯示。具體方法是在DYNA4攝像頭上加上濾鏡，濾鏡的圖片為對(duì)應(yīng)的實(shí)際圖片，這樣便可以方便進(jìn)行比對(duì)。圖7d-7f是在標(biāo)定過(guò)程中，其他拍攝角度下的DYNA4仿真圖片與實(shí)際照片的對(duì)比。

5.2Kannala-Brandt模型/OpenCV fisheye的應(yīng)用效果

圖8是某客戶(hù)采用Kannala-Brandt模型的仿真對(duì)比效果。對(duì)于徑向?qū)ΨQ(chēng)魚(yú)眼，KB模型非常精準(zhǔn)，工程落地成熟。KB模型基于OpenCV fisheye公式，經(jīng)過(guò)相關(guān)處理后適合大于180°廣角的應(yīng)用，與OpenCV fisheye的參數(shù)相同。這里展示的是某一典型車(chē)輛前、后、左、右四個(gè)環(huán)視魚(yú)眼攝像頭的仿真結(jié)果與真實(shí)效果對(duì)比。圖8a是在DYNA4里填入內(nèi)外參，然后配置對(duì)應(yīng)的棋盤(pán)格，仿真得出的對(duì)應(yīng)棋盤(pán)格照片。圖8b為前魚(yú)眼攝像頭的實(shí)拍照片。圖8c是實(shí)際的照片與DYNA4仿真的圖片疊加顯示。圖8d-8f分別是DYNA4仿真的左側(cè)、后方、右側(cè)魚(yú)眼攝像頭仿真圖片與實(shí)車(chē)拍攝的對(duì)比。

5.3OpenCV Normal的應(yīng)用效果

OpenCV normal對(duì)中小畸變非常穩(wěn)定，尤其在小廣角的前后視攝像頭上應(yīng)用較多，有時(shí)亦叫Pinhole模型。圖9是Github OpenCV工具里提供的棋盤(pán)格照片，通過(guò)辨識(shí)后，在DYNA4里OpenCV攝像頭棋盤(pán)格仿真與實(shí)際過(guò)程的棋盤(pán)格的對(duì)比的圖片。圖9a是在DYNA4里填入內(nèi)外參，配置對(duì)應(yīng)的棋盤(pán)格，仿真得出的對(duì)應(yīng)棋盤(pán)格照片。圖9b是在實(shí)際標(biāo)定過(guò)程中，在某一角度下拍出來(lái)的棋盤(pán)格照片。圖9c是實(shí)際標(biāo)定的照片與DYNA4仿真的圖片疊加顯示。圖9d-9f是在標(biāo)定過(guò)程中，其他拍攝角度下的DYNA4仿真圖片與實(shí)際攝像頭的對(duì)比。