從主機(jī)廠的自動(dòng)駕駛技術(shù)搭載情況來(lái)看，其感知技術(shù)方案大致可分為兩類：一種是基于視覺(jué)的自動(dòng)駕駛系統(tǒng)，另一種是基于雷達(dá)+視覺(jué)的自動(dòng)駕駛系統(tǒng)。后者主要使用雷達(dá)傳感器來(lái)檢測(cè)物體，而視覺(jué)系統(tǒng)則完全基于攝像頭。從當(dāng)初傳統(tǒng)的tier1（如博世、大陸等）傾向于搭載簡(jiǎn)單低成本的毫米波雷達(dá)系統(tǒng)用于實(shí)現(xiàn)基礎(chǔ)的輔助駕駛功能。而諸如特斯拉這類高尖端的主機(jī)廠更是從最初的視覺(jué)方案到后面引入雷達(dá)傳感器，再到放棄雷達(dá)回歸純視覺(jué)方案，經(jīng)歷了多次反復(fù)。包括國(guó)內(nèi)很多主機(jī)廠也將很大程度的研發(fā)精力放在了對(duì)視覺(jué)感知上。通過(guò)利用計(jì)算機(jī)視覺(jué)系統(tǒng)檢測(cè)、識(shí)別物體，利用不同的神經(jīng)網(wǎng)絡(luò)模型檢測(cè)不同的對(duì)象模型，一旦判斷失誤，就會(huì)導(dǎo)致事故?；谝曈X(jué)的自動(dòng)駕駛系統(tǒng)需要強(qiáng)大的軟件算法能力，以及大量數(shù)據(jù)對(duì)AI模型的長(zhǎng)期訓(xùn)練。這顯然不是一朝一夕可以實(shí)現(xiàn)的。

然而，除了感知軟件這一難題外，我們對(duì)于感知前端的攝像頭硬件模組又了解多少呢？本文將系統(tǒng)的介紹攝像頭前端感知模組的相關(guān)技術(shù)參數(shù)及評(píng)價(jià)指標(biāo)。

攝像頭模組相關(guān)選型介紹

攝像頭模組CCM主要由鏡頭（lens）、鏡座、紅外濾光片（IR Filter）、傳感器（Sensor）、PCB板、FPC柔性電路板等結(jié)構(gòu)組成，是影像捕捉至關(guān)重要的電子器件。

基本原理是通過(guò)外部光線照射在物體上，經(jīng)過(guò)反射、折射后穿過(guò)鏡頭（Lens），再經(jīng)過(guò)濾光片濾波投射到圖像傳感器（Sensor）感光面上。其基礎(chǔ)原理是通過(guò)Sensor將Lens上傳導(dǎo)過(guò)來(lái)的光線轉(zhuǎn)換為電信號(hào)，經(jīng)過(guò)內(nèi)部圖像處理器（ISP）轉(zhuǎn)換成數(shù)字圖像信號(hào)輸出到數(shù)字信號(hào)處理器（DSP）加工處理，轉(zhuǎn)換成標(biāo)準(zhǔn)的GRB、YUV等格式圖像信號(hào)。若Sensor內(nèi)部未集成ISP，則通過(guò)DVP的方式傳輸?shù)綀D像處理器，此時(shí)的數(shù)據(jù)格式為RAW RGB（原始數(shù)據(jù)）。

1）鏡頭（lens）

鏡頭相當(dāng)于人眼中的晶狀體，利用透鏡的折射原理，景物光線透過(guò)鏡頭在聚焦平面上形成清晰的像。Camera的鏡頭結(jié)構(gòu)一般是有幾片透鏡組成的，透鏡分為塑膠透鏡（Plastic）以及玻璃透鏡（Glass），常用的鏡頭結(jié)構(gòu)有：1P、2P、1G1P、1G3P、2G2P等。

透鏡越多，成本越高，成像效果也越好（光線更均勻、更細(xì)致；對(duì)光線的選通更豐富；成像畸變更小，但是會(huì)導(dǎo)致鏡頭變長(zhǎng)，光通量變?。?，玻璃透鏡的透光率、感光性比塑膠透鏡的要好，但價(jià)格也更貴。

鏡頭的關(guān)鍵指標(biāo)就是鏡頭的焦距，通常根據(jù)鏡頭焦距的不同，進(jìn)行不同的分類。鏡頭的焦距決定了該鏡頭拍攝的物體在Sensor上所形成影像的大小，焦距越短，拍攝范圍就越大，也就越接近廣角鏡頭；焦距越長(zhǎng)，鏡頭的視角越小，拍攝到景物的范圍也就越小，也就越接近窄角攝像頭。通常會(huì)把短焦距、視場(chǎng)角大于50°（如f=3mm左右）的鏡頭，稱為廣角鏡頭，如前視120°攝像頭；把更短焦距（如f=2.8mm）的鏡頭叫走超廣角鏡頭，如環(huán)視攝像頭；而把焦距很長(zhǎng)（如f＞80mm）的鏡頭稱為望遠(yuǎn)鏡頭，如智駕域經(jīng)常用到的30°遠(yuǎn)攝攝像頭。介于短焦與長(zhǎng)焦之間的鏡頭就叫做標(biāo)準(zhǔn)鏡頭，如智駕域的側(cè)視攝像頭。

鏡頭的焦距、視場(chǎng)大小及鏡頭到被攝取物體的距離計(jì)算公式如下：

f?= w*D / W????? f = h*D / H

其中：f—鏡頭焦距，w—圖像的寬度（被攝物體在Sensor靶面上的成像寬度），W—被攝物體寬度，D—被攝物體距離鏡頭的距離，h—圖像高度（被攝物體在Sensor靶面上的成像高度），H—被攝物體的高度。

鏡頭尺寸

一般可分為25.4mm（1inch）、16.9mm（2/3inch） 、12.7mm（1/2inch） 、 8.47mm（1/3inch）和 6.35mm（1/4inch）等幾種規(guī)格 。選用鏡頭時(shí)，應(yīng)使鏡頭尺寸與攝像機(jī)的靶面尺寸大小相吻合，并注意這樣一個(gè)原則，即小尺寸靶面的圖像Sensor可使用大尺寸的鏡頭，反之則不行。如1/2”的Sensor采用1/3”的鏡頭，則進(jìn)光量會(huì)變小，色彩會(huì)變差，甚至圖像也會(huì)缺損；反之，則進(jìn)光量會(huì)變大，色彩會(huì)變好。

此外，我們還比較關(guān)心的是鏡頭通光孔徑大小對(duì)鏡頭的影響。通常，通光孔徑越大，通過(guò)的光量越大，但我們關(guān)心的是到達(dá)Sensor的光量。焦距越長(zhǎng)，意味著Sensor離鏡頭中心越遠(yuǎn)，相應(yīng)的光就越弱，所以，標(biāo)準(zhǔn)光圈大小的參數(shù)應(yīng)該與兩個(gè)變量有關(guān)：即孔徑，焦距。

可以定義光圈的相對(duì)孔徑等于鏡頭的有效孔徑與鏡頭焦距之比，鏡頭的相對(duì)孔徑表征了鏡頭的通光能力，相對(duì)孔徑越大，通光越多。

光圈系數(shù)F = 焦距(f) / 鏡頭有效孔徑 (D)

光圈相對(duì)孔徑 = 鏡頭有效孔徑 (D)? /? 焦距(f)

即F = 1 / 光圈相對(duì)孔徑

所以，選用相對(duì)孔徑大的鏡頭，可以降低對(duì)景物照明條件的要求。

最后，對(duì)于攝像頭來(lái)說(shuō)，主要還涉及到相關(guān)的鏡頭接口。常規(guī)的接口鏡頭主要包括 C接口鏡頭(C-Mount)與CS(CS-Mount)接口鏡頭。兩者最明顯的區(qū)別就是鏡頭與攝像機(jī)接觸至攝像機(jī)感光元器件(CCD/COMS傳感器)的位置(焦平面)的距離不同。這個(gè)距離專業(yè)的術(shù)語(yǔ)叫做法蘭焦距。C接口的法蘭焦距為17.5mm，CS接口的法蘭焦距為12.5mm。在鏡頭的使用過(guò)程中，通常是C型標(biāo)準(zhǔn)攝像機(jī)接C接口鏡頭，CS鏡頭接CS型攝像機(jī)。但是在使用的過(guò)程中C接口鏡頭可以加裝一個(gè)5mm厚的延長(zhǎng)環(huán)與CS型攝像機(jī)搭配使用，C接口鏡頭不加延長(zhǎng)圈則會(huì)導(dǎo)致鏡頭碰到傳感器靶面，造成傳感器損壞。CS型鏡頭與C型攝像機(jī)無(wú)法配合，CS鏡頭與C型攝像機(jī)不能組合使用的原因是鏡頭成像面與CCD受光面距離太遠(yuǎn)，不能得到聚焦的圖像。

2）紅外濾光片（IR Filter）

紅外濾光片的主要作用是透過(guò)人眼可見(jiàn)光波段（380~700nm），濾除掉入鏡頭中的紅外光，這是因?yàn)槿搜劭床坏郊t外光，但是sensor卻能感受到紅外光，所以需要將光線中的紅外光濾掉，防止Sensor產(chǎn)生偏色、波紋，以提高色彩還原度，使圖像更接近人眼看到的效果。但對(duì)于夜視系統(tǒng)，Sensor需要接收物體發(fā)出或反射的紅外光線進(jìn)行成像，此時(shí)鏡頭模組中就不需要紅外濾光片了。

3）圖像傳感器（Sensor）

Sensor是攝像頭的核心，負(fù)責(zé)將通過(guò)Lens的光信號(hào)轉(zhuǎn)換為電信號(hào)，再經(jīng)過(guò)內(nèi)部AD轉(zhuǎn)換為數(shù)字信號(hào)。每個(gè)pixel像素點(diǎn)只能感受R、G、B中的一種，因此每個(gè)像素點(diǎn)中存放的數(shù)據(jù)是單色光，所以我們智駕系統(tǒng)常用的200萬(wàn)像素或者800萬(wàn)像素，表示的就是有200萬(wàn)或800萬(wàn)個(gè)感光點(diǎn)，每個(gè)感光點(diǎn)只能感應(yīng)一種光，這些最原始的感光數(shù)據(jù)也就是我們常常叫做的RAW Data。

圖像傳感器的像素單元都分為四部分：微透鏡、濾色片、感光片（光電二極管）、電荷存儲(chǔ)區(qū)。光線照射到Sensor感光組件（光電二極管）上，光強(qiáng)就轉(zhuǎn)換為電荷，并緩存于電荷存儲(chǔ)區(qū)。

目前的Sensor有兩種基本的類型：

CCD傳感器：

電荷耦合器件傳感器：使用一種高感光度的半導(dǎo)體材料制成，能把光線轉(zhuǎn)變成電荷，通過(guò)模數(shù)轉(zhuǎn)換器芯片轉(zhuǎn)換成電信號(hào)。CCD由許多獨(dú)立的感光單位組成，通常以百萬(wàn)像素為單位。當(dāng)CCD表面受到光照時(shí)，每個(gè)感光單位都會(huì)將電荷反映在組件上，所有的感光單位產(chǎn)生的信號(hào)加在一起，就構(gòu)成了一幅完整的圖像。

CMOS傳感器：

互補(bǔ)性氧化金屬半導(dǎo)體：主要是利用硅和鍺做成的半導(dǎo)體，使其在CMOS上共存著帶N(-)和P(+)級(jí)的半導(dǎo)體，這兩個(gè)互補(bǔ)效應(yīng)所產(chǎn)生的電流可以被處理芯片記錄并解讀成影像。

由于結(jié)構(gòu)原因，CCD Sensor只有一個(gè)ADC；而CMOS sensor有一行的ADC。這樣在數(shù)據(jù)輸出上，CMOS可以做到很高的幀率，而CCD卻很難做到高像素和高幀率。

由此，在面向智駕系統(tǒng)更高幀率和高分辨率的前提下，對(duì)CMOS應(yīng)用場(chǎng)景將越來(lái)越大。我們?cè)趯?duì)傳感器Sensor選型過(guò)程中通常需要考慮如下幾個(gè)重要參數(shù)：

?

4）傳感器核心

典型的圖像傳感器核心主要由image array（圖像陣列）、AMP放大器）以及ADC組成。其中圖像陣列Image array是模擬電路，很難做到很先進(jìn)的工藝，比如40nm這種水平，而且并不是工藝越先進(jìn)越好（要保證像素感光面的大?。?。但是sensor的數(shù)字部分（比如內(nèi)部的圖像處理和接口邏輯）是純數(shù)字邏輯，這部分卻可以做到很先進(jìn)的工藝比如16nm。 ? 如下圖a）表示了一個(gè)典型的sensor的版圖如下： ?

?

? 像素陣列可以分為Optical Black（光學(xué)黑體）區(qū)域、Active Pixel（有效像素）區(qū)域以及Dummy boarder（虛擬邊界）區(qū)域。 ? 一般一個(gè)sensor的圖像陣列點(diǎn)數(shù)會(huì)大于實(shí)際成像的圖像。比如一個(gè)1920x1080的sensor，可能實(shí)際的Image array的點(diǎn)數(shù)是1948x1108。這是由于圖線陣列角落的進(jìn)光量很少，一般會(huì)去掉一部分角落的像素點(diǎn)，保證成像質(zhì)量，從而增加一些功能性的區(qū)域，比如Optical Black區(qū)域用來(lái)作為暗電流的對(duì)照（用于黑電平校正），留下虛擬邊界作為后續(xù)數(shù)字處理的時(shí)間余量和傳遞一些額外信息。

? 5）ISP圖像處理過(guò)程

? ISP(Image Signal Processor)，作為攝像頭中一種典型的前端處理單元，主要是對(duì)圖像傳感器輸出的信號(hào)做前期處理。ISP的功能比較雜，基本上跟圖像效果有關(guān)的它都有份。它內(nèi)部包含多個(gè)圖像算法處理模塊，其中比較有代表性的是：扣暗電流（去掉電流噪聲），線性化（解決數(shù)據(jù)非線性問(wèn)題），shading（解決鏡頭帶來(lái)的亮度衰減與顏色變化），去壞點(diǎn)（去掉sensor中壞點(diǎn)數(shù)據(jù)），去噪（去除噪聲），demosaic（raw數(shù)據(jù)轉(zhuǎn)為RGB數(shù)據(jù)），3A（自動(dòng)白平衡，自動(dòng)對(duì)焦，自動(dòng)曝光），gamma（亮度映射曲線，優(yōu)化局部與整體對(duì)比度），旋轉(zhuǎn)（角度變化），銳化（調(diào)整銳度），縮放（放大縮?。士臻g轉(zhuǎn)換（轉(zhuǎn)換到不同色彩空間進(jìn)處理），顏色增強(qiáng)（可選，調(diào)整顏色），膚色增強(qiáng)（可選，優(yōu)化膚色表現(xiàn)）等。 ?

? 依賴于ISP才能在不同的光學(xué)條件下都能較好的還原現(xiàn)場(chǎng)細(xì)節(jié)，ISP技術(shù)在很大程度上決定了攝像機(jī)的成像質(zhì)量。負(fù)責(zé)接收感光元件（Sensor）的原始信號(hào)數(shù)據(jù)，可以理解為整個(gè)相機(jī)拍照、錄像的第一步處理流程，對(duì)圖像質(zhì)量起著非常重要的作用。
? 攝像頭模組影像測(cè)評(píng) ? 了解了攝像頭在各方面的性能指標(biāo)后，就需要采用一定的評(píng)價(jià)指標(biāo)對(duì)攝像頭整個(gè)模組的選型進(jìn)行有效的評(píng)價(jià)，以方便對(duì)攝像頭的運(yùn)算能力進(jìn)行全方位評(píng)估。 ? 從如上分析影響攝像頭成像能力的主要因素來(lái)說(shuō)，關(guān)于攝像頭模組的顯像測(cè)評(píng)主要包括如下幾個(gè)重要的指標(biāo)。 ?
（1）解像力 ? 解像力這個(gè)指標(biāo)主要是通過(guò)對(duì)相機(jī)鏡頭的還原能力進(jìn)行測(cè)試，測(cè)試的方法是用相機(jī)拍攝逐漸變細(xì)的條紋，然后在電腦中使用10倍～50倍甚至更高倍數(shù)的放大倍率來(lái)觀察所拍攝的畫(huà)面。解像力值是用底片上視覺(jué)可區(qū)別的1mm上的極限線條數(shù)表示的。 ? 例如，在一個(gè)區(qū)域中畫(huà)100條黑線，有的鏡頭拍出來(lái)的影像只能辨認(rèn)出10條線，有的鏡頭拍出來(lái)的影像則能辨認(rèn)出100條線，這樣就可以認(rèn)為后者的解像力比前者高。可以看出解像力主要是針對(duì)鏡頭而言的。 ?
（2）雜光、鬼影 ? ?由強(qiáng)光造成的照片發(fā)白、形成光暈的現(xiàn)象稱作“眩光(Flare)”。當(dāng)太陽(yáng)光或點(diǎn)光源進(jìn)入鏡頭時(shí)，鏡片表面會(huì)反射5%左右的入射光線。各枚鏡片表面反射的光線會(huì)在鏡頭和相機(jī)內(nèi)部多次反射，在光源的相對(duì)位置形成之清晰亮點(diǎn)，有如幽靈一般，稱之為鬼影（鬼影算是光斑的一種）。 ? 這里需要說(shuō)明的是，很多如果采用純攝像頭方案實(shí)現(xiàn)的AEBFCTB這類安全性功能可能會(huì)由于檢測(cè)到類似鬼影而進(jìn)行誤制動(dòng)。
? （3）畸變 ? 相機(jī)內(nèi)參由傳感器和鏡頭在模組內(nèi)的安裝位置決定，其標(biāo)定的主要目的是建立成像幾何模型并矯正透鏡畸變。透鏡畸變主要分為徑向畸變和切向畸變，徑向畸變由透鏡形狀的制造工藝導(dǎo)致，切向畸變由透鏡和CMOS或者CCD的安裝位置誤差導(dǎo)致。 ? 在進(jìn)行畸變性能評(píng)價(jià)時(shí)，通常是采用對(duì)攝像頭內(nèi)參矩陣做整體維度的評(píng)價(jià)。通常在對(duì)攝像頭安裝到車上時(shí)，需要提前對(duì)攝像頭的內(nèi)參矩陣進(jìn)行矯正。相機(jī)內(nèi)參標(biāo)定通過(guò)拍攝空間中不同位置處的標(biāo)定板，標(biāo)定光心位置和畸變系數(shù)。 ?
（4）視場(chǎng)角 ? 在光學(xué)儀器中，以光學(xué)儀器的鏡頭為頂點(diǎn)，以被測(cè)目標(biāo)的物像可通過(guò)鏡頭的最大范圍的兩條邊緣構(gòu)成的夾角，稱為視場(chǎng)角。視場(chǎng)角的大小決定了光學(xué)儀器的視野范圍，視場(chǎng)角越大，視野就越大，光學(xué)倍率就越小。這也是我們?cè)谧鰯z像頭鏡頭模組選擇時(shí)最常用于評(píng)價(jià)的性能指標(biāo)。 ?
（5）亮度均勻性 ? 光亮度均勻性，是指最亮與最暗部分的差異值，就是所拍攝的畫(huà)面四個(gè)角落的亮度與中心點(diǎn)亮度的比值，一般將中間定義為100%。理想的均勻度是100%，均勻度越高，畫(huà)面的亮度一致性越好。 ?
（6）色彩均勻性 ? 色彩均勻性的測(cè)量方法：即至少選擇兩種顏色RGB級(jí)數(shù)進(jìn)行比較。如：R/B和R/G。以確認(rèn)模組周邊與中心色彩一致性是否符合要求。分別測(cè)出R/B、R/G、G/B的max以及min值，并用min/max（各組）從而得到需求值，取其中的最小值，從而可以很好的評(píng)價(jià)傳感器的色差能力。 ?
（7）?色彩飽和度 ? 飽和度(Saturation)指的是色彩純度。是色彩的構(gòu)成要素之一。純度越高，表現(xiàn)越鮮明，純度較低，表現(xiàn)則較黯淡。
? （8）信噪比 ? 信噪比是信號(hào)均值與背景標(biāo)準(zhǔn)偏差的比值，衡量一幅圖片質(zhì)量好壞的重要指標(biāo)。信噪比越大，圖像畫(huà)面就干凈，看不到“顆粒”、“雪花”。若信噪比小，則可能滿是“雪花”，嚴(yán)重影響圖像質(zhì)量。
? （9）白平衡 ? 白平衡就是拍照時(shí)相機(jī)會(huì)分析我們拍攝場(chǎng)景的光線環(huán)境，并且盡力還原白色，光的色調(diào)是通過(guò)色溫來(lái)實(shí)現(xiàn)的，色溫會(huì)告訴相機(jī)這些光是暖色調(diào)還是冷色調(diào)。色溫說(shuō)的是光線的溫度，比如暖光或者冷光，色溫從低到高，顏色也由偏黃的暖光（色溫低）到偏藍(lán)的冷光（色溫高）。白平衡的目的是要求在不同光源下（晴天、陰天、白熾燈等）拍攝的圖像能獲得與人眼觀察相符的彩色，并確認(rèn)是否出現(xiàn)偏色及其他顏色摻雜。 ?

? （11） 灰階 ? 灰階就是指將最亮和最暗之間的亮度變化區(qū)分為不同的層級(jí)，每一級(jí)就表示一個(gè)亮度變化，這里的中間層級(jí)越多，那么呈現(xiàn)出來(lái)的畫(huà)面效果也就會(huì)越細(xì)膩?；译A層級(jí)越多，明暗對(duì)比和黑白顏色過(guò)渡方面的表現(xiàn)優(yōu)異圖像越清晰，過(guò)渡越自然越好。 ?
（12）動(dòng)態(tài)范圍 ? 動(dòng)態(tài)范圍是用來(lái)描述畫(huà)面中從最暗的陰影部分到最亮的高光部分的光量強(qiáng)度分布范圍。動(dòng)態(tài)范圍越大，說(shuō)明圖像中能被捕捉下來(lái)的層次越豐富。 ? 只要場(chǎng)景中從最亮到最暗的部分所跨越的動(dòng)態(tài)范圍在相機(jī)感光元件的動(dòng)態(tài)范圍之內(nèi)，那么就能夠同時(shí)把最亮和最暗部分的細(xì)節(jié)記錄下來(lái)。舉例來(lái)說(shuō)，如果一臺(tái)相機(jī)的動(dòng)態(tài)范圍是8擋，而場(chǎng)景中最亮和最暗部分的曝光相差6擋，那么你就能夠記錄下場(chǎng)景中所有的細(xì)節(jié)。不過(guò)，如果場(chǎng)景或者拍攝對(duì)象的動(dòng)態(tài)范圍超過(guò)了相機(jī)感光元件的動(dòng)態(tài)范圍，那么你的照片必然會(huì)出現(xiàn)陰影是完全的黑色，或者高光“溢出”變成完全的白色——有時(shí)兩種情況會(huì)同時(shí)出現(xiàn)。 ?
（13）其他評(píng)價(jià)指標(biāo) ? 此外，從綜合場(chǎng)景的評(píng)價(jià)角度上講，其相應(yīng)的評(píng)價(jià)標(biāo)準(zhǔn)還可以是測(cè)試人員可以通過(guò)目測(cè)拍攝場(chǎng)景的銳利清晰度、輪廓分明度、動(dòng)態(tài)范圍效果以及色彩失真度來(lái)判定整體場(chǎng)景的優(yōu)劣。如果應(yīng)用到車上，還需要考慮是否存在類似鏡頭加熱等附加功能。因?yàn)閿z像機(jī)加熱的主要目的是保證攝像機(jī)能正常啟動(dòng)以及正常工作。因?yàn)橐话?a target="_blank">電子元器件的工作溫度范圍是-5℃到45℃左右，所以基于北方冬天能達(dá)到零下二三十度的低溫，一些元器件就會(huì)停止工作，所以應(yīng)用于北方的攝像機(jī)需要FPC電熱膜/FPC加熱膜進(jìn)行加熱處理，以保證攝像機(jī)能正常工作，從而確保整個(gè)加熱單元會(huì)影響到整體的功能輸出。
編輯：黃飛

?