開芯課堂是黑芝麻智能打造的一檔技術(shù)分享類欄目，與大家分享我們的領(lǐng)先技術(shù)，展示我們的產(chǎn)品成果，通過專業(yè)技術(shù)沙龍、視頻直播、深度圖文，共同交流探討，一起進步，一起探索黑科技的世界。

什么是ISP?

ISP是Image Signal Processor 的簡稱，也就是圖像信號處理器，主要用來處理Image Sensor(圖像傳感器)的輸出數(shù)據(jù)。

由于鏡頭和sensor在不同的制造商之間差異很大，以及拍攝的光線條件多樣，鏡頭和sensor需要根據(jù)環(huán)境做適應(yīng)，就像人眼要通過瞳孔縮放，適應(yīng)環(huán)境明暗一樣。

ISP在能夠有效糾正和統(tǒng)一這些差異方面發(fā)揮著非常重要的作用，并且可以有效地將不同光譜特性的sensor數(shù)據(jù)按照預(yù)期需求統(tǒng)一實現(xiàn)。如果沒有ISP模塊，我們將很難生成人類預(yù)期的圖片質(zhì)量。

常見的RGB的Bayer sensor處理的結(jié)果，從圖中可以看出，在同樣光源下不同sensor做白平衡之后色彩有比較明顯的差異，很難用統(tǒng)一的色彩校正矩陣來統(tǒng)一處理，這給當前一些基于RAW圖的AI感知算法(不帶ISP)的實際應(yīng)用落地帶來挑戰(zhàn)。

更進一步，當前有很多sensor的光譜特性并不局限于RGB三色的Bayer模式，RCCB sensor及RGBIr sensor的ISP處理結(jié)果與原始圖像。在這些更加特別的光譜組合中，原始色彩更是與用戶直觀感知差別很大，如果缺少ISP的處理，后端感知算法處理這些數(shù)據(jù)就比較困難。

自動駕駛ISP的特殊性

自動駕駛對ISP提出了更高的設(shè)計需求，首先是低延時，手機拍攝可以允許1到2秒的延時，但這對自動駕駛而言是決不允許的，車輛“致盲”2秒在高速上就意味著跑出去50多米，這已經(jīng)不能用危險來形容了。

因此車端芯片的ISP需要毫秒級的高處理率和高傳輸率。

此外自動駕駛汽車的ISP要求全時在線，面臨的場景也豐富的多，諸如被強光直射、黑夜、強弱光交替等極端場景，車端芯片自動駕駛的ISP需要解決這些挑戰(zhàn)。

黑芝麻智能NeuralIQ ISP優(yōu)勢

色彩還原和渲染

自動駕駛場景中很多與顏色相關(guān)的重要信息，比如紅綠燈、道路地面上的各種標志線等等，都是后端感知算法識別場景的重要目標。在一些特殊光照條件下，這些色彩還原的難度增大，渲染出的色彩準確性降低，會給感知算法帶來不少困惑。

一個雨天路面場景，潮濕地面的反光和陰雨天較差的光照條件使得對比廠商的ISP產(chǎn)品整體顏色偏淡，對比度偏低，道路中心的對向車道分隔“雙黃線”顏色很淺，就有可能被誤識為同向車道分隔白線，從而使得自動駕駛做出錯誤的選擇和判斷，而給用戶帶來危險。經(jīng)過NeuralIQ ISP處理之后的圖像，就準確恢復(fù)了原本的色彩。

不同傳感器的噪聲一致化

不同的sensor在感光靈敏度和光譜方面都有自身的特點，從而在噪聲形態(tài)和噪聲強度方面各不相同。感知算法在處理圖像時，對于輸入圖像的信噪比(signal-to-noise ratio，SNR)有一定的要求，并且可處理的噪聲形態(tài)取決于訓(xùn)練數(shù)據(jù)?？上攵斴斎雸D像的噪聲形態(tài)和噪聲強度發(fā)生變化時，感知算法的正確性和準確性都會受到很大影響。而黑芝麻智能的NeuralIQ ISP可以使不同sensor采集到的數(shù)據(jù)具有類似的噪聲強度和噪聲形態(tài)，可以直接輸入給已訓(xùn)練好的感知算法使用。

反映了ISP對于不同sensor的不同噪聲的處理能力，上下兩行分別是兩個不同sensor的數(shù)據(jù)，原始數(shù)據(jù)的噪聲密度和噪聲形態(tài)不太一致，上排sensor的原始噪聲以團狀色噪聲為主，下排sensor的原始噪聲以散在單點噪聲為主，經(jīng)過NeuralIQ ISP去噪模塊之后，兩種數(shù)據(jù)的效果很相似，噪聲去除的同時，信噪比也得到了比較大的提升，以符合感知算法的要求。

高動態(tài)范圍融合的畫面瑕疵處理

自動駕駛環(huán)境下，相機所遇到的場景的亮暗對比變化非常廣泛。一般相機單次拍攝所能捕捉到的數(shù)據(jù)動態(tài)范圍大約只有60-70dB，而車載環(huán)境下的場景往往可以高達140dB以上，單次拍攝很難直接捕捉到如此高動態(tài)范圍的場景。車載sensor中一般通過多種不同的技術(shù)，例如數(shù)字重疊技術(shù)(DOL/Stagger)、 雙轉(zhuǎn)換增益技術(shù)(DCG)、大小像素技術(shù)(LPD-SPD)，以獲取對場景的“多重曝光“，從而合成出整個高動態(tài)范圍(HDR)場景的數(shù)據(jù)。通常場景中暗處靠著長曝光來捕捉，而高亮部分需要短曝光來捕捉。如此在不同曝光的重疊區(qū)域里，合成算法要保證顏色的準確性和合成過渡的自然性。

一個典型的車載HDR場景，隧道里的亮度很低，隧道外通常是陽光照射下的高亮區(qū)域。在隧道口處通常就是典型的不同曝光合成的過渡區(qū)域，這個區(qū)域里有很多問題需要處理，比如色彩一致性問題，比如信噪比不連續(xù)問題等等。圖5右圖是其他廠商ISP處理結(jié)果，地面處出現(xiàn)嚴重斑駁，可能會被檢測為路面的缺陷而影響自動駕駛的決策，隧道外的路牌原本應(yīng)為藍色，被合成為了褐色，這樣感知算法可能會把普通道路(藍色路牌)理解為風(fēng)景區(qū)路牌(褐色)。而NerualIQ ISP就能很好處理這些信息。

多幀處理

夜晚或者室內(nèi)低亮情況下，一般相機會通過延長曝光時間來達到合適的亮度。但是因為自動駕駛時候的車輛通常處于運動甚至高速運動狀態(tài)，曝光時間的增長會導(dǎo)致圖像中的運動模糊的增加;有時候哪怕運動速度不快，但是由于車輛處于轉(zhuǎn)彎狀態(tài)，遠處場景的轉(zhuǎn)彎線速度很大，模糊嚴重，這些都給感知算法的計算和識別帶來困難。

近些年多幀去噪算法(時域去噪)經(jīng)歷了長足的發(fā)展。NeuralIQ ISP控制相機的曝光和增益，在曝光量(曝光時間x增益)相同的情況下，使用更短的曝光時間，更高的增益。針對減曝光+高增益圖像使用多幀技術(shù)，可以將噪聲水平控制在低增益水平上，同時因為基準單幀圖像的曝光時間的減少，運動模糊問題得到了很好的改善。

一個典型的示例，傳統(tǒng)ISP做法如右圖，曝光時間30ms，3倍增益，因為車輛在行駛過程中，可以明顯觀測到運動模糊，上方指示牌的字體都具有重影，小號字體難以辨認;而NeualIQ ISP控制曝光時間10ms，9倍增益情況下，保持了總曝光量的不變，所以圖像亮度與傳統(tǒng)ISP類似，同時NeuralIQ ISP對圖像采用多幀降噪技術(shù)(本示例使用3幀降噪)，所以盡管單幀圖像的增益高達9倍，處理結(jié)果的噪聲水平也與低增益圖像類似，噪聲得到了很好的抑制。由于NeuralIQ ISP的圖像基準曝光較短(比如10ms)，單幀基準圖像的運動模糊就很小，處理結(jié)果中的物體和字符清晰可辨，無可見的運動模糊現(xiàn)象。

低延遲處理

如前所述，車載環(huán)境下的圖像輸出不能有太大的延遲，幾乎要達到“實時處理”的要求。NeuralIQ ISP從算法設(shè)計上就考慮算法的復(fù)雜度和算法的流水線結(jié)構(gòu)。支持sensor數(shù)據(jù)流的在線和離線的混合處理模式。在線模式下，ISP輸出的延遲幾乎只取決于ISP算法本身所需的行緩存。典型場景下，NeuralIQ ISP數(shù)據(jù)處理的延遲不超過1毫秒，為后端感知算法實時獲取到圖像數(shù)據(jù)提供了有力的保障。

視覺與AI是智能駕駛領(lǐng)域的關(guān)鍵技術(shù)和基礎(chǔ)能力，而圖像質(zhì)量對于視覺應(yīng)用和算法識別起著至關(guān)重要的作用。黑芝麻智能車規(guī)級圖像處理器——NeuralIQ ISP，通過其強大的圖像處理能力，讓汽車洞察秋毫，萬事一清二楚，助力實現(xiàn)更安全的智能駕駛。

讓汽車“洞察秋毫”，秒懂自動駕駛ISP系列第一期就到此結(jié)束啦~讓我們相約下期的開芯課堂!

審核編輯：湯梓紅