ISP(Image Signal Processing, 圖像信號(hào)處理器)是連接圖像傳感器與終端呈現(xiàn)的關(guān)鍵樞紐。車載攝像頭的傳統(tǒng) ISP 通過(guò)一系列數(shù)字圖像處理算法(運(yùn)行在PipeLine)，對(duì)圖像傳感器輸出的原始信號(hào)進(jìn)行優(yōu)化，處理圖像噪聲、亮度、色彩等要素，實(shí)現(xiàn)攝像頭畫面的校正、色彩還原、圖像增強(qiáng)、3A統(tǒng)計(jì)等基礎(chǔ)處理。但面對(duì)復(fù)雜場(chǎng)景下更完美畫質(zhì)的追求，傳統(tǒng) ISP的技術(shù)瓶頸逐漸顯現(xiàn) — 例如傳統(tǒng)ISP無(wú)法抑制Sensor或者ISP高增益模式下的噪點(diǎn)，因此一般其增益會(huì)限制在36dB，最大不超過(guò)42dB，從而會(huì)影響攝像頭的可見性，在低照?qǐng)鼍跋履芤姸鹊停y以在極暗光環(huán)境下實(shí)現(xiàn)清晰成像。

為了解決行業(yè)痛點(diǎn)，眾多廠家開始探索AI在ISP的應(yīng)用。例如安防行業(yè)先期推出的AI-ISP能夠在NPU上進(jìn)行深度學(xué)習(xí)處理，NPU核上能夠完成降噪、超分辨率、去霧等深度學(xué)習(xí)算法，深度學(xué)習(xí)處理后接回ISP-PipeLine完成后續(xù)處理。使用這類AI-ISP后，能夠利用其超強(qiáng)的降噪能力，增加增益使用范圍，從而獲得更好的可見性，低照下也能取得極好的能見度，并且可以大幅增加產(chǎn)品的信噪比，對(duì)于非絕對(duì)低照環(huán)境也可以提升畫質(zhì)：

但上述AI-ISP由于算法處理鏈路較長(zhǎng)(涉及NPU-DDR-ISP)增加了延時(shí)，為了降低延時(shí)更適應(yīng)車載應(yīng)用，?？刀ㄖ频能囕dAI-ISP創(chuàng)新地把AI模塊串到ISP-Pipeline中，其深度學(xué)習(xí)算法直接在ISP-Pipeline中運(yùn)行，大幅節(jié)省了處理時(shí)間，可做到時(shí)延小于5ms(約1/10FPS)。

?？刀ㄖ频能囕dAI-ISP可以應(yīng)用到車載多類攝像頭產(chǎn)品當(dāng)中，比如環(huán)視攝像頭、OMC攝像頭、流媒體攝像頭等，使得用戶獲得更好的觀感體驗(yàn)。

AI-ISP在車載的應(yīng)用場(chǎng)景

3M環(huán)視攝像頭(低照?qǐng)鼍?

傳統(tǒng)ISP無(wú)法抑制Sensor高增益模式下的噪點(diǎn);車載AI-ISP在顯著提升感光度的同時(shí)精準(zhǔn)抑制噪聲，達(dá)成亮度與畫質(zhì)的雙重躍升。

全彩OMC攝像頭(低照?qǐng)鼍?

傳統(tǒng)OMC Sensor選用RGB-IR方案，由于低照度效果受限需要開啟紅外補(bǔ)光，在紅外模式下，使用IR來(lái)感光，不僅失去了色彩信息，且感光分辨率也只有全畫幅的1/4;全彩OMC使用AI-ISP取消了紅外模式，既保證了低照度效果，又保留了色彩信息，并且感光分辨率能夠保留全畫幅提升畫面清晰度。