日前，在由黑芝麻智能主辦的“2023智能汽車芯片高峰論壇”上，黑芝麻智能圖像科學(xué)總監(jiān)王超發(fā)表主題為“黑芝麻智能NerualIQ ISP技術(shù)讓汽車洞察秋毫”的演講，全面解析這一技術(shù)。

近日，黑芝麻智能發(fā)布了武當(dāng)系列智能汽車跨域計(jì)算平臺(tái)及其首款芯片C1200。C1200的特色之一在于搭載了黑芝麻智能新一代自研NeuralIQ ISP模塊，為圖形計(jì)算提供更精準(zhǔn)的數(shù)據(jù)。在由黑芝麻智能主辦的“2023智能汽車芯片高峰論壇”上，公司圖像科學(xué)總監(jiān)王超發(fā)表主題為“黑芝麻智能NerualIQ ISP技術(shù)讓汽車洞察秋毫”的演講，全面解析這一技術(shù)。

通常情況下，ISP有很多常見(jiàn)的處理模塊，比如白平衡、自動(dòng)曝光控制、自動(dòng)對(duì)焦等。黑芝麻智能的NeuralIQ ISP在安防、手機(jī)、汽車三大場(chǎng)景具有全平臺(tái)的處理能力。三種場(chǎng)景對(duì)ISP的要求不盡相同。王超介紹，針對(duì)車載應(yīng)用，黑芝麻智能對(duì)ISP進(jìn)行了三大方面的優(yōu)化。

算法優(yōu)化

算法層面的優(yōu)化涉及到無(wú)幀延時(shí)的多幀降噪、夜晚去運(yùn)動(dòng)模糊、高亮高飽和區(qū)域色彩和細(xì)節(jié)保持、不同光譜sensor的色彩一致性四個(gè)方面。

黑芝麻智能設(shè)計(jì)了無(wú)幀延時(shí)的多幀降噪，去噪的同時(shí)保持多幀圖像的特征。在ISP里盡量保留多幀圖像共有的信息，使得對(duì)外界環(huán)境的可讀性得到提升。

運(yùn)動(dòng)模糊的寬度取決于在曝光時(shí)間內(nèi)運(yùn)動(dòng)物體投影在像素平面上的寬度，針對(duì)夜晚環(huán)境下的運(yùn)動(dòng)模糊情況，黑芝麻智能采用了減曝光+增增益+多幀降噪的方案，使得夜晚運(yùn)動(dòng)模糊時(shí)的圖像質(zhì)量得到更進(jìn)一步提高。

交通環(huán)節(jié)有很多重要信息都是比較高亮、高飽和的信息，黑芝麻智能通過(guò)算法改進(jìn)實(shí)現(xiàn)了顏色矯正、細(xì)節(jié)保持，從而為后端的感知算法提供更加準(zhǔn)確的數(shù)據(jù)。

有效的色彩管理手段（AWB/CCM/3DLut等）不只使得常見(jiàn)光譜種類的sensor的輸出圖像的色彩一致，針對(duì)不同光譜種類sensor的數(shù)據(jù)也可以做到色彩一致化。黑芝麻智能通過(guò)RGBIr的色彩處理和恢復(fù)，在即使有紅外影響的情況下，也可以得到和人類感知比較一致的顏色，為后端感知算法提供更加一致的輸入。

IP設(shè)計(jì)優(yōu)化

算法上優(yōu)化之外，黑芝麻智能在ISP的IP設(shè)計(jì)上也進(jìn)行了優(yōu)化。比如，車載環(huán)境下需要應(yīng)用的相機(jī)越來(lái)越多，黑芝麻智能通過(guò)IP設(shè)計(jì)手段，使用可以共享的邏輯來(lái)處理多個(gè)數(shù)據(jù)，讓一系列的計(jì)算邏輯可以被復(fù)用，以此方式減少芯片面積。

同時(shí)，黑芝麻智能的NeuralIQ ISP支持在線處理模式，可以用來(lái)減少車載圖像的處理數(shù)據(jù)延時(shí)。簡(jiǎn)單而言，從第一個(gè)數(shù)據(jù)輸入到ISP輸出第一個(gè)數(shù)據(jù)，在線處理模式的延時(shí)一般小于2毫秒。

全面的ISP IQ調(diào)試流程

對(duì)于ISP的調(diào)試工作，黑芝麻智能為NeuralIQ ISP模塊設(shè)置了模組性能檢查，模組參數(shù)標(biāo)定和調(diào)優(yōu)，并配備調(diào)試工具。

模組性能檢查涉及模組缺陷、MTF、DOF、炫光、紅外、漏光等。模組參數(shù)標(biāo)定和調(diào)優(yōu)包括鏡頭暗角標(biāo)定（LSC）、色彩校正矩陣標(biāo)定（CCM）、白平衡標(biāo)定（AWB）、噪聲標(biāo)定和調(diào)試。

在此基礎(chǔ)上，黑芝麻智能會(huì)對(duì)NeuralIQ ISP進(jìn)行客觀和主觀的測(cè)試工作?？陀^從鏡頭亮度陰影、鏡頭色度陰影、色彩準(zhǔn)確性、白平衡準(zhǔn)確性和灰階測(cè)試幾方面展開(kāi)。主觀測(cè)試則是在車載的主觀場(chǎng)景下進(jìn)行，例如白天、黑夜、日落等光照環(huán)境，隧道、車庫(kù)出入口、交通信號(hào)燈、車道線、十字路口等特殊環(huán)境，以及顛簸路面、反光路面、極暗光照等極端環(huán)境。

NeuralIQ ISP是黑芝麻智能兩大核心自研IP之一，適用于智能駕駛環(huán)視感知、前視感知、駕駛監(jiān)控等應(yīng)用場(chǎng)景。王超表示：“希望我們的ISP能夠使接入的車載相機(jī)得到更合理的圖像效果，提供給后端感知算法使用，幫助自動(dòng)駕駛能夠更順利地向前一步?！?/p>