電子發(fā)燒友網(wǎng)報(bào)道（文/梁浩斌）最近聽聞?dòng)兄邱{公司開始研究用事件相機(jī)作為核心傳感器，以替代目前普遍使用的RGB相機(jī)。那么事件相機(jī)是什么？跟現(xiàn)有的傳感器有哪些優(yōu)勢(shì)？這篇文章會(huì)簡(jiǎn)單解答到這兩個(gè)核心問題。

事件相機(jī)是模仿生物視覺系統(tǒng)的一種新型視覺感知傳感器，只對(duì)場(chǎng)景中的變化作出響應(yīng)，工作原理和傳統(tǒng)的CCD和CMOS圖像傳感器有本質(zhì)的區(qū)別。傳統(tǒng)的CCD和CMOS圖像傳感器是一定的幀率，獲取畫面中完整的圖像幀，比如30fps的視頻畫面，相當(dāng)于是每秒給當(dāng)前的場(chǎng)景按照時(shí)間順序拍攝30張照片，從而組成一段視頻。

而事件相機(jī)是采用異步工作模式，每個(gè)像素獨(dú)立監(jiān)測(cè)亮度變化。當(dāng)某個(gè)像素的對(duì)數(shù)亮度變化足夠大，超過預(yù)設(shè)閾值時(shí)，該像素會(huì)立即生成一個(gè)“事件”并輸出。

這里輸出的“事件”中，包含三個(gè)關(guān)鍵信息：精確時(shí)間戳（微秒級(jí)精度）、像素坐標(biāo)（x,y位置）、極性信息（亮度變化的方向，亮度增加“+”或減少“-”）。

這種工作方式類似于人類視網(wǎng)膜的神經(jīng)節(jié)細(xì)胞，也就是只傳遞場(chǎng)景中的變化信息，而不是全部視覺內(nèi)容。事件相機(jī)的數(shù)據(jù)輸出形式是“事件流”，不是傳統(tǒng)的圖像幀，這使其在處理動(dòng)態(tài)場(chǎng)景時(shí)具有獨(dú)特優(yōu)勢(shì)。

所以，這種優(yōu)勢(shì)在自動(dòng)駕駛等場(chǎng)景就凸顯出來了。具體來說，相比傳統(tǒng)的相機(jī)，事件相機(jī)微秒級(jí)的響應(yīng)能力可以捕抓超高速運(yùn)動(dòng)信息，可以實(shí)現(xiàn)無拖影、清晰的動(dòng)態(tài)軌跡。而傳統(tǒng)相機(jī)因?yàn)槭艿綆氏拗?，每一幀的曝光時(shí)間實(shí)際上是受限的，當(dāng)曝光時(shí)間過短，在拍攝高速運(yùn)動(dòng)物體時(shí)就很容易出現(xiàn)模糊。

在動(dòng)態(tài)范圍方面，事件相機(jī)具備對(duì)數(shù)響應(yīng)特性，即傳感器輸出信號(hào)與光強(qiáng)的對(duì)數(shù)成正比，這也意味著事件相機(jī)擁有人眼般的動(dòng)態(tài)范圍能力，可以達(dá)到120dB-140dB，在極端光照條件下可以保持穩(wěn)定工作。

另外，在功耗和數(shù)據(jù)量上，事件相機(jī)更是適應(yīng)視覺AI需求。首先功耗可以低至傳統(tǒng)相機(jī)的十分之一，在數(shù)據(jù)量上，由于不需要完整輸出高幀率的圖像，在傳統(tǒng)相機(jī)輸出數(shù)據(jù)量為10MB/s的情況下，事件相機(jī)可能只要不到100KB/s，靜態(tài)場(chǎng)景下，甚至幾乎不會(huì)產(chǎn)生數(shù)據(jù)。

對(duì)于視覺AI而言，更低的數(shù)據(jù)處理量，能夠帶來更高效和更快響應(yīng)的計(jì)算，顯然這項(xiàng)技術(shù)應(yīng)用到自動(dòng)駕駛中，可能會(huì)令算力需求大幅降低，或是能夠以更低算力實(shí)現(xiàn)L4級(jí)別無人駕駛。

不過，目前來看事件相機(jī)的開發(fā)生態(tài)和應(yīng)用、產(chǎn)品都還不成熟。一方面是事件相機(jī)輸出的事件流數(shù)據(jù)格式特殊，需要專門設(shè)計(jì)的算法進(jìn)行處理，但目前事件相機(jī)的開發(fā)工具鏈、軟件庫和算法生態(tài)仍處于早期階段，要真正投入大規(guī)模應(yīng)用還需要產(chǎn)業(yè)鏈的共同推進(jìn)。

目前，事件相機(jī)廠商主要有Prophesee、iniVation、索尼、視美泰、銳思智芯、DVSense、辛米爾等，應(yīng)用場(chǎng)景主要在工業(yè)檢測(cè)、監(jiān)控等領(lǐng)域。

事件相機(jī)作為仿生視覺的里程碑式創(chuàng)新，正在突破傳統(tǒng)成像技術(shù)的物理極限。隨著算法優(yōu)化、硬件融合與成本下降，這一技術(shù)將從實(shí)驗(yàn)室走向廣闊的商業(yè)化應(yīng)用，為機(jī)器人、自動(dòng)駕駛等領(lǐng)域賦予革命性的感知能力。