目前，我們正處于機(jī)器視覺(jué)和人工智能轉(zhuǎn)型的初期，據(jù)Yole Development等市場(chǎng)研究機(jī)構(gòu)的分析，預(yù)計(jì)到2030年，視覺(jué)技術(shù)將創(chuàng)造價(jià)值100億美元的市場(chǎng)。該技術(shù)會(huì)滲透到包括自動(dòng)駕駛、AR、可穿戴計(jì)算成像、機(jī)器人技術(shù)等各個(gè)領(lǐng)域。

機(jī)器視覺(jué)和人工智能領(lǐng)域總是離不開(kāi)視覺(jué)技術(shù)的，基于事件的神經(jīng)擬態(tài)視覺(jué)是一種新的成像技術(shù)范式，可以極大提高機(jī)器感知周圍環(huán)境的能力，從而做出智能決策。這種更進(jìn)一步的視覺(jué)技術(shù)如何在機(jī)器視覺(jué)和人工智能領(lǐng)域創(chuàng)造新的技術(shù)標(biāo)準(zhǔn)，如何將現(xiàn)有應(yīng)用的性能提升到全新的水平？

基于事件的視覺(jué)技術(shù)與傳統(tǒng)圖像傳感器的本質(zhì)區(qū)別

基于事件的神經(jīng)擬態(tài)視覺(jué)技術(shù)受生物原理啟發(fā)，與傳統(tǒng)的圖像傳感器工作方式有很大的不同。類似于人眼視網(wǎng)膜，基于事件的神經(jīng)擬態(tài)視覺(jué)技術(shù)傳感器不會(huì)在固定的時(shí)間生成圖像，而是著重于關(guān)注場(chǎng)景的動(dòng)態(tài)變化。這種動(dòng)態(tài)變化信息對(duì)于機(jī)器視覺(jué)和人工智能是相當(dāng)重要的。這種工作原理意味著基于該技術(shù)的傳感器采集圖像的方式是異步的、連續(xù)的，在模擬域中運(yùn)作。每個(gè)感光器都是獨(dú)立的，只對(duì)變化的事物作出反應(yīng)，靜態(tài)的背景信息不會(huì)被一遍又一遍被重復(fù)采集。

（像素的智能感知，Prophesee）

為了模擬這種生物學(xué)原理，需要設(shè)計(jì)智能像素，通過(guò)像素內(nèi)嵌的智能設(shè)計(jì)來(lái)實(shí)現(xiàn)。上圖所示的這套模擬處理系統(tǒng)，基于電平交叉采樣電路，每個(gè)像素都能夠?qū)?chǎng)景中的亮度變化做出反應(yīng)，從而壓縮冗余，提高數(shù)據(jù)傳輸速率。

以上圖中的傳感器為例，其時(shí)間可以精確至微秒級(jí)，而且數(shù)據(jù)采集速度非?？?，更重要的是每個(gè)像素都能獨(dú)立異步工作。因此基于該技術(shù)的傳感器的數(shù)據(jù)采集功能并不受場(chǎng)景中照明條件的影響。如此一來(lái)，這代表著其動(dòng)態(tài)范圍是比傳統(tǒng)的圖像傳感器要高的，大概在120-130dB之間。

基于事件的異步自適應(yīng)采樣和基于幀的數(shù)據(jù)采樣，差異也很明顯。在固定時(shí)間獲得的一系列圖像不可避免地會(huì)導(dǎo)致信息的冗余，雖然其產(chǎn)生的信息在時(shí)間上是連續(xù)的，但由于數(shù)據(jù)采集本身的非連續(xù)性，幀與幀之間會(huì)缺失信息。基于事件的異步自適應(yīng)采樣只獲取正在變化的信息，換個(gè)說(shuō)法就是捕捉時(shí)空范圍內(nèi)連續(xù)的信息流（像素級(jí)別）。根據(jù)Prophesee的說(shuō)法，這種傳感器不會(huì)產(chǎn)生原始數(shù)據(jù)，而是僅提供處理任務(wù)所需的必要信息。

（采集對(duì)比，Prophesee）

圖像之間隱藏信息

基于事件的傳感器可以快速響應(yīng)場(chǎng)景變化，揭示迄今為止基于幀的傳感器難以記錄的信息?；趲牟蹲讲杉瘎?dòng)態(tài)范圍不可避免是有限的，而且對(duì)光照條件極度依賴，對(duì)于新興的人工智能以及機(jī)器視覺(jué)并不友好。在對(duì)于運(yùn)動(dòng)物體的理解上，幀與幀之間是沒(méi)有信息記錄的，這對(duì)于理解整個(gè)運(yùn)動(dòng)來(lái)說(shuō)是很困難的，甚至有時(shí)候是不可能的。而基于事件的傳感帶來(lái)的連續(xù)的信息流，讓處理系統(tǒng)的跟蹤變得更為容易，對(duì)動(dòng)態(tài)信息的理解更深刻。這也意味著可以在本地更新跟蹤，在時(shí)間準(zhǔn)確度上提升一個(gè)大層次。

基于事件的傳感器能記錄亞毫秒時(shí)間級(jí)別的時(shí)間，等效于10000fps，能夠捕捉到那些轉(zhuǎn)瞬即逝的事件；因?yàn)椴挥涗浫哂鄶?shù)據(jù)，系統(tǒng)需要處理的數(shù)據(jù)減少了10至1000倍，對(duì)于關(guān)鍵動(dòng)態(tài)信息的獲取更準(zhǔn)確；同時(shí)其高動(dòng)態(tài)范圍，能夠抓取極端照明條件下隱藏起來(lái)的信息。

從機(jī)器學(xué)習(xí)的角度來(lái)看，這種連續(xù)的信息流抓取、跟蹤，對(duì)于其數(shù)學(xué)模型的構(gòu)建也是一個(gè)相當(dāng)大的簡(jiǎn)化。

基于事件的傳感器演進(jìn)

目前，基于事件的視覺(jué)技術(shù)傳感器已經(jīng)發(fā)展到了第四代。采用背照式（BSI）3D堆棧工藝制造，硅面積相比第三代VGA傳感器減少了10倍以上。因?yàn)閷IS層堆疊在了CMOS層之上，所以器件感光區(qū)域和邏輯電路較之前代也有一定的優(yōu)化。像素間距也降低至了4.86微米，加上超過(guò)80%的填充因子，傳感器具備更高的光電性能。

（應(yīng)用場(chǎng)景，Prophesee）

基于該傳感器的機(jī)器學(xué)習(xí)，可以不使用圖像來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)識(shí)別物體，二是使用時(shí)間編碼的信息。這給機(jī)器學(xué)習(xí)帶來(lái)了不小的改變，一是無(wú)需等待幀圖像大大降低了延遲，二是更容易泛化，抓取最主要的事件特征，減少數(shù)據(jù)集，最后則是減少了計(jì)算量。

小結(jié)

總的來(lái)看，基于事件的視覺(jué)傳感技術(shù)不受幀速率限制，實(shí)現(xiàn)了更快的速度和更高動(dòng)態(tài)范圍，其生成的數(shù)據(jù)量比傳統(tǒng)圖像傳感器少且功率更低（<10 mW），為機(jī)器視覺(jué)和人工智能提供了更具成本效益的視覺(jué)解決方案。