本文介紹ICRA 2022中關(guān)于事件相機(jī)的幾篇工作，由于是關(guān)鍵字查找，可能有遺漏，且能力有限文章難免出現(xiàn)疏漏，請讀者批判性閱讀并指出問題。

[1]Asynchronous Optimisation forEvent-based Visual Odometry

本文面向純事件(不需要frame)和無地圖(map-free)，提出了在SE(3)上的單目視覺里程計(jì)VO，核心思想是采用增量式最大后驗(yàn)(MAP)優(yōu)化。

?

上圖清晰指出了本文的主要貢獻(xiàn)，在SLAM框架中，針對后端的優(yōu)化，采用增量式SfM和高斯過程(GP)迭代，計(jì)算出地圖和軌跡。本人認(rèn)為，這個(gè)圖做的非常好，值得學(xué)習(xí)借鑒，非常直觀的告訴了讀者本文的主要工作。

圍繞后端的優(yōu)化問題，文章在相關(guān)工作部分總結(jié)了優(yōu)化時(shí)不同的batching策略，分成了frame-based(固定時(shí)間/數(shù)量)、event-driven(逐事件)和event-drivenand tracking(事件驅(qū)動(dòng)和跟蹤的)，見下圖。

?

核心的算法涉及了較多數(shù)學(xué)知識(shí)，感興趣請查閱原文。但文章指出方法的缺陷是計(jì)算量較大(由于涉及了迭代等操作)，在1min左右的數(shù)據(jù)上計(jì)算時(shí)間約10min。

[2] Learning Local Event-basedDescriptor for Patch-based Stereo Matching

本文的主要工作是提出了兩種在雙目配準(zhǔn)中event的編碼和配準(zhǔn)方法。分別是“高效表示和網(wǎng)絡(luò)(Efficiency representation/Net)”以及“精準(zhǔn)表示與網(wǎng)絡(luò)(Accuracyrepresentation/Net)”。

在表示上，高效表示采用了voxel-grid的方式進(jìn)行切片，精準(zhǔn)表示則將一段時(shí)間內(nèi)的event生成6個(gè)channel的圖片：兩種極性的x-y,x-t,y-t圖。在配準(zhǔn)網(wǎng)絡(luò)上，高效網(wǎng)絡(luò)采用了全2D卷積的方式提高計(jì)算速度，精確網(wǎng)絡(luò)則包含了Squeeze-and-Excitation層以提高特征的recalibration。

? ?

[3] Kinematic Structure Estimation ofArbitrary Articulated Rigid Objects for Event Cameras

本文解決的是rigid object的kinematic structure(KS)任務(wù)。對這個(gè)不太了解，我的理解是分析出剛體的結(jié)構(gòu)并對其運(yùn)動(dòng)進(jìn)行提取，如下圖。

?

核心算法是叫做“增量式基于事件的運(yùn)動(dòng)估計(jì)”，基本原理由這兩個(gè)作者在2020和21年兩篇文章中提出[A1][A2]。由于不了解，本推送不做展開介紹。

[4] Fusing Event-based and RGB camerafor Robust Object Detection in Adverse Conditions

提出了一種針對不同條件(主要是圖像質(zhì)量降低)的融合frame和event的目標(biāo)檢測算法。算法的核心是從RGB和event中提取特征，再經(jīng)過FPN(FeaturePyramid Net)網(wǎng)絡(luò)進(jìn)行融合，以實(shí)現(xiàn)不同尺度上的檢測。

?

從上圖可以看出，網(wǎng)絡(luò)結(jié)構(gòu)很簡單，RGB圖采用了ResNet提取特征，Event通過voxel-grid的方式成圖后也提取特征，之后不同尺度的特征通過FPN進(jìn)行檢測。

值得提一句的是，本文所提出的圖像質(zhì)量降低是基于[A3]給出的圖像15種降質(zhì)，包括噪聲、模糊、天氣和數(shù)字化四類。但作者實(shí)驗(yàn)時(shí)，將DSEC數(shù)據(jù)集的圖片降質(zhì)后使用，而并沒有處理event對應(yīng)的數(shù)據(jù)，因此我認(rèn)為存在不合理之處。但作者做了event-only實(shí)驗(yàn)的對比，驗(yàn)證了融合低質(zhì)圖像的有效性。

另外，我最近看到了不少FPN網(wǎng)絡(luò)在event融合中的使用，各位可以關(guān)注下。

[5]A Linear Comb Filter for EventFlicker Removal

這篇文章很有趣，采用梳齒濾波器對事件的抖動(dòng)進(jìn)行去除，具體來說是消除了日光燈50hz頻閃產(chǎn)生的噪聲。作者是Ziwei Wang，熟悉的朋友應(yīng)該知道她之前和Cedric有不少合作，基本上都是圍繞濾波的。



圖：日光燈頻閃前后的事件熱度圖(下)和重建圖(上) 文章的核心算法是“梳齒濾波器”，這種濾波器形似梳子，抑制特定頻率整數(shù)倍的信號(hào)，而對非特定頻率的信號(hào)影響不大。

作者提出了前向后向反饋的梳齒濾波器，抑制50hz的周期信號(hào)。所設(shè)計(jì)的系統(tǒng)框圖和伯德圖見下。

?

文章很有趣，但我也指出兩個(gè)問題供讀者思考：1. 文章看起來需要保持相機(jī)和燈管相對靜止，如果有運(yùn)動(dòng)怎么辦，是否可以擴(kuò)展？2. 從熱度圖上可以看出仍然沒有去除全部的噪聲，原因是什么，是否是由于事件的jitter或on/off的不一致造成的，是否可以優(yōu)化？

[6] DEVO: Depth-Event Camera VisualOdometry in Challenging Conditions

本文提出了一種事件相機(jī)+深度相機(jī)的VO算法，基本思想是使用RGBD提供了深度，更方便地幫助event相機(jī)建立地圖與位姿估計(jì)。

關(guān)于這篇文章，今年2月在arxiv上看到了作者上傳的預(yù)印本，并在之前的推送中做了詳細(xì)介紹，本次推送不做展開。

[7] VISTA 2.0: An Open, Data-drivenSimulator for Multimodal Sensing and Policy Learning for Autonomous Vehicles

這篇文章并不算嚴(yán)格意義上的事件相機(jī)研究，只是做了個(gè)面向policy-learning的仿真器，涉及了event的生成。推送簡單介紹：文章提出了一種基于虛擬視角的方法，對現(xiàn)有的實(shí)際場景數(shù)據(jù)集進(jìn)行合成，合成了不同視角下的image和Lidar，并利用改進(jìn)的ESIM方法生成了event數(shù)據(jù)。做無人駕駛相關(guān)的朋友如感興趣可以進(jìn)一步了解。

審核編輯：劉清