主要內(nèi)容：

文章主要強(qiáng)調(diào)隱私保護(hù)下的視覺定位，這是近年來被很多研究者重視的一個研究方向，即在不傷害用戶隱私的情況下進(jìn)行算法的研究。

文章以此提出了一種使用事件攝像機(jī)的魯棒、隱私保護(hù)的視覺定位算法，事件相機(jī)由于其高動態(tài)范圍和小的運(yùn)動模糊比傳統(tǒng)相機(jī)有一定的優(yōu)勢，但是缺點(diǎn)在于事件相機(jī)存在很大的域間隙，難以直接應(yīng)用傳統(tǒng)的基于圖像的定位算法，針對存在的問題，文章提出了一種策略，即在定位之前，把事件相機(jī)捕獲的數(shù)據(jù)轉(zhuǎn)換為傳統(tǒng)圖像形式，從隱私角度來看與普通攝像機(jī)相比，事件攝像機(jī)只捕捉到一小部分視覺信息，因此可以自然隱藏敏感的視覺細(xì)節(jié)，為了進(jìn)一步加強(qiáng)隱私保護(hù)，還在兩個級別上引入了隱私保護(hù)，即傳感器和網(wǎng)絡(luò)級別，傳感器級保護(hù)旨在通過輕量級過濾來隱藏面部細(xì)節(jié)，而網(wǎng)絡(luò)級保護(hù)則使用神經(jīng)網(wǎng)絡(luò)來隱藏私人場景應(yīng)用中的整個用戶視圖，這兩種級別的保護(hù)都涉及輕量計(jì)算，只會導(dǎo)致少量性能損失。

什么是事件相機(jī)？

我們大多數(shù)人對傳統(tǒng)相機(jī)以及其拍攝的RGB圖像很熟悉，但是對于事件相機(jī)應(yīng)該是很少使用了解的。

早期的圖像處理（其實(shí)現(xiàn)在更多也是）都是基于傳統(tǒng)相機(jī)來做的，然而傳統(tǒng)相機(jī)在應(yīng)用中有兩個很明顯的問題，如下圖，一個是運(yùn)動模糊（當(dāng)場景中的運(yùn)動速度超過相機(jī)的采樣速率之后就會產(chǎn)生運(yùn)動模糊），雖然可以通過算法彌補(bǔ)運(yùn)動模糊，但是計(jì)算開銷很大，不滿足實(shí)時需求；另一個問題是由于光線的問題造成曝光不足或者過曝的動態(tài)范圍問題，強(qiáng)烈的陽光可能會使傳統(tǒng)相機(jī)無法看清視野物體。

Event camera則從傳感器層面解決傳統(tǒng)相機(jī)的缺點(diǎn)，同傳統(tǒng)相機(jī)不同，事件相機(jī)只觀測場景中的“運(yùn)動”，確切地說是觀察場景中的“亮度的變化”，它只會在有亮度變化時輸出對應(yīng)pixel的亮度變化（1或0），具有響應(yīng)快、動態(tài)范圍寬、無運(yùn)動模糊等優(yōu)勢。

對于傳統(tǒng)的相機(jī)，從某種程度上是捕獲一個靜態(tài)/靜止的空間，而Event Camera的目的是捕捉運(yùn)動的物體。對于單個像素點(diǎn)，Event Camera只有接收的光強(qiáng)產(chǎn)生變化時，該像素點(diǎn)才會輸出。比如亮度增加并超過的一個閾值，那么對應(yīng)像素點(diǎn)將輸出一個亮度增加的事件。Event Camera沒有幀的概念，當(dāng)場景變化時，就產(chǎn)生一系列的像素級（pixel-level）的輸出。事件相機(jī)的每個像素點(diǎn)是獨(dú)立異步工作的，所以動態(tài)范圍很大。總結(jié)就是，傳統(tǒng)相機(jī)以固定的幀率對場景進(jìn)行全幀拍攝，所有像素同步工作。事件相機(jī)是每個像素獨(dú)立異步工作，采樣率高且僅對亮度變化（event）進(jìn)行輸出，一個事件（event，亮度變化）包括發(fā)生的時刻、發(fā)生的像素坐標(biāo)和事件發(fā)生的極性。所謂事件發(fā)生的極性表示的是亮度相比于前一次采樣是增加還是減少。

Contributions：

（1）使用事件攝像機(jī)在具有挑戰(zhàn)性的條件下進(jìn)行魯棒定位

（2）傳感器級隱私保護(hù)以緩解觀察到的人的擔(dān)憂

（3）網(wǎng)絡(luò)級隱私保護(hù)以減輕用戶的擔(dān)憂

為什么要在隱私保護(hù)下進(jìn)行算法研究？

如圖1所示，定位應(yīng)用的使用者可能會擔(dān)心和提供商共享同樣的視圖，畢竟這在具有有限計(jì)算量的邊緣設(shè)備，比如手機(jī)、AR眼鏡等中是不可避免的，而且被觀察的人也會出現(xiàn)擔(dān)憂，被別人不知不覺就拍攝了照片。所以隱私保護(hù)下的視覺算法研究近年來被越來越多的研究者所關(guān)注研究。

Pipeline：

給定事件相機(jī)記錄的事件流，算法輸出在3D地圖中找到的查詢事件相機(jī)的6自由度姿態(tài)，如圖1所示。

定位過程中的隱私保護(hù)：

提出了兩個級別的隱私保護(hù)以防止信息共享過程中可能發(fā)生的違規(guī)行為。

（1）傳感器級隱私保護(hù)，其專注于隱藏面部細(xì)節(jié)。

（2）網(wǎng)絡(luò)級隱私保護(hù)，目標(biāo)是在私人場景中進(jìn)行定位，其用戶可能希望完全隱藏他們正在查看的內(nèi)容

傳感器級隱私保護(hù)：

傳感器級隱私保護(hù)在一致或彎曲的區(qū)域暫時移除，并將結(jié)果與原始體素混合，這種低級操作保留了靜態(tài)結(jié)構(gòu)，同時模糊了動態(tài)或面部信息，通過沿時間軸的中值濾波來過濾時間上不一致的區(qū)域，如圖2a所示。

對于累積量不足的體素網(wǎng)格區(qū)域，由于信噪比較低，濾波過程可能會產(chǎn)生偽影。因此使用圖2b所示的二進(jìn)制閾值將過濾后的體素與原始事件體素混合。

網(wǎng)絡(luò)級別隱私保護(hù)：

網(wǎng)絡(luò)級隱私保護(hù)將用戶的視圖完全隱藏在私有空間中，不讓服務(wù)提供商看到，同時節(jié)省了用戶端的計(jì)算。在服務(wù)提供商和用戶之間分割事件到圖像的轉(zhuǎn)換過程，其中推斷是使用私人重新訓(xùn)練的重建網(wǎng)絡(luò)完成的

但是考慮到服務(wù)提供商可能會攻擊，如圖3b所示，有三種可能的攻擊：交換層推斷、通用網(wǎng)絡(luò)重新訓(xùn)練和目標(biāo)網(wǎng)絡(luò)重新訓(xùn)練。首先，在交換層推斷中，采用的中間推斷結(jié)果，并使用原始網(wǎng)絡(luò)參數(shù)Θ運(yùn)行其余的重建。另外兩種攻擊涉及使用服務(wù)提供商可能可用的大量事件數(shù)據(jù)重新訓(xùn)練一組新的網(wǎng)絡(luò)。通用網(wǎng)絡(luò)再訓(xùn)練使用與私人訓(xùn)練相同的訓(xùn)練目標(biāo)訓(xùn)練隨機(jī)初始化的神經(jīng)網(wǎng)絡(luò)。目標(biāo)網(wǎng)絡(luò)重新訓(xùn)練類似地使用相同的目標(biāo)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，但使用的共享參數(shù)值初始化網(wǎng)絡(luò)的中間部分。使用重新訓(xùn)練的網(wǎng)絡(luò)，服務(wù)提供商可以嘗試交換層推斷，如圖3b所示。

實(shí)驗(yàn)：

數(shù)據(jù)集，使用三個數(shù)據(jù)集進(jìn)行評估，DA VIS240C、EvRooms和EvHumans。

DA VIS240C包括使用DA VIS攝像機(jī)拍攝的場景，該攝像機(jī)同時輸出事件和幀。

EvRooms是文章提出的一個新數(shù)據(jù)集，用于評估基于事件的定位算法在具有挑戰(zhàn)性的外部條件下的魯棒性。數(shù)據(jù)集在20個場景中被捕獲，并分成包含快速相機(jī)運(yùn)動（EvRoomsF）和低光照（EvRoomsL）的記錄。

EvHumans是另一個提出的新數(shù)據(jù)集，用于評估移動人群中的隱私保護(hù)定位。數(shù)據(jù)集由22名志愿者在12個場景中移動而成。這兩個數(shù)據(jù)集都是使用DA VIS346相機(jī)拍攝的。

比較的算法：

和直接的定位方法PoseNet，SP-LSTM以及以各種事件表示為輸入的基于結(jié)構(gòu)的方法

在隱私保護(hù)方面的效果：

總結(jié)：

提出了一種魯棒的基于事件的定位算法，可以同時保護(hù)用戶隱私。利用事件到圖像的轉(zhuǎn)換來適應(yīng)事件攝像機(jī)上基于結(jié)構(gòu)的定位。為了在轉(zhuǎn)換過程中保護(hù)隱私，提出了傳感器和網(wǎng)絡(luò)級別的保護(hù)。傳感器級保護(hù)的目標(biāo)是隱藏面部標(biāo)志，而網(wǎng)絡(luò)級保護(hù)的目的是在私人場景中為用戶隱藏整個視圖。

審核編輯 ：李倩