作者：戴沐白?

行人重識(shí)別是指在大規(guī)模場景中對未經(jīng)腳本的行人進(jìn)行身份識(shí)別，每個(gè)身份的樣本數(shù)量往往很少，這通常需要多個(gè)采集設(shè)備。我們的研究利用低成本的LiDAR解決行人重識(shí)別的挑戰(zhàn)。我們構(gòu)建了LReID數(shù)據(jù)集，這是第一個(gè)基于LiDAR的行人重識(shí)別數(shù)據(jù)集，用于促進(jìn)利用LiDAR點(diǎn)云進(jìn)行行人重識(shí)別的研究。

2、研究內(nèi)容

基于激光雷達(dá)（LiDAR）的行人重識(shí)別。我們利用低成本的LiDAR設(shè)備解決了人員再識(shí)別中的挑戰(zhàn)，構(gòu)建了名為LReID的LiDAR數(shù)據(jù)集，并提出了一種名為ReID3D的LiDAR-based ReID框架。

3、創(chuàng)新

主要體現(xiàn)在以下幾個(gè)方面：

首次提出了基于LiDAR的人員再識(shí)別（ReID）方法

構(gòu)建了第一個(gè)LiDAR-based ReID數(shù)據(jù)集（LReID）

提出了LiDAR-based ReID框架（ReID3D）

4、方法

提出了一種基于LiDAR的行人重識(shí)別方法，稱為ReID3D。該方法利用預(yù)訓(xùn)練來引導(dǎo)圖形增強(qiáng)編碼器（GCEE）提取全面的3D內(nèi)在特征。

圖1

ReID3D采用多任務(wù)預(yù)訓(xùn)練來引導(dǎo)編碼器學(xué)習(xí)基于LReID-sync的3D人體特征，如上圖1所示。ReID3D的ReID網(wǎng)絡(luò)由基于圖的互補(bǔ)增強(qiáng)編碼器（GCEE）、互補(bǔ)特征提取器（CFE）和時(shí)間模塊組成，如下圖2所示。預(yù)訓(xùn)練的GCEE用于初始化ReID網(wǎng)絡(luò)。

圖2

基于我們的觀察，可能影響ReID模型性能的關(guān)鍵因素是（1）在跨視圖設(shè)置下，不同視角導(dǎo)致的信息變化，以及（2）來自單視圖的不完整信息。此外，真實(shí)數(shù)據(jù)的收集和注釋涉及顯著的成本，而模擬數(shù)據(jù)成本低廉，并且具有豐富和準(zhǔn)確的注釋。因此，我們利用模擬數(shù)據(jù)對編碼器進(jìn)行預(yù)訓(xùn)練，用于點(diǎn)云完成和SMPL參數(shù)學(xué)習(xí)的任務(wù)。我們提出的預(yù)訓(xùn)練方法的整體思路如圖1所示。

5、數(shù)學(xué)原理

在這篇文章中，有幾個(gè)數(shù)學(xué)公式被用來描述算法和模型的工作原理。

第一個(gè)公式是關(guān)于點(diǎn)云完成任務(wù)的。它表示了通過編碼器將輸入的點(diǎn)云轉(zhuǎn)換為潛在向量，然后通過解碼器基于來預(yù)測完整的點(diǎn)云。公式如下：

第二個(gè)公式是關(guān)于學(xué)習(xí)人體特征的。它表示了通過將潛在向量輸入到一個(gè)多層感知機(jī)（MLP）網(wǎng)絡(luò)中，將轉(zhuǎn)換為預(yù)測的形狀參數(shù)。公式如下：

第三個(gè)公式是關(guān)于點(diǎn)云完成任務(wù)的損失函數(shù)。它使用Chamfer距離（CD）作為預(yù)測點(diǎn)云和真實(shí)點(diǎn)云之間的差異度量。公式如下：

第四個(gè)公式是關(guān)于學(xué)習(xí)形狀參數(shù)的損失函數(shù)。它使用均方誤差（MSE）作為預(yù)測形狀參數(shù)和真實(shí)形狀參數(shù)之間的差異度量。公式如下：

這些公式用于描述算法和模型的訓(xùn)練過程和損失函數(shù)，以及從點(diǎn)云中提取特征的方法。

6、實(shí)驗(yàn)方法與結(jié)果

本研究采用了兩種實(shí)驗(yàn)方法：LReID和LReID-sync

LReID實(shí)驗(yàn)方法：

數(shù)據(jù)集劃分：LReID數(shù)據(jù)集分為訓(xùn)練集和測試集，訓(xùn)練集包含220個(gè)身份，測試集包含剩余的100個(gè)身份。測試集中有30個(gè)身份在低光條件下采集，而70個(gè)身份在正常光照條件下采集。

查詢和畫廊集：在測試集中，選擇每個(gè)身份的一個(gè)樣本作為查詢集，將其他樣本作為畫廊集。

評估指標(biāo)：使用累積匹配特征（CMC）和平均精度（mAP）作為評估指標(biāo)，與基于攝像頭的數(shù)據(jù)集一致。

? ?

LReID-sync實(shí)驗(yàn)方法

數(shù)據(jù)集生成：使用Unity3D軟件生成LReID-sync數(shù)據(jù)集，模擬了多個(gè)視角的多個(gè)同步LiDAR捕捉到的場景中的行人。數(shù)據(jù)集包括了點(diǎn)云的完整視圖和單個(gè)視圖之間的補(bǔ)全注釋，以及SMPL參數(shù)。

數(shù)據(jù)集特點(diǎn)：LReID-sync包含了600個(gè)行人的點(diǎn)云數(shù)據(jù)，每個(gè)行人展示了不同的動(dòng)作、獨(dú)特的身體形狀和步態(tài)，確保了數(shù)據(jù)集的多樣性。

預(yù)訓(xùn)練：使用LReID-sync數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，引導(dǎo)編碼器學(xué)習(xí)3D身體特征。

評估指標(biāo)：與LReID相同，使用CMC和mAP作為評估指標(biāo)。

?

7、還有那些改進(jìn)？

算法改進(jìn)：可以進(jìn)一步改進(jìn)LiDAR-based ReID算法，提高人物識(shí)別的準(zhǔn)確性和魯棒性。

數(shù)據(jù)集擴(kuò)充：可以進(jìn)一步擴(kuò)充LiDAR-based ReID數(shù)據(jù)集，增加更多的場景、季節(jié)和光照條件的樣本。

多模態(tài)融合：可以將LiDAR數(shù)據(jù)與其他傳感器數(shù)據(jù)（如RGB圖像、紅外圖像等）進(jìn)行融合，以提高人物識(shí)別的準(zhǔn)確性和魯棒性。

實(shí)時(shí)性能優(yōu)化：可以進(jìn)一步優(yōu)化LiDAR-based ReID算法的實(shí)時(shí)性能，以適應(yīng)實(shí)際應(yīng)用場景中的實(shí)時(shí)需求。

跨數(shù)據(jù)集泛化：可以將LiDAR-based ReID算法在其他數(shù)據(jù)集上進(jìn)行驗(yàn)證和評估，以驗(yàn)證其在不同數(shù)據(jù)集和場景下的泛化能力。

8、結(jié)論

本研究是第一個(gè)關(guān)于基于LiDAR的行人重識(shí)別的研究，證明了在具有挑戰(zhàn)性的真實(shí)世界室外場景中利用LiDAR進(jìn)行人員再識(shí)別的可行性。

審核編輯：黃飛

?