0.筆者個人體會：

這個工作來自于香港科技大學(xué)和香港城市大學(xué)。我們知道，隨著三維傳感器以及相關(guān)掃描技術(shù)的進(jìn)步，三維點(diǎn)云已經(jīng)成為三維視覺領(lǐng)域內(nèi)一項十分重要的數(shù)據(jù)形式。并且隨著深度學(xué)習(xí)技術(shù)的發(fā)展，許多經(jīng)典的點(diǎn)云深度學(xué)習(xí)處理方法被提出來。但是，現(xiàn)有的大多數(shù)方法都關(guān)注于點(diǎn)云的特征描述子學(xué)習(xí)。并且，在稠密的點(diǎn)云數(shù)據(jù)幀中，如果對所有點(diǎn)云都進(jìn)行處理，將會帶來巨大的計算和內(nèi)存壓力。

針對這種問題，提取部分具有代表性的關(guān)鍵點(diǎn)則成為一種自然而且有效的策略。但是，什么樣的點(diǎn)可以稱為三維點(diǎn)云中的關(guān)鍵點(diǎn)呢？這個問題仍然是一個開放的、沒有明確答案的問題。 本工作受D2-Net啟發(fā)，提出了一種新的三維點(diǎn)云關(guān)鍵點(diǎn)定義方式，將其與三維點(diǎn)的特征描述子關(guān)聯(lián)起來，有效的回答了什么是三維點(diǎn)云中的關(guān)鍵點(diǎn)，并驗證了該方法檢測到的關(guān)鍵點(diǎn)的可重復(fù)性。

但是，本方法的不足也十分明顯。正是由于它將關(guān)鍵點(diǎn)的檢測定義在三維點(diǎn)云點(diǎn)特征上，因此，在檢測關(guān)鍵點(diǎn)時，需要對輸入點(diǎn)云的所有點(diǎn)都提取相應(yīng)的點(diǎn)特征。這樣的話，即使此方法檢測到的關(guān)鍵點(diǎn)可以有效用于后續(xù)任務(wù)，但此方法本身仍需處理完整點(diǎn)云中的所有點(diǎn)，并不能在關(guān)鍵點(diǎn)提取階段就有效的降低計算和內(nèi)存壓力。

1、論文相關(guān)內(nèi)容介紹：

論文標(biāo)題：? D3Feat: Joint Learning of Dense Detection and Description of 3D Local Features

摘要：

成功的點(diǎn)云配準(zhǔn)通常取決于通過有區(qū)分性的3D局部特征魯棒地建立稀疏匹配。盡管基于學(xué)習(xí)的3D特征描述子發(fā)展迅速，但很少有人關(guān)注3D特征檢測器的學(xué)習(xí)，更不用說兩個任務(wù)的聯(lián)合學(xué)習(xí)。

在本文中，我們將3D全卷積網(wǎng)絡(luò)用于 3D點(diǎn)云，并提出了一種新穎實用的學(xué)習(xí)機(jī)制，可以稠密預(yù)測每個3D點(diǎn)的檢測分?jǐn)?shù)和描述特征。特別是，我們提出了一種關(guān)鍵點(diǎn)選擇策略，該策略克服了3D點(diǎn)云的固有密度變化，并進(jìn)一步提出了一種由訓(xùn)練期間的動態(tài)特征匹配結(jié)果引導(dǎo)的自監(jiān)督檢測器損失。

最后，我們的方法在3DMatch和KITTI數(shù)據(jù)集上進(jìn)行了評估，在室內(nèi)和室外場景中都取得了最先進(jìn)的結(jié)果，并在ETH數(shù)據(jù)集上顯示了其強(qiáng)大的泛化能力。在實際使用中，結(jié)果表明，通過采用可靠的特征檢測器，采樣較少數(shù)量的特征就足以實現(xiàn)準(zhǔn)確和快速的點(diǎn)云對齊。

主要貢獻(xiàn)：

1.我們利用基于KPConv的全卷積網(wǎng)絡(luò)，并采用聯(lián)合學(xué)習(xí)框架進(jìn)行3D局部特征檢測和描述，無需構(gòu)建對偶結(jié)構(gòu)，從而可以進(jìn)行快速推理。

2. 我們提出了一種新的密度不變關(guān)鍵點(diǎn)選擇策略，這是獲得3D點(diǎn)云可重復(fù)性高的關(guān)鍵點(diǎn)的關(guān)鍵。 3. 我們提出了一種自監(jiān)督檢測器損失，它在訓(xùn)練期間從動態(tài)特征匹配結(jié)果中獲取有意義的引導(dǎo)，從而保證了緊密耦合的描述子和檢測器的收斂。

方法介紹：

D2-Net是一種最近提出的一種2D 圖像匹配方法，受其啟發(fā)，我們沒有為關(guān)鍵點(diǎn)檢測和描述訓(xùn)練單獨(dú)的網(wǎng)絡(luò)，而是設(shè)計了一個具有雙重作用的單個神經(jīng)網(wǎng)絡(luò)：稠密特征描述符和關(guān)鍵點(diǎn)檢測器。

然而，由于點(diǎn)云的不規(guī)則性和不同的稀疏性，將D2-Net的思想應(yīng)用于3D領(lǐng)域并非易事。在下方法，我們將首先描述對不規(guī)則 3D點(diǎn)云進(jìn)行特征描述子提取和和關(guān)鍵點(diǎn)檢測的基本步驟，然后解釋我們的方法在3D領(lǐng)域中處理稀疏性變化的策略。



Fig1：（左）D3Feat的網(wǎng)絡(luò)架構(gòu)。每個塊表示一個使用KPConv代替圖像卷積的ResNet塊。除了最后一層之外的所有層都使用Batch Normalization和ReLU。（右）關(guān)鍵點(diǎn)檢測。在稠密點(diǎn)特征提取之后，我們通過應(yīng)用顯著性分?jǐn)?shù)和通道最大分?jǐn)?shù)來計算關(guān)鍵點(diǎn)檢測分?jǐn)?shù)。

一、稠密特征描述子提取

為了解決不規(guī)則點(diǎn)的卷積問題并更好地捕獲局部幾何信息，KPConv方法被提出來，它使用帶卷積權(quán)重的核點(diǎn)來模擬二維卷積中的核像素，然后在原始點(diǎn)云上定義卷積操作。我們采用KPConv作為我們的骨干網(wǎng)絡(luò)來執(zhí)行稠密特征提取操作。下面我們先簡單回顧一下KPConv的方法。 以矩陣形式表示給定的一組點(diǎn)和一組特征，令xi和fi分別表示中的第i個點(diǎn)及其在中相應(yīng)的特征。定義在核g上的x點(diǎn)的卷積為 其中是x點(diǎn)的半徑鄰域，xi是該鄰域的支撐點(diǎn)。核函數(shù)定義為 其中 是核點(diǎn)和支持點(diǎn)之間的相關(guān)性函數(shù)，是核點(diǎn) 的權(quán)重矩陣，K是核點(diǎn)的個數(shù)。

我們建議讀者參考KPConv原始論文了解更多詳細(xì)信息。 KPConv的原始公式不是對點(diǎn)云密度不變的，因此，我們在以上公式中添加了一個密度歸一化項，它總結(jié)了x附近的支持點(diǎn)的數(shù)量，以確保卷積是稀疏不變的的：

基于歸一化核點(diǎn)卷積，我們采用帶有跨層連接和殘差塊的類似UNet的結(jié)構(gòu)來構(gòu)建全卷積網(wǎng)絡(luò)，如圖1（左）所示。 與僅支持稀疏特征描述子的基于塊的方法不同，我們的網(wǎng)絡(luò)能夠在完卷積設(shè)置下執(zhí)行稠密的特征描述子提取。我們網(wǎng)絡(luò)的輸出是二維矩陣形式的稠密特征圖，其中c是特征向量的維度。點(diǎn)的描述子記為， 其中表示二維矩陣的第i行，特征描述子被L2歸一化到單位長度。

二、稠密關(guān)鍵點(diǎn)檢測

D2-Net在特征圖的空間和通道維度上的局部最大值，并使用softmax來評估像素的局部最大值以檢測二維圖像關(guān)鍵點(diǎn)。由于圖像的規(guī)則結(jié)構(gòu)，他們的方法只是選擇相鄰像素作為鄰域。為了將他們的方法擴(kuò)展到 3D，這種策略可能會被半徑鄰域所取代，以處理點(diǎn)云的非均勻采樣設(shè)置。

但是，半徑鄰域中的相鄰點(diǎn)的數(shù)量可能會有很大差異。在這種情況下，如果我們簡單地使用softmax來評估空間維度上的局部最大值，那么點(diǎn)較少的局部區(qū)域本來就會有更高的分?jǐn)?shù)。為了解決這個問題，我們提出了一個密度不變的顯著性分?jǐn)?shù)來評估某個點(diǎn)與其局部鄰域相比的顯著性。給定稠密特征圖，我們認(rèn)為為3D響應(yīng) 的集合： 其中表示二維矩陣的第 k 列。點(diǎn)為關(guān)鍵點(diǎn)的原則是 其中是xi的半徑鄰域。這表示 首先選擇最顯著的通道，然后通過它是否是該特定響應(yīng)圖上其空間局部鄰域的最大值來驗證。在訓(xùn)練期間，我們通過應(yīng)用兩個分?jǐn)?shù)來使上述過程可微以使其可訓(xùn)練，如圖 1（右）所示。

1.密度不變顯著性得分：

該分?jǐn)?shù)旨在評估一個點(diǎn)與其局部鄰域中的其他點(diǎn)相比的顯著性。在 D2-Net中，評估局部最大值的分?jǐn)?shù)定義為xi 然而，這個公式對于稀疏性不是不變的。因為分?jǐn)?shù)是通過總和歸一化的，這使得稀疏區(qū)域固有的比稠密區(qū)域具有更高的分?jǐn)?shù)。

因此，我們設(shè)計了一個密度不變的顯著性分?jǐn)?shù)，如下所示： 在這個公式中，一個點(diǎn)的顯著性分?jǐn)?shù)被計算為其特征與其局部鄰域的平均特征之間的差異。因此，它測量了中心點(diǎn)相對于局部區(qū)域中支持點(diǎn)的相對顯著性。此外，使用平均響應(yīng)代替總和可以防止分?jǐn)?shù)受到鄰域中點(diǎn)數(shù)的影響。

2.通道最大得分：

該分?jǐn)?shù)旨在為每個點(diǎn)挑選最顯著的通道： 最后，將兩個分?jǐn)?shù)都考慮到最終的關(guān)鍵點(diǎn)檢測得分： 因此，在獲得輸入點(diǎn)云的關(guān)鍵點(diǎn)得分圖后，我們選擇得分最高的點(diǎn)作為關(guān)鍵點(diǎn)。

三、聯(lián)合優(yōu)化特征描述子提取器和關(guān)鍵點(diǎn)檢測器

設(shè)計合適的監(jiān)督信號是聯(lián)合優(yōu)化特征描述子提取器和關(guān)鍵點(diǎn)檢測器的關(guān)鍵。在本節(jié)中，我們將首先描述描述子的度量學(xué)習(xí)損失，然后從自監(jiān)督的角度設(shè)計檢測器損失。

1.特征描述子提取損失函數(shù)

為了優(yōu)化特征描述子提取網(wǎng)絡(luò)，許多工作嘗試使用度量學(xué)習(xí)策略，如對比損失和三元組損失。我們這里將使用對比損失，因為從我們的實驗中可以發(fā)現(xiàn)它可以提供更好的收斂性能。至于采樣策略，我們采用的是hardest in batch策略，使網(wǎng)絡(luò)專注于最難的點(diǎn)對。 給定一對部分重疊的點(diǎn)云碎片P和Q，以及一個包括n對對應(yīng)3D點(diǎn)的集合。假設(shè)是一個對應(yīng)對，對應(yīng)的兩點(diǎn)的描述子記為和，得分記為和，然后將正樣本對之間的距離定義為它們的描述子之間的歐幾里得距離，即 負(fù)樣本對之間的距離被定義為： 其中R是安全半徑，是位于真實對應(yīng)安全半徑之外的最難負(fù)樣本。對比損失定義為 其中是正對的邊界，是負(fù)對的邊界。

2.關(guān)鍵點(diǎn)檢測器損失函數(shù)

為了優(yōu)化關(guān)鍵點(diǎn)檢測器網(wǎng)絡(luò)，我們尋求一種損失公式，鼓勵容易匹配的對應(yīng)點(diǎn)比難以匹配的對應(yīng)點(diǎn)具有更高的關(guān)鍵點(diǎn)檢測分?jǐn)?shù)。D2-Net提出了對三元組邊界損失的擴(kuò)展，以聯(lián)合優(yōu)化特征描述子提取和關(guān)鍵點(diǎn)檢測器：

其中M是三元組邊界。然而，這個損失并沒有為分?jǐn)?shù)項提供明確的引導(dǎo)，并且這個原始損失公式并不能保證在我們的方法收斂。

因此，我們設(shè)計了一個損失項來明確引導(dǎo)分?jǐn)?shù)的梯度。從自監(jiān)督的角度來看，我們使用on-the-fly特征匹配結(jié)果來評估每個對應(yīng)點(diǎn)的判別性，這將引導(dǎo)每個關(guān)鍵點(diǎn)的得分的梯度傳播。

如果對應(yīng)點(diǎn)在當(dāng)前描述子提取網(wǎng)絡(luò)下可以匹配，我們希望其得分更高，反之亦然。具體來說，我們將關(guān)鍵點(diǎn)檢測器損失定義為 直觀地說，如果，則表明該對應(yīng)點(diǎn)可以使用最近鄰搜索正確匹配，并且損失項將鼓勵對應(yīng)的兩點(diǎn)獲得的分?jǐn)?shù)和更高。相反，如果 ，則對應(yīng)點(diǎn)的描述子不足以使它們建立對應(yīng)關(guān)系，因此損失將鼓勵降低其得分。








審核編輯：劉清