Motivations:

用粗略模型(長方體或橢球體)表示的對象可能不夠精確，無法改善相機(jī)的位姿跟蹤。

目前SOTA目標(biāo)檢測器對視角和光照變化具有很強(qiáng)的魯棒性，這對于從大量不同視角恢復(fù)相機(jī)姿態(tài)非常有利。

缺乏用于構(gòu)建面向?qū)ο蟮貓D的全自動系統(tǒng)，都有著一定的假設(shè)。

Contributions:

結(jié)合對象和點的優(yōu)點，提出了一種改進(jìn)的重定位方法，能夠從大量不同的視角中估計相機(jī)位姿。

提出了一種全自動的SLAM系統(tǒng)，能夠在飛行中識別、跟蹤和重建對象。

Background and Related Works:

1. 對象建圖

Crocco使用簡化相機(jī)模型，提出了一種封閉形式的公式來估計來自多視圖目標(biāo)檢測的對偶二次曲面。Rubino將其拓展到針孔相機(jī)模型。Chen等人解決了前向移動中初始化對象估計問題。

2. 基于對象的定位

Weinzaepfel等人利用查詢圖像中出現(xiàn)的對象與參考圖像中出現(xiàn)的對象之間的稠密2D-3D對應(yīng)關(guān)系來計算相機(jī)的位姿，但該方法僅限于平面對象。

一些工作使用了更通用的對象，用橢球表示。然而這些方法僅從對象估計相機(jī)姿態(tài)，并假設(shè)一個預(yù)構(gòu)建的對象地圖。[11]只估計相機(jī)的位置，假設(shè)方向已知。[38]專注于3D感知橢圓對象檢測。

3. 基于對象的SLAM

Bao等人在定位和建圖中引入了對象，在一個SfM框架中識別和定位對象。McCormac等人和Sünderhauf等人將RGB-D SLAM和語義分割和對象檢測相融合，獲得具有語義注釋的稠密點云。

QuadricSLAM使用對偶二次曲面作為3D地標(biāo)，共同估計相機(jī)位姿和對偶二次曲面參數(shù)。EAO-SLAM在半稠密的SLAM中集成對象，利用不同的統(tǒng)計信息來提高數(shù)據(jù)關(guān)聯(lián)的魯棒性。Hosseinzadeh將點、平面和二次曲面聯(lián)合為基于因子圖的SLAM。SO-SLAM中，Liao等人使用手工提取的平面為對象添加支撐約束，以及語義尺度先驗和對象約束。ROSHAN利用邊界框檢測、圖像紋理、語義知識和對象形狀先驗來推斷橢球模型，并解決前向平移車輛運(yùn)動下的可觀察性問題。CubeSLAM使用長方體來表示對象，使用2D邊界框和消失點采樣從單圖中生成對象候選。Frost等人用球體建模對象，并使用它們解決SLAM中的尺度不確定和漂移問題。

4. 基于對象的SLAM重定位

只有Dudek等人利用SLAM中的語義地圖進(jìn)行重定位。Mahattansin等人利用對象檢測改進(jìn)了視覺SLAM的重定位，但對象檢測知識用來更好地篩選候選關(guān)鍵幀，相機(jī)位姿仍使用與最相似的關(guān)鍵幀的點匹配估計得到。

Methodology:

1. 橢球體對象表示

9DoF表示，3DoF表示軸長，3DoF表示方向，3DoF表示位置。其方程可以用對偶空間的封閉形式表示。橢球體定義為4×4矩陣Q*,橢圓定義為3×3矩陣C*。

2. 目標(biāo)檢測與關(guān)聯(lián)

目標(biāo)檢測器：YOLO (只考慮評分高于0.5的檢測)

2.1 基于box的對象追蹤

在重建之前，基于邊界框重疊和標(biāo)簽一致性在2D幀中跟蹤對象在兩幀之間的運(yùn)動相對較小和平滑時短期有效。

考慮3D重建來獲得長期的跟蹤，將其橢球模型投影到當(dāng)前幀中，并利用該幀中與目標(biāo)檢測的重疊來尋找關(guān)聯(lián)。

結(jié)合以上兩種情況，使用匈牙利算法找到最優(yōu)關(guān)聯(lián)，該最大化匹配總分，以便在N次檢測和M個對象之間找到最佳的可能分配。

2.2 基于點的對象追蹤

在相機(jī)位姿估計過程中，將圖像關(guān)鍵點與地圖地標(biāo)進(jìn)行魯棒匹配，這些匹配可以用于鏈接檢測框和對象橢球：

1）在圖像中，如果一個關(guān)鍵點位于邊界框內(nèi)，它就與一個檢測相鏈接

2）在地圖中，如果一個點地標(biāo)位于橢球體內(nèi)，則與該對象相鏈接

如果檢測和地圖對象之間至少存在τ個基于點的匹配，則關(guān)聯(lián)。

3. 初始對象重建

當(dāng)通過相機(jī)中心的光線與對象檢測中心的光線之間的角度變化為10°以上時，創(chuàng)建其3D橢球的初始估計。為了盡快地獲得對象的3D估計，對象最初被重建為球體，然后隨著視角的增加，細(xì)化為橢球體的形式。

球體的位置是從邊界框的中心進(jìn)行三角測量，半徑被確定為邊界框的平均大小。

其中，為在第i個相機(jī)坐標(biāo)系中的對象中心z坐標(biāo)，和為第i幀檢測框的寬度和高度，和為相機(jī)內(nèi)參，n為對象被追蹤到的幀數(shù)。

然后將該球體細(xì)化為橢球體，更新其軸長和位姿，以最小化重投影誤差的形式進(jìn)行改進(jìn)。當(dāng)經(jīng)過足夠幀數(shù)(通常為40幀)重構(gòu)和細(xì)化對象，3D IoU超過閾值時，將對象集成到地圖中。

4. 局部對象建圖

4.1 對象優(yōu)化

與ORB-SLAM2的局部束調(diào)節(jié)類似，對象模型也會定期進(jìn)行優(yōu)化，每當(dāng)一個新的關(guān)鍵幀觀察到地圖中存在的對象時，就會通過最小化重投影誤差來優(yōu)化對象。

其中，為第j次檢測框的內(nèi)切橢圓， 為第i個對象的對偶矩陣，為第j個關(guān)鍵幀的投影矩陣，為第j個關(guān)鍵幀的目標(biāo)檢測評分，N為對象觀測數(shù)量。

4.2 對象合并

系統(tǒng)定期檢查重復(fù)的對象，如果它們的3D IoU超過0.2，并且一個橢球體的中心位于另一個橢球體的內(nèi)部或者共享超過 個3D點，則合并這兩個對象。

對關(guān)鍵幀中的兩個對象跟蹤的檢測框進(jìn)行組合，并初始化一個新的橢球。

5. 使用對象重定位

當(dāng)重構(gòu)地圖上的點與關(guān)鍵幀顯著不同時，基于BoW的方法經(jīng)常失敗。因此采用基于對象的方法增強(qiáng)重定位，對視角改變更加魯棒。

由于PnP計算出的位姿比從對象對應(yīng)關(guān)系中得到的位姿更準(zhǔn)確，主要思想是引導(dǎo)點與從對象對應(yīng)關(guān)系中計算出的姿態(tài)進(jìn)行匹配。然后采用點對應(yīng)關(guān)系使用PnP進(jìn)行定位。

基于對象的方法：根據(jù)橢圓-橢球的類別建立了橢圓-橢球?qū)?，每次迭代至少選擇三對組合，在中心使用P3P算法計算相機(jī)位姿。對于P3P解出的四種解，橢球體被投影并且基于重疊關(guān)聯(lián)檢測，代價計算為每個關(guān)聯(lián)對的(1-IoU)之和，選擇四種解中代價最小的相機(jī)位姿。

然后將基于對象方法得到的位姿通過ORB-SLAM2的局部匹配步驟來識別關(guān)鍵點-地標(biāo)對應(yīng)關(guān)系，選擇最小代價且超過30個關(guān)鍵點-地標(biāo)匹配的位姿，在點上進(jìn)行優(yōu)化。

Experiments:

1. 對象建圖

與EAO-SLAM的對比

2. 對象vs點

2.1 重定位

2.2 在束調(diào)整中集成對象

3. AR應(yīng)用

3.1 重新初始化3D追蹤

3.2 SLAM恢復(fù)

1-4）在3D中跟蹤相機(jī)，并建立點和對象的地圖

5-6）由于相機(jī)的突然運(yùn)動，跟蹤丟失了

7-9）當(dāng)重構(gòu)的場景再次可見時，重定位模塊從對象中估計相機(jī)姿態(tài)，建立點匹配，并使跟蹤和建圖繼續(xù)進(jìn)行。

4. 按部分建模

相機(jī)重定位需要足夠數(shù)量的對象（3），當(dāng)相機(jī)靠近時，可能只有一到兩個對象可見。解決方法：微調(diào)檢測器網(wǎng)絡(luò)，以檢測對象的可區(qū)分部分。

近距離情況下，雕像的部分(頭、肩膀和底部)被用于重新定位，當(dāng)遠(yuǎn)距離情況下，只使用完整的對象檢測。

Discussion and Future work:

考慮將基于對象的推理與靜態(tài)/動態(tài)識別相結(jié)合。

審核編輯 ：李倩