Facebook進(jìn)一步介紹關(guān)于最近用以優(yōu)化控制器追蹤性能的版本更新，尤其是針對(duì)具有挑戰(zhàn)性的追蹤環(huán)境，如包含圣誕樹或假日裝飾燈具的空間。由于Facebook的追蹤系統(tǒng)是基于檢測(cè)和幾何匹配小簇紅外光，所以假日季期間將呈現(xiàn)重大的挑戰(zhàn)，因?yàn)樗诎瑪?shù)百個(gè)光點(diǎn)blob的背景下正確追蹤控制器，而系統(tǒng)可能會(huì)將其誤認(rèn)為是控制器。

1. 追蹤挑戰(zhàn)

當(dāng)控制器位于圣誕樹前時(shí)，Insight追蹤系統(tǒng)所感知的畫面將如下所示。右側(cè)的黃點(diǎn)是系統(tǒng)檢測(cè)到的所有潛在控制器LED。如你所見，無論是來自圣誕樹，裝飾吊燈，還是其他可能存在的燈串，外部光源都會(huì)給系統(tǒng)定位控制器的LED帶來挑戰(zhàn)。

圖中的其他光源對(duì)追蹤算法提出了一定的挑戰(zhàn)：

更多的光點(diǎn)blob會(huì)導(dǎo)致分割和匹配的計(jì)算時(shí)間增加。

若無關(guān)于控制器在上一幀中的位置信息，如果控制器介于裝飾燈具的離群值范圍內(nèi)，則系統(tǒng)幾乎不可能計(jì)算姿勢(shì)。

就算存在先前的信息，即便是單個(gè)錯(cuò)誤的LED都會(huì)造成錯(cuò)誤地匹配，從而導(dǎo)致追蹤失敗。

由于Quest的嚴(yán)格計(jì)算預(yù)算，計(jì)算時(shí)間的任何增加都可能造成camera的掉幀。

面對(duì)上述挑戰(zhàn)，在假日裝飾燈附近的環(huán)境中進(jìn)行控制器追蹤非常困難，并且除非用戶關(guān)閉燈具或?qū)⑵湟浦疗渌块g，否則可能會(huì)導(dǎo)致錯(cuò)誤。但Facebook希望人們什么時(shí)候都能夠在家里享Quest和Rift S的樂趣，所以Facebook專注于優(yōu)化追蹤系統(tǒng)。

2. 解決方案

Facebook構(gòu)建了兩種主要方法來解決這個(gè)問題的不同方面：

首先，開發(fā)了一種可以檢測(cè)環(huán)境中的固定3D燈源，并使用其3D位置來幫助拒絕這種光點(diǎn)blob的全新算法。映射外部點(diǎn)的過程類似于Insight追蹤背后的系統(tǒng)。

要為這種固定的離群點(diǎn)創(chuàng)建精確的映射，需要系統(tǒng)計(jì)算它們的基本幾何形狀并對(duì)其在3D空間中的位置進(jìn)行三角測(cè)量。系統(tǒng)將在游玩過程建立其追蹤的標(biāo)記列表。這種標(biāo)記不僅存儲(chǔ)離群點(diǎn)的位置，同時(shí)存儲(chǔ)稱為協(xié)方差的不確定性值。這種不確定性可以幫助提高系統(tǒng)當(dāng)標(biāo)記為固定時(shí)的判斷精度。一旦在同一位置多次看到相同的標(biāo)記，系統(tǒng)就會(huì)予以確認(rèn)并在追蹤過程忽略相關(guān)的光點(diǎn)blob。

在下面的并排圖像中，你可以看到新算法（左側(cè)）識(shí)別出粉紅色標(biāo)記和綠色標(biāo)記。其中，粉紅色為圣誕樹燈具的光點(diǎn)blob，而綠色則為控制器LED的光點(diǎn)blob。

一旦繪制了固定標(biāo)記，系統(tǒng)就會(huì)將它們投影到camera視圖，從而獲取其在每一幀中的像素位置。在所述位置檢測(cè)到的光點(diǎn)blob（通過特定閾值內(nèi)的誤差度量來測(cè)量）不會(huì)用于匹配。進(jìn)行刪減后，系統(tǒng)將獲得一個(gè)非常有可能是控制器blob的非固定blob索引列表。但是，僅追蹤固定的標(biāo)記不足以確?？煽康淖粉?。在最具挑戰(zhàn)性的環(huán)境中，我們希望系統(tǒng)在處理之前先剔除明顯不正確的光源。

所以，F(xiàn)acebook通過內(nèi)部測(cè)試分析為何會(huì)發(fā)生追蹤不匹配。Facebook發(fā)現(xiàn)通常的情況是，由于姿態(tài)匹配，不匹配的控制器blob尺寸會(huì)錯(cuò)誤，如假定姿態(tài)接近時(shí)blob太小。綜上所述，圖像中的顯式blob尺寸基本可根據(jù)以下因素進(jìn)行預(yù)測(cè)：

LED與攝像頭的距離

入射到LED的入射角

圖像blob到圖像中心的距離

圖像Blob橢圓在圖像空間中的方向

考慮到這種關(guān)系，F(xiàn)acebook嘗試了不同的方法來將上述輸入信號(hào)建模為輸出。Facebook發(fā)現(xiàn)由于塑料的折射效應(yīng)，幾何建模相當(dāng)不準(zhǔn)確，而機(jī)器學(xué)習(xí)方法（尤其是小型神經(jīng)網(wǎng)絡(luò)）能帶來最高的精確度。

Facebook利用Caffe2訓(xùn)練了一個(gè)極小且針對(duì)性極強(qiáng)的CNN卷積神經(jīng)網(wǎng)絡(luò)，從而驗(yàn)證明顯太大或太小而無法成為控制器blob的blob。Facebook對(duì)特定的內(nèi)部采集數(shù)據(jù)集進(jìn)行了訓(xùn)練，并發(fā)現(xiàn)這與映射標(biāo)記結(jié)合時(shí)能夠明顯減少離群值數(shù)量的有效方法。

3. 結(jié)果

通過這種優(yōu)化，追蹤系統(tǒng)的性能在充滿挑戰(zhàn)的環(huán)境中（如假日季期間常見的環(huán)境）有了顯著改善。最大的改進(jìn)是顯著減少了數(shù)據(jù)丟失的數(shù)量，并幾乎消除了在密集外部照明情況下不正確的LED匹配。我們發(fā)現(xiàn)這能夠改善用戶體驗(yàn)，同時(shí)希望Quest和Rift S用戶能夠全年無縫地享受VR的樂趣。