動作捕捉現(xiàn)在已經(jīng)不是一個時髦的名詞了，它在電影、游戲中都得到廣泛的應(yīng)用，賦予了原本動作僵硬面目死板的角色以鮮活的生命，給人們帶來驚艷的視覺體驗(yàn)。

要說最早的動作捕捉，還要追溯到馬克福萊舍發(fā)明的“轉(zhuǎn)描技術(shù)”

利用特制的投影設(shè)備，將真人投影到畫布前，再由畫師，人肉作畫，一幀一幀的描下來。

（栩栩如生的豬八戒）

后來隨著動作捕捉技術(shù)的發(fā)展，又發(fā)展出幾種真正意義上的動作捕捉技術(shù)。

當(dāng)然，得到最廣泛應(yīng)用的自然是我們常見的往身上貼馬克點(diǎn)的光學(xué)式動捕。

不管是電影

還是游戲

配上動捕都如虎添翼，透著屏幕仿佛能感受到畫面中角色的呼吸。然而值得注意的是，當(dāng)實(shí)時全身動捕用在靈巧的五指上時，就很難產(chǎn)生類似的實(shí)時追蹤效果。

手部實(shí)時動作捕捉的主要困難在于識別和標(biāo)記被動馬克點(diǎn)。雖然可以使用主動馬克點(diǎn)來解決這個問題，但是一根根的連接線路和笨重的傳感器顯得有些累贅，而且主動馬克點(diǎn)可同時追蹤的數(shù)量也十分有限。若是對于馬克點(diǎn)標(biāo)記的全身追蹤，常見解決方案便是從預(yù)定義的T型或A型開始，依靠高幀追蹤來向前傳播標(biāo)記?？神R克點(diǎn)一旦被遮擋或由于虛假反射產(chǎn)生了重影，這種方案就沒啥精準(zhǔn)度了。而且由于手部體積小、關(guān)節(jié)多，馬克點(diǎn)的分布不得不密集，這就難免不產(chǎn)生遮擋和重影了。

就在前些日子，Oculus的負(fù)責(zé)人介紹了一款新型手動追蹤系統(tǒng)。該系統(tǒng)采用可以自我優(yōu)化的機(jī)器學(xué)習(xí)算法進(jìn)行訓(xùn)練，她說：“這種算法比之前所有的手部追蹤方案都更為準(zhǔn)確。”

由上圖也可以看出，Oculus的新型手動追蹤系統(tǒng)不管是在單雙手還是在手與物體的交互上表現(xiàn)的都很出色。

其實(shí)早在去年，扎克伯格就造訪了 Oculus研究實(shí)驗(yàn)室，在facebook的更新中，他上傳了幾張照片，其中一張就是帶著手套坐在一圈鐵架子中，這也與小編在新型手部動捕論文找到的攝像機(jī)設(shè)備一樣。矩形支架上統(tǒng)共擺放了16臺Optitrack相機(jī)，從而可以全方位捕捉手部的動作。

“我們正致力于將新的方式帶入虛擬和增強(qiáng)現(xiàn)實(shí)，戴上這些手套，你可以畫畫，在虛擬鍵盤上打字甚至可以體驗(yàn)一番漫威超級英雄的生活”扎克伯格說到。

從演示視頻來看，扎克伯格對于VR手部追蹤的愿景也正一步一步實(shí)現(xiàn)。

折一架童年的紙飛機(jī)

十八般樂器樣樣可行

我丟

（每副手套上安裝了19個馬克點(diǎn)）

研究人員展示了一種新穎的標(biāo)記和跟蹤系統(tǒng)，能夠在具有頻繁遮擋的挑戰(zhàn)性交互場景中實(shí)現(xiàn)手部姿勢的全自動實(shí)時估計。左手標(biāo)記為橙色，右手標(biāo)記為藍(lán)色，物體標(biāo)記為綠色。

這種新型標(biāo)記與追蹤技術(shù)既可以用于稀疏馬克點(diǎn)集，也可以用于捕捉完整手部26自由度的密集馬克點(diǎn)集。Facebook依靠卷積神經(jīng)網(wǎng)絡(luò)（CNN）來預(yù)測由動捕系統(tǒng)檢測到的3D馬克點(diǎn)位置標(biāo)記。然后將記錄的數(shù)據(jù)壓縮成2D圖像，這使卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)?biāo)記點(diǎn)設(shè)置為唯一識別標(biāo)記位置，從而避免重影和遮擋的出現(xiàn)。為了滿足手部高精度的追蹤需求，F(xiàn)acebook在精心設(shè)計的數(shù)據(jù)增強(qiáng)程序中使用合成數(shù)據(jù)對CNN進(jìn)行訓(xùn)練。在運(yùn)行時，每當(dāng)需要重新初始化標(biāo)記追蹤的時候，CNN的輸出就用于初始化標(biāo)記。這種在線標(biāo)記使得Facebook能夠?qū)崟r重建手部姿勢。簡單來說，就是將3D空間的問題轉(zhuǎn)化到2D平面上來解決。

將3D標(biāo)記位置輸入標(biāo)記系統(tǒng)（a），并且呈現(xiàn)為深度圖像（b），然后由CNN將深度圖像將手上的19個3D標(biāo)記位置進(jìn)行顏色編碼，用二分匹配將輸入標(biāo)記與其對應(yīng)的標(biāo)記標(biāo)簽相關(guān)聯(lián)。

通過將標(biāo)記聚類成組并用左/右指針隨機(jī)分配來初始化跟蹤器。 左/右手標(biāo)記被傳遞到在線標(biāo)記標(biāo)記管道以獲得每個標(biāo)記的標(biāo)記。 應(yīng)用反向運(yùn)動學(xué)從標(biāo)記處重建手部姿勢。 如果通過研究人員的重建指標(biāo)，則跟蹤的標(biāo)記和手勢將被反饋到下一幀進(jìn)行在線跟蹤。

肢體追蹤用活靈活現(xiàn)的肢體語言取代了僵硬無力的死板動作，眼球追蹤使空洞呆滯的瞳孔變得炯炯有神。新型的手部追蹤也將幫助人們在電影、游戲、VR中獲得更為靈巧的體驗(yàn)，跟的上各位單身十八年的手速。