遠(yuǎn)程面對(duì)面交互對(duì)于工作、娛樂(lè)和人機(jī)關(guān)系都十分重要。盡管這種面對(duì)面的交互可以通過(guò)2D視頻會(huì)議或虛擬現(xiàn)實(shí)實(shí)現(xiàn)，但遠(yuǎn)程呈現(xiàn)系統(tǒng)無(wú)法正確呈現(xiàn)眼神接觸和社交注視信號(hào)的交流。有人曾提出通過(guò)在2D視頻會(huì)議中重定向視線來(lái)實(shí)現(xiàn)眼神交流，但2D視頻會(huì)議缺乏真實(shí)生活中的3D沉浸感。

為了解決所述問(wèn)題，F(xiàn)acebook開(kāi)發(fā)了一種虛擬現(xiàn)實(shí)面對(duì)面交互系統(tǒng)，并專注于再現(xiàn)逼真的注視信號(hào)和眼神交流。為了做到這一點(diǎn)，團(tuán)隊(duì)構(gòu)建了一個(gè)可通過(guò)VR頭顯攝像頭制作動(dòng)畫(huà)的三維虛擬化身模型，從而在虛擬現(xiàn)實(shí)中精確地追蹤和再現(xiàn)人類的注視信號(hào)。

這項(xiàng)研究的主要貢獻(xiàn)包括：一個(gè)可共同學(xué)習(xí)，并能夠更好地表示注視方向和上面部表情的3D人臉和眼球模型；一種將左右眼注視從彼此和面部其他部分分離開(kāi)來(lái)的方法，從而令模型能夠代表前所未見(jiàn)的眼神和表情組合；以及一個(gè)用于支持頭顯攝像頭構(gòu)建精確動(dòng)畫(huà)的注視感知模型。定量實(shí)驗(yàn)表明，這一方法可以獲得更高的重建質(zhì)量，而定性結(jié)果顯示所述方法可以大大改善VR虛擬化身的臨場(chǎng)感。

VR虛擬化身都是對(duì)應(yīng)真實(shí)的實(shí)時(shí)CG渲染。簡(jiǎn)單來(lái)說(shuō)，F(xiàn)acebook的方法將眼球和人臉?lè)蛛x，并單獨(dú)控制渲染，最后再整合配準(zhǔn)，從而實(shí)現(xiàn)一系列逼真的眼神+表情組合。

1. 眼球模型的實(shí)時(shí)單獨(dú)渲染

具體而言，研究人員將注視點(diǎn)作為解碼器的條件變量，從而實(shí)現(xiàn)顯式注視點(diǎn)控制。要做到這一點(diǎn)，首先通過(guò)包含多個(gè)攝像頭的頭顯追蹤用戶眼睛，并從多視角訓(xùn)練圖像中估計(jì)出注視點(diǎn)。

對(duì)于每一幀，團(tuán)隊(duì)利用檢測(cè)器在多個(gè)不同的輸入視圖中沿著邊緣檢測(cè)關(guān)鍵點(diǎn)，然后沿著邊緣將關(guān)鍵點(diǎn)重投影至多視角圖像，并優(yōu)化每一幀的眼球位置和方向以匹配關(guān)鍵點(diǎn)。這樣就可以為每個(gè)序列擬合一個(gè)幾何眼睛模型，包括每幀對(duì)每個(gè)眼睛方向的估計(jì)。對(duì)于幾何眼睛模型，團(tuán)隊(duì)將其定義成由兩個(gè)球體組合的曲面，圍繞邊界線性混合。

為了確保在所有的會(huì)聚距離正確控制模型的顯式注視方向，模型必須允許對(duì)每只眼睛進(jìn)行獨(dú)立控制。所以，團(tuán)隊(duì)將控制面部地代碼分解成控制左眼區(qū)域和右眼區(qū)域，并在訓(xùn)練過(guò)程中添加區(qū)域損失（Region Loss）以懲罰解碼輸出的差異。例如對(duì)左眼應(yīng)用區(qū)域損失，當(dāng)改動(dòng)與左眼區(qū)域無(wú)關(guān)的代碼時(shí)，左眼將不會(huì)運(yùn)動(dòng)。

由于模型同時(shí)產(chǎn)生幾何和紋理，團(tuán)隊(duì)同時(shí)將類似的懲罰應(yīng)用到紋理，這樣當(dāng)你改變控制左眼以外區(qū)域的代碼時(shí)，左眼紋理同樣不會(huì)改變。通過(guò)這樣單獨(dú)控制每只眼睛的注視，系統(tǒng)可以產(chǎn)生更為逼真的眼神交互。

通過(guò)上述方法產(chǎn)生的眼球模型可以為眼球幾何提供一個(gè)粗略的初始估計(jì)，但如果要為虛擬化身渲染眼球，我們必須精進(jìn)估計(jì)并生成紋理。給定一個(gè)多視角面部捕獲，團(tuán)隊(duì)利用上述模型的初始形狀參數(shù)估計(jì)每個(gè)幀的眼球方向。然后，團(tuán)隊(duì)移除覆蓋眼睛的幾何，并替換以新的眼球幾何。對(duì)于渲染新的眼球幾何，團(tuán)隊(duì)利用了視點(diǎn)，眼球方向和眼臉形狀，以及一系列的眼球紋理解碼器和扭曲算法。

團(tuán)隊(duì)將這個(gè)模型稱為顯式眼球模型（EEM），從而強(qiáng)調(diào)眼球是一個(gè)獨(dú)立的、直接控制的幾何組件。

相關(guān)論文：The Eyes Have It： An Integrated Eye and Face Model for Photorealistic Facial Animation

2. 前所未見(jiàn)的眼神和表情組合

研究人員指出，這可以實(shí)現(xiàn)前所未見(jiàn)的眼神和表情組合。這是如何實(shí)時(shí)結(jié)合并驅(qū)動(dòng)的呢？

由于這是一個(gè)包含眼球模型和人臉模型的聯(lián)合模型，團(tuán)隊(duì)同時(shí)解碼了面部幾何和紋理，移除覆蓋原來(lái)的眼球幾何，添加上述新的眼球幾何，旋轉(zhuǎn)眼球幾何以匹配注視點(diǎn)輸入，并將其放到面部。接下來(lái)團(tuán)隊(duì)為眼球解碼紋理，并渲染完整的網(wǎng)格幾何渲染，優(yōu)化模型參數(shù)以匹配捕獲圖像，通過(guò)虛擬化身配準(zhǔn)系統(tǒng)（Avatar Correspondence System）實(shí)現(xiàn)虛擬化身渲染和捕獲圖像的配準(zhǔn)。

在訓(xùn)練期間，團(tuán)隊(duì)時(shí)使用包含九個(gè)攝像頭的頭顯來(lái)更好地捕獲面部。然后配準(zhǔn)模型（coreespondence model）估計(jì)表情，相對(duì)于面部的頭顯姿態(tài)和注視方向，并將其作為輸入來(lái)為每個(gè)camera視點(diǎn)解碼網(wǎng)格和紋理。團(tuán)隊(duì)接下來(lái)通過(guò)淺層神經(jīng)網(wǎng)絡(luò)（shallow network）將虛擬化身紋理轉(zhuǎn)換至頭顯域，渲染虛擬化身，并端到端地優(yōu)化整個(gè)系統(tǒng)，使用差分渲染來(lái)匹配頭顯圖像。

對(duì)于僅搭載三個(gè)攝像頭的頭顯，團(tuán)隊(duì)構(gòu)建一個(gè)共享的特征映射來(lái)描述面部，然后回歸到表情代碼，以及針對(duì)每個(gè)眼睛的bounding box。利用位于bounding box的特征，團(tuán)隊(duì)可以預(yù)測(cè)注視點(diǎn)，并產(chǎn)生獨(dú)立于表情的注視點(diǎn)，然后利用所述輸入來(lái)實(shí)時(shí)驅(qū)動(dòng)虛擬化身。