在AR/VR技術(shù)逐漸普及的當(dāng)下，其中3D模型的使用給我們帶來(lái)了許多便利。但是現(xiàn)今3D模型的制作方法還是掌握在專業(yè)人士手中，用戶沒(méi)有任何切實(shí)可行的方式來(lái)充分利用AR/VR捕捉并分享他們的真實(shí)生活。

在剛過(guò)去的五月，F(xiàn)acebook在F8上公布了一項(xiàng)名為3D照片的新功能，通過(guò)傾斜手機(jī)、就能實(shí)現(xiàn)3D視角的變化。

適用于人物、動(dòng)植物還有風(fēng)景的拍攝，在室內(nèi)外和不同光線條件下都可使用。而且只需要一個(gè)普通的雙攝像頭智能手機(jī)就能夠拍攝，而近兩年的智能手機(jī)，有幾家不是雙攝像頭呢？

近日，F(xiàn)acebook公布了該功能的相關(guān)論文，那就讓我們一起來(lái)看看他們是如何實(shí)現(xiàn)的吧。

雙攝本身的存在就是能夠感知景深，從而進(jìn)行虛化突出中心，比如人物。（此處僅代表實(shí)驗(yàn)所采用的iPhone 7 Plus的長(zhǎng)焦攝像頭配置，而這也是大多數(shù)廠商的配置），這是因?yàn)閮蓚€(gè)攝像頭所拍攝到的照片是有差別的，兩者間的差別就能提供深度信息，這與我們?nèi)搜勰軌颢@取深度信息的視網(wǎng)膜差機(jī)理一致。

先通過(guò)全景拍攝獲取圖像，也可以只是簡(jiǎn)單的拍照來(lái)獲取圖像。

再通過(guò)卷積神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)）我們就能獲得一個(gè)較為明確的深度信息圖像了。

然后將深度信息圖像按照距離分為多層，并用網(wǎng)格表示各個(gè)圖像。

再按照不同的深度將各個(gè)網(wǎng)格不同程度的撕扯變形，最后再拼接在一起就成為了一個(gè)3D照片。

原理上這樣子一個(gè)3D照片就處理完成了，但在實(shí)際上的過(guò)程問(wèn)題確是不斷出現(xiàn)的。

首先是設(shè)備本身的問(wèn)題，雙攝的基線太短了。基線是指拍攝同一位置的兩個(gè)攝像機(jī)之間的距離，最先開始是航拍上的概念，在雙攝上我們可以理解為兩個(gè)攝像頭之間的距離。

理論上基線越大越有利于深度信息的獲取，短基線會(huì)使得測(cè)量結(jié)果充滿不確定性。同時(shí)，在拍攝全景時(shí)我們的雙手肯定會(huì)進(jìn)行抖動(dòng)，即使防抖功能也不能完全消除。拍攝期間的移動(dòng)和旋轉(zhuǎn)將會(huì)造成誤差。

下圖是iPhone 7plus的深度圖像與其它深度圖的對(duì)比。a為iPhone 7plus的深度圖像。

通過(guò)他們的全球仿射模型則可以良好的解決這個(gè)問(wèn)題。

將圖a變?yōu)閳Db，最后再進(jìn)行拼接就有了圖c了。

同時(shí)加上其它的算法，極大的簡(jiǎn)化了系統(tǒng)。系統(tǒng)所需要考慮的變量只有用戶拍攝時(shí)手機(jī)的姿勢(shì)，而且降低了短基線所造成的誤差。

另外一個(gè)問(wèn)題還是設(shè)備造成的，長(zhǎng)焦攝像頭本身視野就相當(dāng)窄（垂直37°），所以需要捕捉的圖像相較于其他設(shè)備也更多，一般場(chǎng)景需要20~200張圖像。研究人員使用自動(dòng)曝光模式來(lái)捕捉更多動(dòng)態(tài)范圍的場(chǎng)景。

接下來(lái)的問(wèn)題就是怎樣把分開的圖像再無(wú)縫縫合起來(lái)。首先，跟蹤并計(jì)算全景的投影中心，然后找到3D點(diǎn)，最大限度的減少圖像之間的距離。

傳統(tǒng)方法的拼接會(huì)拉伸圖像，如果不想形成這樣拉伸的三角形，可以選擇不將網(wǎng)格撕得那么大，不過(guò)這樣子就會(huì)形成空隙。通過(guò)算法的改良，研究人得出了一個(gè)較為折中的方案，還存在一些拉伸，但減輕了許多。

Facebook的3D照片技術(shù)，處理一張照片僅僅只需要不到一分鐘時(shí)間。

技術(shù)的限制還是很明顯的，就是相機(jī)的視野太窄了。如果兩個(gè)鏡頭都是廣角鏡頭，只需要捕獲少得多的圖像就能達(dá)到相同的效果，但是雙攝是為普通照相而服務(wù)的存在，都是廣角鏡頭的手機(jī)并不會(huì)成為主流。