在AR領域也呆了不短時間了，也一直在做視覺定位相關的工作，這里分享一下有意思的工作方向，感興趣的可以討論或者聯(lián)系我即可（如有不對，歡迎指出）。

首先簡單區(qū)分AR和VR的區(qū)別，VR 屬于虛擬現(xiàn)實 ，即是由實入虛的過程，入口往往需要一個笨重的設備來進入；而AR是增強現(xiàn)實，即是虛實結合的過程，也是目前元宇宙中主要的技術。另外AR的設備源相比于VR來說輕量的多，AR技術出現(xiàn)的其實很早，目前之所以再次被提出來并賦予一個“元宇宙”的稱號,是因為智能手機的發(fā)展已經(jīng)逼近一個瓶頂，各大廠商在手機上已經(jīng)沒有多少余熱，而智能手機-第三次工業(yè)革命的產(chǎn)物卻恰恰是AR技術最直觀、最便捷的入口，幾乎每個人都擁有一部智能手機（眼鏡是AR的下一次革命）。

AR中最核心的技術是視覺定位技術，也就是目前又一個火熱的學術名詞“空間計算”，而目前主流的VPS技術可以分為兩個層面：地圖構建層 和定位服務層。地圖的構建可以采用SLAM或者SfM，目前主流的方案是使用SfM，SfM大家以前用到的最多的是隸屬于視覺三維重建pipeline（sfm+mvs+mesh+texture）,按照攝影測量的話就是空三模塊，而現(xiàn)在如果一個企業(yè)單純是研發(fā)一套和photoscan、realitycapture、ContextCapture、inpho、pix4d等類似的一套非常成熟的三維重建軟件，基本是死翹翹，當然如果是頭部公司想made in China，這個工作的意義和使命感就不同。而后續(xù)的全局定位服務層依賴于構建的先驗地圖。

目前VPS 的工作內容：

地圖構建層：

（1） 大場景AR 地圖構建，眾所周知隨著照片個數(shù)的增多，sfm的速度感人，怎么保證如3萬、10萬張圖像地圖的構建？，如果單純是用一下colmap 、openmvg等開源去構建，那么項目交付的整個周期恐怕沒有一個甲方會接受吧。

（2） 對于構建的AR的定位地圖，如何去自動化評估構建的地圖質量？，最傳統(tǒng)的方式是利用高昂貴的激光或者人工扛著全站儀打點評估精度，但是這種費時費力。

（3）地圖的存儲，要知道一個場景下來，3D 點的數(shù)量可是巨大的，里面有利于定位的元素，也有對定位無關緊要的點，如果全部存儲，那么存儲空間恐怕沒有一個能滿足要求的，那么如何去做地圖的簡化？

定位服務層：

（4）怎么解決long-term 問題？當然superpoint + superglue 是一個不錯的選擇。

（5）即使使用SOTA sp+sg 算法，在有些場景下，匹配點數(shù)就是很少，那么pnp的時候算出來的pose 也肯定是不能用的，那么只有point-based形式是否夠用，是否要去提升地圖的維度？ （

(6）也是最難的一關，這個按理說應該是屬于地圖構建層，但是和定位服務也可實時捆綁。那就是如何做多源數(shù)據(jù)的地圖更新，即是大家所說的“眾包"，因為地圖構建的傳感器和定位終端的傳感器不一定相同，但是多個人拿著手機拍攝，手機端的數(shù)據(jù)對場景的豐富度、完整性同樣有用，怎么保證終端手機或者眼鏡的數(shù)據(jù)來補充構建的先驗地圖，保證地圖“實時更新”。

當然以上的VPS技術都是map-based 的方式，那么可以考慮一下，我們視覺重定位是否真真需要先驗地圖，那么可以去看看視覺重定位泰斗（Torsten Sattler-也是colmap作者導師的同事）2017的疑問：Are Large-Scale 3D Models Really Necessary for Accurate Visual Localization?；Torsten Sattler在2022年用新的視覺重定位方式回答了他2017的問題：MeshLoc: Mesh-Based Visual Localization。

可以優(yōu)化的點，總結如下：

編輯：黃飛

?