在今天凌晨的FacebookConnect2020大會(huì)上，F(xiàn)acebook今天正式發(fā)布了Projectaria——這個(gè)全新的研究項(xiàng)目將幫助Facebook制造第一代可穿戴增強(qiáng)現(xiàn)實(shí)設(shè)備。

　　1.驚人的挑戰(zhàn)

　　想象一下，一副眼鏡能夠在物理世界的視圖之上疊加一層3d數(shù)字內(nèi)容，并在其中包含有意義的情景相關(guān)信息。這樣的設(shè)備可以幫助我們更好地完成日常任務(wù)，比如尋找鑰匙，在一個(gè)陌生城市中導(dǎo)航，或者記錄一個(gè)感人瞬間；但它同時(shí)可以為我們帶來一種全新的世界旅行方式。

　　智能手機(jī)是令人驚嘆的設(shè)備，而且它們一直在變得越來越好。但FacebookRealityLabs設(shè)想了這樣一個(gè)時(shí)代：我們可以享受到聯(lián)網(wǎng)的所有優(yōu)點(diǎn)（以及更多），但不必再像以往那樣低頭查看設(shè)備。想象一下，在與遠(yuǎn)方朋友通訊時(shí)，你是與栩栩如生的虛擬化身對(duì)話；想象一下，一個(gè)足夠智能的數(shù)字助理可以檢測(cè)道路危險(xiǎn)，在商務(wù)會(huì)議中提供統(tǒng)計(jì)數(shù)據(jù)，甚至可以幫助你在嘈雜的環(huán)境中聽到自己想聽的聲音。在這個(gè)世界里，設(shè)備本身完全消融在日常生活之中。

　　當(dāng)然，這其中有很多依然是屬于科幻小說的描述。要真正制造出足夠靈活并適應(yīng)大多數(shù)臉型的眼鏡，并同時(shí)開發(fā)出支持它們的軟件，我們需要數(shù)個(gè)迭代的突破，比如增強(qiáng)視聽輸入的系統(tǒng)，情境化的人工智能，以及一個(gè)能夠容納所有一切的輕量級(jí)鏡架。這種增強(qiáng)現(xiàn)實(shí)需要計(jì)算技術(shù)的根本性進(jìn)步，一種能夠反映從圖書館和固定電話，再到個(gè)人PC和智能手機(jī)的飛躍的突破。

　　2.一種視覺搜索工具

　　ProjectAria正是朝著所述方向邁出的一步。Facebook已經(jīng)構(gòu)建了一款可以幫助研究人員理解構(gòu)建目標(biāo)ar眼鏡所需的軟件和硬件的研究設(shè)備。ProjectAria眼鏡不是消費(fèi)品，也不是原型品。它們不會(huì)在鏡片顯示任何信息，研究被試無法查看或收聽設(shè)備捕捉到的原始數(shù)據(jù)。作為一種研究設(shè)備，所述的眼鏡設(shè)備將使用傳感器從佩戴者角度捕捉視頻和音頻，以及眼球運(yùn)動(dòng)和位置數(shù)據(jù)，從而幫助工程師和程序員理解AR在實(shí)踐中的運(yùn)作。眼鏡將加密、壓縮和存儲(chǔ)數(shù)據(jù)，并上傳到指定的后端存儲(chǔ)系統(tǒng)。

　　從概念到實(shí)施，ProjectAria的設(shè)計(jì)都是為了幫助團(tuán)隊(duì)安全而負(fù)責(zé)任地進(jìn)行創(chuàng)新。所以，為了制定必要的保障措施和社會(huì)規(guī)范來管理AR眼鏡和未來可穿戴設(shè)備的使用，F(xiàn)acebookRealityLabs正在收集研究被試，以及在公共場(chǎng)合遇到佩戴所述設(shè)備的人員的反饋。為了更好地理解這項(xiàng)技術(shù)如何幫助身體能力各異的人群，團(tuán)隊(duì)正與卡內(nèi)基梅隆大學(xué)的認(rèn)知輔助實(shí)驗(yàn)室（CognitiveAssistanceLaboratory）開展一個(gè)試點(diǎn)項(xiàng)目。雙方將構(gòu)建博物館和機(jī)場(chǎng)的3D地圖，并將其用于一系列的用例，如幫助視力受損人群更好地感知周圍環(huán)境。另外，研究收集的數(shù)據(jù)將由卡內(nèi)基梅隆大學(xué)保存。

　　FacebookRealityLabs指出，公司不會(huì)向公眾開放這款設(shè)備，亦不會(huì)對(duì)市場(chǎng)出售。從今年9月開始，它將提供給美國特定的Facebook員工和簽約者。作為說明，有關(guān)人員將接受過“在何時(shí)何地可以使用所述設(shè)備，以及于何時(shí)何地不應(yīng)使用所述設(shè)備”的培訓(xùn)。所述設(shè)備在家中，F(xiàn)acebook園區(qū)（重新開放之后）和公共場(chǎng)合收集到的數(shù)據(jù)將用于支持頭部追蹤，眼動(dòng)追蹤和音頻算法的開發(fā)，從而有朝一日實(shí)現(xiàn)AR眼鏡的夢(mèng)想。ProjectAria同時(shí)將提供構(gòu)建LiveMaps所需的第一人稱透視數(shù)據(jù)，以及培訓(xùn)日后可以幫助人們感知和理解世界的個(gè)性化數(shù)字助手。因?yàn)檫@個(gè)最初的數(shù)據(jù)集必須與盡可能多的人相關(guān)，F(xiàn)acebook正在邀請(qǐng)不同性別、身高、體型、種族的人群參與研究計(jì)劃。

　　3.隱私至上

　　FacebookRealityLabs再次強(qiáng)調(diào)了團(tuán)隊(duì)再保護(hù)人們隱私方面的措施。公司已經(jīng)在fb.com/projectaria頁面編寫了相關(guān)的問題回答，主要包括：

　　3.1于何時(shí)何地采集數(shù)據(jù)

　　第一批研究參與者將限于大約100名Facebook員工和簽約者，地點(diǎn)主要包括舊金山灣區(qū)和西雅圖。所有被試將首先接受關(guān)于何時(shí)何地收集數(shù)據(jù)的培訓(xùn)。被試無法訪問收集的數(shù)據(jù)。在采集數(shù)據(jù)時(shí)，所有設(shè)備都將突出顯示一道白光。所有設(shè)備都提供一個(gè)物理按鈕，按下按鈕后將停止收集數(shù)據(jù)。ProjectAria的研究被試將在Facebook園區(qū)、私人住宅和公共場(chǎng)所采集數(shù)據(jù)。未經(jīng)商店、飯店等場(chǎng)所的書面同意，被試將不得在相關(guān)場(chǎng)所采集數(shù)據(jù)。洗手間、祈禱室、更衣室等敏感區(qū)域，或敏感會(huì)議和其他私人場(chǎng)合都不允許錄制數(shù)據(jù)，而且只有在所有家庭成員同意的情況下，被試才能在家中錄制數(shù)據(jù)。

　　3.2透明數(shù)據(jù)采集

　　當(dāng)在公共場(chǎng)合佩戴研究設(shè)備時(shí)，每名被試都需要穿戴特定的服飾，從而表明其屬于ProjectAria研究的參與被試。相關(guān)的服飾同時(shí)會(huì)包括一個(gè)網(wǎng)站地址，以便周遭人員可以從中了解更多關(guān)于所述項(xiàng)目及其研究目的信息。隨著時(shí)間的推移，F(xiàn)acebookRealityLabs將繼續(xù)評(píng)估相關(guān)的外部指標(biāo)，從而確保項(xiàng)目的透明度。被試可以隨時(shí)關(guān)閉設(shè)備，停止錄制或刪除數(shù)據(jù)段。具體來說，被試可以通過智能手機(jī)端的配套應(yīng)用程序來操作相應(yīng)的時(shí)間戳。但同樣，被試無法訪問原始數(shù)據(jù)。配套應(yīng)用程序同時(shí)將包括初始培訓(xùn)課程的說明，比方說如何刪除錄制數(shù)據(jù)，于何時(shí)何地及如何以合適的方式采集數(shù)據(jù)和其他技術(shù)信息。

　　3.3數(shù)據(jù)隱私保護(hù)

　　與任何地圖數(shù)據(jù)一樣，數(shù)據(jù)的安全性至關(guān)重要。Facebook將通過一個(gè)加密的安全系統(tǒng)將數(shù)據(jù)從設(shè)備上傳到Facebook后端存儲(chǔ)系統(tǒng)，從而保證ProjectAria數(shù)據(jù)的安全。Facebook將安全地將數(shù)據(jù)和數(shù)據(jù)衍生地圖存儲(chǔ)在一個(gè)單獨(dú)的指定存儲(chǔ)空間中，并且只有獲得批準(zhǔn)的研究人員能夠訪問。一旦上傳，數(shù)據(jù)將隔離三天，這意味著研究人員在所述時(shí)間段內(nèi)無法訪問數(shù)據(jù)。在隔離期內(nèi)，被試可以查看低分辨率的縮略圖，并從系統(tǒng)中刪除錄制的數(shù)據(jù)段。在提供給研究人員之前，于公共場(chǎng)所收集到的任何數(shù)據(jù)數(shù)據(jù)都將自動(dòng)模糊臉部和車牌。設(shè)備不使用面部識(shí)別技術(shù)，F(xiàn)acebook同時(shí)不會(huì)使用所述數(shù)據(jù)來驅(qū)動(dòng)Facebook產(chǎn)品的廣告。

　　所有隱私和數(shù)據(jù)保護(hù)控制措施都是在隱私專家的參與下制定，所述專家包括猶他州立大學(xué)發(fā)展與機(jī)遇中心（CenterforGrowthandOpportunity）的高級(jí)研究院士伊萊·杜拉多（EliDourado），以及美國信息技術(shù)與創(chuàng)新基金會(huì)（InformationTechnologyandInnovationFoundation）的數(shù)據(jù)創(chuàng)新中心主任丹尼爾·卡斯特羅（DanielCastro）。

　　在繼續(xù)探索增強(qiáng)現(xiàn)實(shí)的可能性時(shí)，F(xiàn)acebook承諾將繼續(xù)與隱私專家接觸并完善相關(guān)的條款。對(duì)這項(xiàng)技術(shù)了解得越多，團(tuán)隊(duì)就越能預(yù)見問題并提前解決它們。FacebookRealityLabs今天收集的任何數(shù)據(jù)都是為了在未來允許沉浸式硬件以最少的干擾性進(jìn)行數(shù)據(jù)捕獲，并確保收集的任何數(shù)據(jù)都能提供盡可能多的用戶價(jià)值。

　　團(tuán)隊(duì)表示：“我們將繼續(xù)堅(jiān)持負(fù)責(zé)任的創(chuàng)新原則，而最重要的是：始終以人為本。”

　　4.技術(shù)亮點(diǎn)

　　團(tuán)隊(duì)一開始面臨的最大挑戰(zhàn)是，尋找一種能夠利用現(xiàn)有傳感器，并將它們嵌入至被試可以實(shí)際佩戴的眼鏡之中的方法。ProjectAria眼鏡的獨(dú)特之處在于，它們不僅擁有常見于vr頭顯的空間感知傳感器，同時(shí)可以通過GPS計(jì)算位置，拍攝高分辨率圖片，并捕捉多聲道音頻和眼動(dòng)圖像。

　　作為一種研究設(shè)備，當(dāng)前的傳感器配置并不是一成不變。團(tuán)隊(duì)特別感興趣的是，是否能夠以一種高能效的方式來將一組傳感器應(yīng)用于多個(gè)任務(wù)。在理想情況下，這樣的產(chǎn)品能夠同時(shí)使用所有的傳感器來更好地理解你的意圖，并在需要時(shí)提供信息。如果你在一家雜貨店，前置攝像頭可能會(huì)掃描整個(gè)房間并識(shí)別出店里的物品，而眼動(dòng)追蹤攝像頭則會(huì)識(shí)別你的目光落在何種水果之上，然后顯示功能將彈出與所述水果相關(guān)的標(biāo)識(shí)、價(jià)格、營養(yǎng)價(jià)值和潛在配方等。

　　這只是一個(gè)例子，但我們很容易想象這樣的產(chǎn)品將如何幫助存在精神障礙或身體殘疾的人士，患有記憶問題的人士，存在語言障礙或技能障礙的人士，又或者只是嘗試在一個(gè)陌生城市中導(dǎo)航的人員。只要在適當(dāng)?shù)臅r(shí)候提供一點(diǎn)背景和信息，世界就會(huì)變得不同。

　　FacebookRealityLabs同時(shí)在探索如何使用設(shè)備的頭部追蹤傳感器，并將虛擬對(duì)象添加到物理環(huán)境中。所以，與其購買一臺(tái)實(shí)體電視，我們倒不如利用AR魔法創(chuàng)造出一臺(tái)數(shù)字電視，并將它放到任何位置。從長遠(yuǎn)來看，為了降低未來眼鏡的整體功率和熱需求，并減少對(duì)圖像傳感的需求，F(xiàn)acebookRealityLabs將使用ProjectAria的數(shù)據(jù)，并探索是否能夠利用諸如嚴(yán)格TightLearnedInertialOdometry等技術(shù)。

　　5.構(gòu)建一種全新的地圖

　　所有這些在技術(shù)都非常具有挑戰(zhàn)性，但當(dāng)你添加一個(gè)虛擬對(duì)象并希望它在你離開后保持固定不變時(shí)，研究課題會(huì)變得更加有趣。這是因?yàn)閳F(tuán)隊(duì)需要一個(gè)框架來存儲(chǔ)和索引你的虛擬對(duì)象。如果你希望和其他人共享虛擬對(duì)象，你將需要一個(gè)共同的坐標(biāo)系。如果你希望和一個(gè)住在另一個(gè)城市的朋友的虛擬化身共享空間，你不僅需要精確的位置和方位，而且需要理解周圍空間的真實(shí)世界對(duì)象，這樣虛擬化身就不會(huì)被一張桌子切成兩半，而你可以擺出自然的姿勢(shì)，比如坐在椅子之上。

　　為了支持AR眼鏡確定自己在空間中的位置，有效地看到和理解你周圍的環(huán)境，它們需要一個(gè)虛擬的三維地圖來描繪周遭的一切。但從零開始實(shí)時(shí)掃描和重建一個(gè)空間的功耗太高，所以AR眼鏡需要依賴于現(xiàn)有的地圖，然后實(shí)時(shí)進(jìn)行更新。

　　Facebook在OculusConnect6分享了解決所述問題的方法：LiveMaps。通過使用計(jì)算機(jī)視覺來構(gòu)建一個(gè)與你周遭世界相關(guān)的虛擬三維地圖，LiveMaps能夠支持未來的眼鏡有效地混合虛擬世界和現(xiàn)實(shí)世界。AR眼鏡屆時(shí)可以從3D地圖中下載最新數(shù)據(jù)，然后只需檢測(cè)變化（如新的街道名稱或新停車場(chǎng)的外觀），并用這些變化來更新3D地圖。ProjectAria設(shè)備正在測(cè)試這個(gè)流程。

　　6.展望未來

　　將AR設(shè)備和LiveMaps的愿景轉(zhuǎn)化為現(xiàn)實(shí)是FRLResearch最具雄心和具有深遠(yuǎn)意義的目標(biāo)之一。團(tuán)隊(duì)設(shè)想了這樣一個(gè)世界：LiveMaps能夠支持Facebook的AR產(chǎn)品能以各種有意義的方式來幫助人們彼此，及與世界建立聯(lián)結(jié)。

　　從為殘疾人提供直觀的導(dǎo)航支持，到與居住在另一個(gè)國家的姐妹或父母的逼真化身共享空間，再到加強(qiáng)工人培訓(xùn)并幫助人們?cè)卩须s的環(huán)境中提高聽感（特別是因?yàn)槟挲g增長而造成的聽力衰退），未來各行各業(yè)的人們將能夠以意義深遠(yuǎn)的方式使用增強(qiáng)現(xiàn)實(shí)。

　　這是一個(gè)設(shè)備越發(fā)消融于幕后，我們能夠花更多時(shí)間與家人和朋友共度美好時(shí)光的時(shí)代，機(jī)會(huì)將由本人的興趣決定，而不再受地理位置或環(huán)境的制約。在這個(gè)未來世界里，先進(jìn)的臨場(chǎng)感將允許人們能夠以今天不可能的方式一起工作，并在娛樂、教育和其他領(lǐng)域迸發(fā)出一系列不同的創(chuàng)新。

　　這是一個(gè)我們所有人都期待的世界。