AR/VR的應(yīng)用

當(dāng)AR/VR技術(shù)出現(xiàn)的時(shí)候，人們自然地將其和游戲掛了鉤。通過對(duì)于虛擬世界的打造和與現(xiàn)實(shí)物理世界的融合，AR/VR技術(shù)能夠帶來更為沉浸的游戲體驗(yàn)。

然而，在游戲設(shè)備上的市場(chǎng)開拓存在諸多的難點(diǎn)，對(duì)于設(shè)備的功耗、體積以及內(nèi)容生態(tài)的要求都極為苛刻。但在工業(yè)、教育、醫(yī)療等多個(gè)領(lǐng)域，對(duì)于設(shè)備形態(tài)、功耗的要求并沒有那么高，對(duì)于垂直應(yīng)用的生態(tài)打造也更為簡(jiǎn)單。尤其是在工業(yè)制造業(yè)領(lǐng)域，AR/VR設(shè)備正在打開局面，真正實(shí)現(xiàn)生產(chǎn)力的提升。

AR/VR和工業(yè)應(yīng)用緊密結(jié)合

實(shí)現(xiàn)生產(chǎn)效率提升

AR（Augmented Reality）即增強(qiáng)現(xiàn)實(shí)，也就是在現(xiàn)實(shí)環(huán)境中加入虛擬內(nèi)容顯示。VR（Virtual Reality）即虛擬現(xiàn)實(shí)，指的是完全模擬一個(gè)虛構(gòu)的環(huán)境。而將AR的擴(kuò)充實(shí)境和VR的虛擬實(shí)境相混合的場(chǎng)景，則可稱為MR（Mixed Reality）。

#1

首先在設(shè)計(jì)和原型制作方面，VR可以直接展示產(chǎn)品的外觀，而無需創(chuàng)建真實(shí)的物理原型。這大幅減少了產(chǎn)品設(shè)計(jì)和審核所花費(fèi)的時(shí)間，同時(shí)還可以方便多名設(shè)計(jì)者同時(shí)在同一個(gè)項(xiàng)目中進(jìn)行互動(dòng)，能夠?yàn)橹圃焐毯涂蛻籼峁└普娴漠a(chǎn)品設(shè)計(jì)效果。

#2

第二是在設(shè)備可視化方面，AR/VR技術(shù)可以幫助工程師更直觀地了解設(shè)備的工作原理和各個(gè)部件的位置。例如，VR可用于模擬制造過程，使工程師能夠識(shí)別設(shè)備放置或工作流程的潛在問題。AR可用于設(shè)備實(shí)時(shí)信息的虛擬顯示，使技術(shù)人員能夠快速識(shí)別問題并進(jìn)行維修，這有助于減少停機(jī)時(shí)間并提高設(shè)備性能。

#3

第三在產(chǎn)線維護(hù)和裝配線優(yōu)化方面，通過VR技術(shù)模擬生產(chǎn)環(huán)境，制造公司可以提前找出潛在威脅并予以消除。通過與數(shù)字孿生技術(shù)結(jié)合，制造商可以提前測(cè)試各種不同的裝配線方案，在做出任何物理更改之前評(píng)估出優(yōu)秀方案。而通過模擬裝配線上產(chǎn)品和工人的移動(dòng)，制造商還可以識(shí)別潛在的碰撞或干涉，優(yōu)化物料和工人的流線。此外，通過模擬生產(chǎn)線布局變化的影響，制造商可以提前確定優(yōu)秀布局以使生產(chǎn)效率達(dá)到預(yù)期。

除了上述提到的應(yīng)用方向外，在物流和倉(cāng)儲(chǔ)管理、生產(chǎn)事故預(yù)防、安全培訓(xùn)和資產(chǎn)追蹤等應(yīng)用上，AR/VR技術(shù)也可以帶來效率和安全性的提高。

圖1：HoloLens 2在制造業(yè)中的應(yīng)用

（圖源：微軟）

以上列舉的各種AR/VR技術(shù)在工業(yè)場(chǎng)景中的應(yīng)用，絕非只是處于概念階段，而是已經(jīng)有實(shí)際的案例。

美國(guó)空客公司在裝配任務(wù)中利用Microsoft HoloLens 2 AR眼鏡來指導(dǎo)工人輕松訪問視覺數(shù)據(jù)點(diǎn)，從而通過分步說明簡(jiǎn)化復(fù)雜的裝配流程；邁凱倫的設(shè)計(jì)師利用AR/VR技術(shù)在逼真的沉浸式環(huán)境中進(jìn)行新車型的設(shè)計(jì)。

反觀國(guó)內(nèi)，AR/VR技術(shù)在工業(yè)領(lǐng)域的市場(chǎng)前景也是一路看漲，實(shí)際應(yīng)用案例層出不窮，遍布工業(yè)應(yīng)用各個(gè)方向。

國(guó)內(nèi)企業(yè)應(yīng)用

擁抱AR/VR技術(shù)革新

據(jù)億歐智庫(kù)預(yù)測(cè)，2025年中國(guó)AR/VR企業(yè)級(jí)應(yīng)用市場(chǎng)規(guī)模將不低于931億元，其中工業(yè)制造領(lǐng)域市場(chǎng)規(guī)模將達(dá)到292億元，僅次于教育市場(chǎng)。而且從技術(shù)成熟度來看，遠(yuǎn)高于其他應(yīng)用市場(chǎng)方向，具備較高的商業(yè)變現(xiàn)可行性。

圖2：國(guó)內(nèi)企業(yè)級(jí)AR/VR應(yīng)用場(chǎng)景

（圖源：億歐）

在鋼鐵行業(yè)，寶武鋼鐵的AR智能運(yùn)維系統(tǒng)，打造了全新的冶金業(yè)設(shè)備運(yùn)維工作方式；在能源行業(yè)，正泰集團(tuán)引入AR配電運(yùn)維系統(tǒng)，實(shí)現(xiàn)新手員工的可視化指導(dǎo)；在紡織行業(yè)，國(guó)機(jī)集團(tuán)武漢紡友引入VR系統(tǒng)，基于真實(shí)數(shù)據(jù)構(gòu)建的虛擬現(xiàn)實(shí)系統(tǒng)可以逼真還原現(xiàn)實(shí)生產(chǎn)環(huán)節(jié)；在石化行業(yè)，東北石油局集成AR技術(shù)，有效釋放了專家資源；在家電行業(yè)，海爾引入AR首件質(zhì)檢系統(tǒng)，實(shí)現(xiàn)更準(zhǔn)確高效的全數(shù)字化質(zhì)檢場(chǎng)景。

那么AR/VR技術(shù)是如何在這么多具體工業(yè)應(yīng)用中發(fā)揮作用的呢？我們展開海爾的例子來看一下。

在家電制造業(yè)，首件產(chǎn)品檢測(cè)對(duì)生產(chǎn)質(zhì)量把控意義重大。如果首件產(chǎn)品質(zhì)量問題不能及時(shí)發(fā)現(xiàn)，可能會(huì)導(dǎo)致企業(yè)后續(xù)整體產(chǎn)線整個(gè)批次的產(chǎn)品問題，帶來重大損失。當(dāng)前大多數(shù)工廠仍采用人工檢查和紙質(zhì)單據(jù)填報(bào)的方式，整個(gè)過程參與人員眾多，數(shù)據(jù)上傳滯后、效率極低。

圖3：海爾首件質(zhì)檢系統(tǒng)

（圖源：海爾）

海爾滾筒互聯(lián)工廠于2021年開始引入AR首件質(zhì)檢系統(tǒng)，質(zhì)檢人員在質(zhì)檢過程中佩戴AR眼鏡，為其實(shí)時(shí)定位部件位置，提供檢驗(yàn)內(nèi)容、操作指導(dǎo)等數(shù)字信息；并且可以通過語音進(jìn)行整個(gè)質(zhì)檢系統(tǒng)的輸入、配置等交互操作。完成檢測(cè)之后，數(shù)據(jù)直接通過AR眼鏡上傳至AR首件質(zhì)檢系統(tǒng)的數(shù)據(jù)庫(kù)中，提高了質(zhì)檢可追溯能力，助力海爾在首件質(zhì)檢中效率提升。

IDC預(yù)測(cè)，2026年全球AR/VR總投資規(guī)模將增至747.3億美元，其中中國(guó)的投資規(guī)模將增至130.8億美元，為全球第二大單一國(guó)家市場(chǎng)。而隨著AR/VR技術(shù)在工業(yè)應(yīng)用中的普及，近兩年來工業(yè)元宇宙的概念也被頻頻提起。據(jù)TrendForce預(yù)測(cè)，工業(yè)元宇宙將推動(dòng)全球智能制造業(yè)在2025年達(dá)到5,400億美元的市場(chǎng)規(guī)模。

圖4：中國(guó)AR/VR市場(chǎng)支出預(yù)測(cè)

（圖源：IDC）

AR/VR交互的基礎(chǔ)

深度圖像的實(shí)時(shí)感知和捕捉

人眼晶狀體通過肌肉的伸縮和舒展，能夠自動(dòng)實(shí)現(xiàn)焦距調(diào)節(jié)，將遠(yuǎn)近不同物體準(zhǔn)確成像至視網(wǎng)膜上。雙眼在對(duì)同一個(gè)物體聚焦時(shí)，兩眼之間的物像差異就是雙眼視差。將此雙眼視差信息在大腦視覺皮層進(jìn)行處理，就可以讓我們判斷出到物體的實(shí)際距離。

我們是靠人眼來感知物理世界的深度信息，而AR/VR交互的基礎(chǔ)，則是通過深度相機(jī)來實(shí)現(xiàn)對(duì)于實(shí)境的圖像信息的捕捉。普通的相機(jī)拍攝的是二維的平面坐標(biāo)信息，而深度相機(jī)能夠定位圖像中每一個(gè)點(diǎn)的深度數(shù)據(jù)，實(shí)現(xiàn)XYZ三維坐標(biāo)信息的采集。

目前市面上常見的深度相機(jī)方案有三種，分別是結(jié)構(gòu)光、雙目視覺和ToF。

結(jié)構(gòu)光是通過光學(xué)手段獲取被拍攝物體的三維結(jié)構(gòu)。首先近紅外激光器將具有一定結(jié)構(gòu)特征的光線投射到被拍攝物體上，再由專門的紅外攝像頭對(duì)這些光線產(chǎn)生的不同圖像相位信息進(jìn)行采集，之后運(yùn)算單元將這些返回的編碼圖案的畸變進(jìn)行算法計(jì)算，從而獲得物體的位置和深度信息。

ToF是通過測(cè)量光脈沖的飛行往返時(shí)間來計(jì)算距離。激光器發(fā)射的連續(xù)激光脈沖，碰到物體之后會(huì)反射回來，然后被接收器接收，通過計(jì)算往返的時(shí)間差來獲得物體具體位置信息。

雙目視覺也稱雙目立體視覺，基本原理與人眼類似。利用兩個(gè)傳感器獲取同一個(gè)被測(cè)物體的兩幅圖像，然后計(jì)算圖像對(duì)應(yīng)點(diǎn)間的位置偏差，來獲取物體的三維信息。

圖5：雙目立體深度相機(jī)的工作原理

（圖源：www.revopoint3d.com)

這三種深度相機(jī)都可以獲得物體的三維信息，但各有優(yōu)劣。結(jié)構(gòu)光深度相機(jī)精度較高，但需要較長(zhǎng)的曝光時(shí)間，因此不適用于高速運(yùn)動(dòng)場(chǎng)景；但因其采用主動(dòng)光源形式，因此夜晚也可以正常工作；ToF深度相機(jī)能夠?qū)崟r(shí)測(cè)量深度，并且探測(cè)距離更長(zhǎng)，但在明亮的光線條件下可能會(huì)受到干擾；雙目深度相機(jī)受到兩個(gè)傳感器之間的視差影響，對(duì)于較遠(yuǎn)的物體位置檢測(cè)不夠準(zhǔn)確，同時(shí)圖像信息處理的計(jì)算量較大。

在AR/VR應(yīng)用中，深度相機(jī)既可以實(shí)時(shí)跟蹤用戶的面部表情、頭部和手部動(dòng)作，以提高沉浸感和交互性，改善虛擬體驗(yàn)；又可以獲取周圍環(huán)境的實(shí)時(shí)深度信息，精確定位物體位置，使虛擬世界和現(xiàn)實(shí)世界的融合更加自然。

圖6：各種結(jié)構(gòu)光和ToF深度相機(jī)的工作原理

（圖源：ResearchGate)

體積更小、更快開發(fā)

更易集成的深度相機(jī)

要在整個(gè)系統(tǒng)中添加深度相機(jī)，既要考慮算法開發(fā)和應(yīng)用匹配，又要考慮功耗、體積和算力需求。如果能夠直接選擇一款完整成熟的深度相機(jī)方案，無縫地集成到現(xiàn)有的系統(tǒng)中，就可以加快開發(fā)進(jìn)度，實(shí)現(xiàn)事半功倍的效果。

Intel RealSense立體視覺（雙目）深度相機(jī)系列，就是這樣一套成熟方案。據(jù)悉，該系列是市場(chǎng)上非常廣泛的深度攝像頭產(chǎn)品線，擁有一系列激光雷達(dá)、立體傳感器和跟蹤攝像頭，可在不同條件下的多種環(huán)境中運(yùn)行。同時(shí)整個(gè)產(chǎn)品線中采用了統(tǒng)一的軟件開發(fā)套件(SDK)，這使得開發(fā)人員能夠快速適應(yīng)，在單一解決方案中輕松使用多個(gè)攝像頭，實(shí)現(xiàn)更快的產(chǎn)品上市時(shí)間。

Intel RealSense提供了多種不同的產(chǎn)品型號(hào)，但采用了統(tǒng)一的D4系列處理器。該處理器使用先進(jìn)的算法處理來自深度相機(jī)的原始圖像流，無需專用GPU或主機(jī)處理器即可計(jì)算高分辨率3D深度圖。將此視覺處理器添加到客戶的AR/VR、機(jī)器視覺系統(tǒng)中可以實(shí)現(xiàn)快速定制設(shè)計(jì)，從而為系統(tǒng)的主機(jī)處理器釋放更多帶寬。

圖7：Intel RealSense D4處理器

（圖源：Intel）

D405是整個(gè)Intel RealSense系列中，新推出的外型尺寸極小的一款深度相機(jī)，比一個(gè)高爾夫球還要小。該型號(hào)適用于短距離應(yīng)用（7cm至50cm），能夠在7cm處檢測(cè)到500微米的小物體。該產(chǎn)品集成了可提供匹配RGB和深度數(shù)據(jù)的高分辨率、彩色、全局快門深度傳感器，并通過圖像信號(hào)處理器(ISP)對(duì)來自深度傳感器的RGB數(shù)據(jù)進(jìn)行增強(qiáng)。

圖8：Intel RealSense D405拆解圖

（圖源：Intel）

在貿(mào)澤電子搜索料號(hào)“82635DSD405”，就可以獲取關(guān)于Intel RealSense D405的更多詳細(xì)信息。

而除了深度相機(jī)外，通常在AR/VR設(shè)備中，也會(huì)集成IMU或三軸加速度計(jì)這一關(guān)鍵器件。IMU即慣性測(cè)量單元（Inertial Measurement Unit），在頭戴設(shè)備中用于追蹤用戶頭部的旋轉(zhuǎn)角度和傾斜運(yùn)動(dòng)；在手柄和控制器上用于跟蹤手部動(dòng)作，實(shí)現(xiàn)自然的手勢(shì)控制；在VR應(yīng)用上，IMU還可以用于實(shí)時(shí)模擬重力、物體運(yùn)動(dòng)和物理互動(dòng)。

圖9：Intel RealSense 系列對(duì)比

（圖源：Intel）

在Intel RealSense的多款型號(hào)中，更是直接在相機(jī)內(nèi)部集成了IMU單元。如果想要在系統(tǒng)中添加更多的動(dòng)作識(shí)別和肢體跟蹤的功能，還可以再多集成一個(gè)三軸加速度計(jì)。在此我們推薦來自NXP Semiconductors的一款低功耗12位數(shù)字加速度計(jì)，具體型號(hào)為“FXLS8967AFR3”，可以直接在貿(mào)澤電子搜索了解更多詳情。

結(jié)語

隨著AR/VR技術(shù)在工業(yè)應(yīng)用上的普及，以及與工業(yè)互聯(lián)網(wǎng)、智能制造和數(shù)字孿生等技術(shù)的深度融合，工業(yè)制造將會(huì)迎來新一輪的生產(chǎn)效率提升。在不遠(yuǎn)的未來，工業(yè)元宇宙或?qū)⒊蔀楝F(xiàn)實(shí)。

相關(guān)技術(shù)資源

IntelRealSense深度攝像頭D405，了解詳情>>

NXP SemiconductorsFXLS8967AF低功耗12位數(shù)字加速度計(jì)，了解詳情>>

貿(mào)澤電子（Mouser Electronics）是一家全球知名的半導(dǎo)體和電子元器件授權(quán)代理商，分銷超過1200家品牌制造商的680多萬種產(chǎn)品，為客戶提供一站式采購(gòu)平臺(tái)。我們專注于快速引入新產(chǎn)品和新技術(shù)，為設(shè)計(jì)工程師和采購(gòu)人員提供潮流選擇。歡迎關(guān)注我們！