演講嘉賓 | 高 陽

回顧整理 | 廖 濤

排版校對 | 宋夕明

嘉賓介紹

OS內(nèi)核及視窗分論壇

高陽，工學(xué)博士，博士生導(dǎo)師，虛擬現(xiàn)實(shí)技術(shù)與系統(tǒng)全國重點(diǎn)實(shí)驗(yàn)室副教授，入選首屆中國科協(xié)青年智庫人才支持計(jì)劃。主要研究方向?yàn)槊嫦蜥t(yī)療康復(fù)的虛擬現(xiàn)實(shí)應(yīng)用技術(shù)，包括可視化三維幾何、物理現(xiàn)象、人體運(yùn)動(dòng)建模與仿真，真實(shí)感渲染，智能人機(jī)交互等。在IEEE TVCG、IEEE VR、CVPR、AAAI等圖形學(xué)、人工智能和VR/AR領(lǐng)域國內(nèi)外知名期刊或會(huì)議中發(fā)表文章30余篇。曾獲2020中國電子學(xué)會(huì)科技進(jìn)步一等獎(jiǎng)、2021年中國產(chǎn)學(xué)研合作創(chuàng)新成果一等獎(jiǎng)等。主持國家自然科學(xué)青年基金、北京市自然科學(xué)獎(jiǎng)基金、重點(diǎn)研發(fā)計(jì)劃子課題、北京市科技計(jì)劃課題等多個(gè)科研項(xiàng)目和課題。

視頻回顧

打開嗶哩嗶哩APP，觀看更清晰視頻

正文內(nèi)容

在復(fù)雜的工業(yè)制造中，基于建模與仿真技術(shù)進(jìn)行前期測試與驗(yàn)證，能夠縮短開發(fā)周期，降低安全風(fēng)險(xiǎn)，提高制造效率。隨著計(jì)算機(jī)軟硬件以及AI大模型的快速發(fā)展，建模與仿真技術(shù)有哪些新進(jìn)展？北京航空航天大學(xué)副教授高陽在第二屆OpenHarmony技術(shù)大會(huì)上進(jìn)行了精彩分享。

可視化物理場景建模與仿真技術(shù)發(fā)展經(jīng)歷了二維圖像、三維特效以及點(diǎn)觸式交互（移動(dòng)端呈現(xiàn)）等階段，目前正在向虛實(shí)融合呈現(xiàn)與交互演進(jìn)。目前，虛實(shí)混合增強(qiáng)場景計(jì)算和高效建模在物理仿真、算法優(yōu)化、場景渲染以及人機(jī)交互方面均存在一定挑戰(zhàn)。

一：復(fù)雜自然場景的物理建模與仿真

復(fù)雜的自然場景中，由于幾何表示差異大、物理屬性和材料各不相同，導(dǎo)致物理建模和仿真困難，主要應(yīng)對策略有：

（1）多尺度混合固體材料模擬：多尺度混合固體材料包含了屬性差異巨大、顆粒尺度多變的多種材質(zhì)，建模和計(jì)算困難，且不同材質(zhì)之間的相變與交互耦合行為難以描述。針對該問題，研究者所在團(tuán)隊(duì)研究并提出了一種粒子與密度場、網(wǎng)格模型混合的統(tǒng)一仿真模型：在基于APIC的流體仿真框架下實(shí)現(xiàn)了顆粒狀材質(zhì)在空氣摩擦作用力下生成粉末狀煙霧的轉(zhuǎn)換過程，模擬了粉末狀固體運(yùn)動(dòng)過程中從破碎到粉塵飄揚(yáng)、再到粉塵沉淀為微小粒子，粒子在含水率控制下表現(xiàn)出類流體行為的完整過程。相比單一的粒子表示模型，該框架模型具有更加逼真的視覺效果和更豐富的細(xì)節(jié)表達(dá)。

（2）非牛頓行為統(tǒng)一建模與行為仿真：影視特效和動(dòng)畫中往往需要產(chǎn)生高質(zhì)量的非牛頓流體仿真，但目前還沒有能夠模擬各種非牛頓現(xiàn)象的基于粒子的方法。針對該問題，研究者本人及其所在團(tuán)隊(duì)研究并提出了一種基于SPH的非牛頓流體統(tǒng)一求解框架。該求解器不僅能夠處理依據(jù)剪切率變化的變粘度流體，還能仿真彈性、塑性與粘性共存的粘彈性和粘塑性體。通過Generalized Maxwell理論模型將粘性、彈性和塑性統(tǒng)一到一個(gè)框架中，能夠模擬各類剪切變稀型、剪切變稠型、賓漢型等各類非牛頓行為。

二、數(shù)值算法優(yōu)化與加速

在基于數(shù)據(jù)驅(qū)動(dòng)的劇本化仿真過程中，往往數(shù)據(jù)與物理的聯(lián)動(dòng)較弱，導(dǎo)致需要消耗大量的計(jì)算資源和時(shí)間成本。主要應(yīng)對策略有：

（1）基于物理感知的流體動(dòng)態(tài)逆向建模：在流體動(dòng)態(tài)逆向建模中，往往存在流場捕獲困難、幾何重建交互性和拓展性弱以及迭代優(yōu)化計(jì)算量大且不能實(shí)時(shí)建模的問題。針對該問題，研究者本人及其研究團(tuán)隊(duì)研究并提出了基于物理感知的流體動(dòng)態(tài)逆向建模的框架，即利用深度學(xué)習(xí)網(wǎng)絡(luò)從表面幾何序列中推斷全部的速度場和流體的物理屬性參數(shù)，據(jù)此利用物理仿真器在時(shí)間維度上推演模擬流場。該方法同時(shí)繼承了深度學(xué)習(xí)和傳統(tǒng)的物理仿真的優(yōu)勢，能夠高效精準(zhǔn)地再現(xiàn)與觀測一致的流體運(yùn)動(dòng)。

（2）數(shù)據(jù)驅(qū)動(dòng)的流固耦合場景高效仿真：與流體建模相比，動(dòng)態(tài)流固耦合更加復(fù)雜，且在處理和耦合固體運(yùn)動(dòng)演化與相互作用時(shí)需要額外的計(jì)算資源。針對該問題，研究者本人及其所在團(tuán)隊(duì)研究并提出了一種基于物質(zhì)點(diǎn)法的流固耦合加速算法，結(jié)合物質(zhì)點(diǎn)法在易于處理自碰撞、拓?fù)渥兓投嗖牧舷嗷プ饔玫确矫娴膬?yōu)勢特性和數(shù)據(jù)驅(qū)動(dòng)模型的高效率。在保留物理精度的同時(shí)，以數(shù)據(jù)驅(qū)動(dòng)的方式實(shí)現(xiàn)高效和準(zhǔn)確的流固耦合求解。

三、基于物理的高真實(shí)感實(shí)時(shí)渲染

目前，基于物理的高真實(shí)感實(shí)時(shí)渲染存在計(jì)算模型復(fù)雜、計(jì)算量大、高真實(shí)感算法性能低以及難以平衡質(zhì)量與性能等問題。主要應(yīng)對策略有：

（1）基于注視點(diǎn)的VR場景渲染加速方法：虛擬現(xiàn)實(shí)（VR）對場景渲染的質(zhì)量要求高，需要高刷新率和高分辨率。但由于場景和模型復(fù)雜，往往渲染速率較低，且計(jì)算量大。針對該問題，研究者本人及其團(tuán)隊(duì)研究并提出了根據(jù)人體視覺系統(tǒng)HVS對不同視覺區(qū)域的敏感度變化特性，設(shè)計(jì)了一種基于焦點(diǎn)區(qū)域的屏幕空間光線步進(jìn)優(yōu)化步驟，在邊界區(qū)域進(jìn)行步進(jìn)縮減，顯著提升計(jì)算效率。同時(shí)使用時(shí)間抗鋸齒技術(shù)，結(jié)合三種內(nèi)核函數(shù)，利用多幀歷史數(shù)據(jù)對當(dāng)前結(jié)果進(jìn)行優(yōu)化處理，達(dá)到實(shí)時(shí)目標(biāo)。

（2）基于次表面散射的半透明材質(zhì)實(shí)時(shí)渲染：傳統(tǒng)表面光照模型不適用于半透明材質(zhì)，且計(jì)算機(jī)硬件要求無法支撐實(shí)時(shí)光追?，F(xiàn)有的半透明材質(zhì)實(shí)時(shí)渲染方法也存在計(jì)算量大、物體表面細(xì)節(jié)被過度模糊以及渲染效率低等問題。針對該問題，研究者本人及其團(tuán)隊(duì)研究并提出了在將三維空間下的復(fù)雜光子束擴(kuò)散存儲(chǔ)與評估拓展到屏幕空間。利用紋理映射技術(shù)，使用二維圖像集存儲(chǔ)空間光子信息。根據(jù)屏幕空間有限信息，對雙向散射表面反射分布函數(shù)進(jìn)行有效評估。同時(shí)，通過拓展mip-map技術(shù)實(shí)現(xiàn)二維紋理空間上的光子聚類，進(jìn)一步提升計(jì)算速率，支持任意半透明材質(zhì)的高質(zhì)量實(shí)時(shí)渲染。

四：虛實(shí)融合人機(jī)交互

在虛實(shí)融合的人機(jī)交互場景中，往往存在匹配程度弱、繪制效率低以及虛實(shí)融合效果差等問題。主要應(yīng)對策略有：

（1）基于皮膚電和心率變異性評估的VR場景工作記憶訓(xùn)練與評估：目前，工作記憶訓(xùn)練方法的任務(wù)枯燥、遷移性弱，工作記憶評估方法依賴主觀量表，標(biāo)準(zhǔn)單一。針對該問題，研究者本人及其團(tuán)隊(duì)研究并提出了一個(gè)用于工作記憶訓(xùn)練與評估的虛擬現(xiàn)實(shí)系統(tǒng)，結(jié)合符合日常生活習(xí)慣的物體陳列關(guān)系，可以隨機(jī)生成用戶熟悉且合理的場景，供用戶完成工作記憶任務(wù)；設(shè)計(jì)并采用了貼近生活的記憶任務(wù)與更為綜合的評估準(zhǔn)則，并且結(jié)合了皮膚電與心率變異性對用戶的工作記憶能力進(jìn)行準(zhǔn)確的評估。

（2）具身虛擬代理行為對VR交互真實(shí)感的影響評估：目前，尚未研究關(guān)注VR環(huán)境下MetaHuman與ChatGPT結(jié)合的具身虛擬代理，且沒有系統(tǒng)的評估方法。針對該問題，研究者本人及其所在團(tuán)隊(duì)研究并提出了基于ChatGPT和MetaHuman的具身對話代理（ECA）MetaChatbot，分別設(shè)置其三個(gè)不同保真度的注視行為和身體動(dòng)作，開展用戶實(shí)驗(yàn)，結(jié)合主觀評分和生理信號發(fā)現(xiàn)了身體動(dòng)作相比注視行為在提高交互體驗(yàn)上的主導(dǎo)地位，為具身對話代理設(shè)計(jì)師提供相關(guān)建議。

（3）基于眼勢的人機(jī)交互界面控制：眼動(dòng)控制時(shí)，由于眼動(dòng)速度過快，難以控制，眼勢數(shù)據(jù)也難以收集，且目前缺乏通用的框架，阻礙交互。針對該問題，研究者本人及其所在團(tuán)隊(duì)研究并提出了基于眼勢的人機(jī)交互界面控制方法，設(shè)計(jì)并采集數(shù)據(jù)特征簡潔且具有通用性的眼勢數(shù)據(jù)集。設(shè)計(jì)模板數(shù)據(jù)生成方法，使用GazePG網(wǎng)絡(luò)對極少量眼勢數(shù)據(jù)和大量模板數(shù)據(jù)域適應(yīng)訓(xùn)練，進(jìn)行眼勢軌跡識別，以解決眼勢數(shù)據(jù)難以采集，一般識別網(wǎng)絡(luò)難以達(dá)到很好的識別效果的問題。

（4）基于物理的多材質(zhì)物體與手勢虛擬現(xiàn)實(shí)交互系統(tǒng)：目前，虛擬現(xiàn)實(shí)場景欠缺物理效果豐富性，人機(jī)交互的設(shè)備使用繁瑣，場地限制較大，且復(fù)雜場景的實(shí)時(shí)渲染效果較差。針對該問題，研究者本人及其所在團(tuán)隊(duì)提出了一種新的多材質(zhì)物體和物理交互框架，即將不同材質(zhì)的真實(shí)物體和虛擬手模型體素化為粒子形式，利用手勢識別工具進(jìn)行人機(jī)交互，并基于物質(zhì)點(diǎn)算法進(jìn)行統(tǒng)一的模擬。該方法擁有物質(zhì)點(diǎn)算法的豐富性和穩(wěn)定性；此外，該方法還通過多樣化的表面重建和渲染策略在虛擬現(xiàn)實(shí)場景內(nèi)實(shí)現(xiàn)了高質(zhì)量和高效率兼顧的畫面表現(xiàn)；最后，自由便攜的人機(jī)交互方式結(jié)合上述模擬和渲染策略，提供全新的虛擬現(xiàn)實(shí)體驗(yàn)。

未來，基于OpenHarmony分布式軟總線的能力以及統(tǒng)一OS、彈性部署，硬件互助、資源共享，一次開發(fā)、多端部署的技術(shù)優(yōu)勢，開發(fā)面向混合增強(qiáng)現(xiàn)實(shí)的系統(tǒng)底座，并結(jié)合虛擬現(xiàn)實(shí)應(yīng)用技術(shù)，有望引領(lǐng)增強(qiáng)現(xiàn)實(shí)空間交互操作新模式。

E N D

關(guān)注我們，獲取更多精彩。

審核編輯 黃宇