AI 的深入發(fā)展推動(dòng)人機(jī)交互領(lǐng)域的技術(shù)不斷革新，“數(shù)字人”市場(chǎng)快速升溫。隨著用戶對(duì)人機(jī)交互智能化提出了更高的要求，加之計(jì)算機(jī)視覺和自然語言處理等技術(shù)的迭代升級(jí)和互相融合，多模態(tài)人機(jī)交互成為新的發(fā)展趨勢(shì)。

中科深智聚焦動(dòng)作和表情的實(shí)時(shí)生成引擎研發(fā)，打造了數(shù)字人多模態(tài)實(shí)時(shí)驅(qū)動(dòng)引擎 Motionverse，賦能各類元宇宙和數(shù)字人業(yè)務(wù)發(fā)展。中科深智將 Motionverse 引入 NVIDIA Omniverse 平臺(tái)，借助 Omniverse 平臺(tái)的開源模塊化架構(gòu)，加速功能開發(fā)，為 Motionverse 創(chuàng)建了更多落地場(chǎng)景。

多模態(tài)數(shù)字人實(shí)時(shí)驅(qū)動(dòng)開發(fā)：細(xì)節(jié)成為“攔路虎”

當(dāng)前多模態(tài)技術(shù)仍存在語義鴻溝、異構(gòu)鴻溝、數(shù)據(jù)缺失三大難點(diǎn)，后續(xù)開發(fā)仍需持續(xù)突破技術(shù)難點(diǎn)。多模態(tài)數(shù)字人開發(fā)覆蓋文字、語音、視覺的理解和生成，動(dòng)作識(shí)別和驅(qū)動(dòng)，環(huán)境感知等多方面，對(duì)視覺、語音、自然語言處理等提出了更高的算法和技術(shù)需求。

Motionverse 引擎在最初的設(shè)定中，包括了面部、上半身、聲音、DM 等多種方式，但在實(shí)際開發(fā)過程中也會(huì)遇到很多細(xì)節(jié)問題。因此，如何在引擎中實(shí)現(xiàn)技術(shù)融合、推動(dòng)實(shí)現(xiàn)更為高效的多模態(tài)人機(jī)交互需要更為全面的底層技術(shù)支持。

Omniverse 模組化設(shè)計(jì)賦能數(shù)字人開發(fā)

NVIDIA Omniverse 是可實(shí)現(xiàn) 3D 設(shè)計(jì)協(xié)作和真實(shí)模擬的可擴(kuò)展式多 GPU 虛擬世界平臺(tái)。中科深智依靠 Omniverse 平臺(tái)的模組化設(shè)計(jì)，借助 Omniverse 底層技術(shù)支持 AI 生成動(dòng)作表情后的驅(qū)動(dòng)，使驅(qū)動(dòng)過程更為高效、清晰。

中科深智與 NVIDIA 開展深度合作，將其多模態(tài)數(shù)字人表情和動(dòng)作生成及實(shí)時(shí)驅(qū)動(dòng)平臺(tái)——Motionverse 接入 3D 模擬和協(xié)作平臺(tái) NVIDIA Omniverse，同時(shí)結(jié)合 NVIDIA 多個(gè) SDK 提供的強(qiáng)大 AI 能力（如 Avatar Cloud Engine 和 Maxine 等），為全球設(shè)計(jì)師和開發(fā)者提供完整的數(shù)字人全套即插即用的解決方案。

NVIDIA Omniverse Avatar Cloud Engine（ACE）是基于云的 AI 模型和服務(wù)的集合，建立在 NVIDIA 統(tǒng)一計(jì)算框架（UCF）之上，其豐富的軟件工具和 API 可供開發(fā)者輕松構(gòu)建、自定義和部署生動(dòng)的交互式虛擬形象。

NVIDIA Maxine 是 Omniverse ACE 的一部分，是一套由 GPU 加速的 AI 軟件開發(fā)套件（SDK）和云原生微服務(wù)，用于部署經(jīng)過優(yōu)化和加速的 AI 功能。Maxine 云原生微服務(wù)允許開發(fā)者構(gòu)建實(shí)時(shí) AI 應(yīng)用。微服務(wù)還可以獨(dú)立管理，開發(fā)者可以在云端進(jìn)行無縫部署，縮短開發(fā)周期。

Omniverse 助力 Motionverse 加速落地場(chǎng)景構(gòu)建

Motionverse 借助 Omniverse 平臺(tái)，可助力 Omniverse 用戶以更簡(jiǎn)便、更精準(zhǔn)的方式驅(qū)動(dòng)數(shù)字人，實(shí)現(xiàn)高效率、低成本、大批量、全自動(dòng)的多模態(tài)動(dòng)作數(shù)據(jù)解析、生成、影像渲染及內(nèi)容輸出，讓數(shù)字人的動(dòng)作和表情變得生動(dòng)、靈活、真實(shí)。

中科深智借助 Omniverse 平臺(tái)加速引擎功能開發(fā)，更加高效地上線了面部驅(qū)動(dòng)、上半身驅(qū)動(dòng)和聲音驅(qū)動(dòng)等功能，同時(shí)還將借助 Omniverse 平臺(tái)的 3D 設(shè)計(jì)協(xié)作及可擴(kuò)展的多 GPU 實(shí)時(shí)逼真仿真，針對(duì)當(dāng)前互動(dòng)效果進(jìn)行持續(xù)更新，著力擴(kuò)展更多的驅(qū)動(dòng)模態(tài)。

同時(shí)中科深智還加入了 NVIDIA 初創(chuàng)加速計(jì)劃，其聯(lián)合創(chuàng)始人兼 CTO 宋健表示，“作為 NVIDIA 初創(chuàng)加速計(jì)劃會(huì)員，我們獲得了市場(chǎng)、技術(shù)等多方面的支持。我們還獲邀參與了 2022 NVIDIA 初創(chuàng)企業(yè)展示活動(dòng)，并進(jìn)入了最終展示。通過與 NVIDIA 的深度合作，中科深智將公司的多模態(tài)數(shù)字人表情和動(dòng)作生成及實(shí)時(shí)驅(qū)動(dòng)平臺(tái)——Motionverse 接入設(shè)計(jì)師協(xié)同設(shè)計(jì)平臺(tái) NVIDIA Omniverse，同時(shí)結(jié)合 NVIDIA 多個(gè) SDK 提供的強(qiáng)大 AI 能力，包括 Maxine 以及 ACE 數(shù)字人為全球設(shè)計(jì)師和開發(fā)者提供完整的數(shù)字人全套即插即用的解決方案。”

審核編輯：湯梓紅