新發(fā)布的 NeuralVDB 和 Kaolin Wisp 等十幾款工具和程序使數(shù)百萬設(shè)計師和創(chuàng)作者能夠輕松、快速地創(chuàng)建 3D 內(nèi)容。

一直以來，創(chuàng)建游戲、虛擬世界（包括元宇宙）、產(chǎn)品設(shè)計或視覺效果場景中的 3D 物體都是一項高度精細的工作，即便是技藝精湛的藝術(shù)家也必須在細節(jié)逼真度與期限和預(yù)算壓力之間取得平衡。

要制作出在物理世界中看起來無異的物品需要耗費很長的時間，更復(fù)雜的是有時需要讓多個物體和角色在虛擬世界中互動。模擬物理已變得和模擬光線一樣重要，例如虛擬工廠中的機器人不僅要有與真實機器人完全相同的外觀，還要有完全相同的承重和制動能力。

完全做到這一點很難，但這也蘊含著巨大的機遇。除了產(chǎn)品設(shè)計外，它還影響到交通運輸、醫(yī)療、電信、娛樂等多個萬億美元的行業(yè)。最終，在虛擬世界中創(chuàng)建的內(nèi)容數(shù)量將超過在物理世界中創(chuàng)建的內(nèi)容。

為了簡化和縮短這一流程，NVIDIA 于今日發(fā)布新的研究和多款工具，這些工具將神經(jīng)圖形的應(yīng)用于創(chuàng)建、動畫 3D 物體和世界。

這些 SDK 包括為行業(yè)標(biāo)準(zhǔn) OpenVDB 帶來突破性更新的 NeuralVDB，以及建立神經(jīng)場研究框架的 Pytorch 庫——Kaolin Wisp 。它們不但簡化了設(shè)計師的創(chuàng)作流程，還使數(shù)百萬非專業(yè)設(shè)計人士也能輕松創(chuàng)建 3D 內(nèi)容。

神經(jīng)圖形是將 AI 和圖形學(xué)相結(jié)合的新領(lǐng)域，可以用來創(chuàng)建能夠從數(shù)據(jù)中學(xué)習(xí)的加速圖形流程。AI 的加入改進了結(jié)果、幫助實現(xiàn)設(shè)計選擇的自動化并為藝術(shù)家和創(chuàng)作者提供目前無法想象的新機會。神經(jīng)圖形學(xué)將重新定義用戶的虛擬世界創(chuàng)建、模擬和體驗方式。

這些 SDK 和研究將推動內(nèi)容創(chuàng)作流程的每個階段，包括：

3D 內(nèi)容創(chuàng)建

Kaolin Wisp：對Kaolin（一個能夠?qū)⑿录夹g(shù)測試和實施時間從幾周縮短到幾天，讓 3D深度學(xué)習(xí)研究變得更快的 PyTorch 庫）的補充。Kaolin Wisp 是一個面向神經(jīng)領(lǐng)域研究的庫，它建立了一套加速神經(jīng)領(lǐng)域新研究的通用工具和框架。

即時神經(jīng)圖形基元：一種捕捉現(xiàn)實世界物體形狀的新方法，也是 NVIDIA Instant NeRF（一種可將靜止圖像集變成數(shù)字 3D 場景的可逆渲染模型）背后的靈感來源。這項技術(shù)和相關(guān)的GitHub代碼將該流程的速度加快了高達 1000 倍。

3D MoMa：一種新的可逆渲染流程，使用戶可以將 2D 物體快速導(dǎo)入圖形引擎，并創(chuàng)建出可以用現(xiàn)實材料、照明和物理學(xué)進行修改的 3D 物體。

GauGAN360：NVIDIA GauGAN 的進化版本。這個 AI 模型可以將粗糙的涂鴉變成逼真的繪畫作品。GauGAN360 可生成能夠移植到 Omniverse 場景的 8K 360 度全景圖。

Omniverse Avatar Cloud Engine（ACE）：這個全新的云API、微服務(wù)和工具集可創(chuàng)建、自定義和部署數(shù)字人應(yīng)用。ACE 建立在 NVIDIA 的統(tǒng)一計算框架基礎(chǔ)之上，開發(fā)者可通過它將 NVIDIA的核心 AI 技術(shù)無縫集成到其虛擬形象應(yīng)用中。

物理學(xué)和動畫

NeuralVDB：一項對當(dāng)前行業(yè)的體數(shù)據(jù)存儲標(biāo)準(zhǔn) OpenVDB 的突破性改進。NeuralVDB運用機器學(xué)習(xí)引入緊湊型神經(jīng)表示法，大幅減少了內(nèi)存占用，以支持更高分辨率的 3D 數(shù)據(jù)。

Omniverse Audio2Face：一種可將音頻源生成生動面部動畫的 AI 技術(shù)。它非常適合用于交互式實時應(yīng)用和作為傳統(tǒng)的面部動畫創(chuàng)作工具。

ASE：動畫技能嵌入：一種使物理模擬角色在不熟悉的場景中以更靈敏、逼真的方式行動的方法。它使用深度學(xué)習(xí)指導(dǎo)角色如何應(yīng)對新的任務(wù)和行動。

TAO 工具包：一個使用戶能夠創(chuàng)建準(zhǔn)確、高性能姿勢預(yù)估模型的框架。它能夠以比當(dāng)前方法更快的速度運用計算機視覺評估個人可以在場景中做什么。

體驗

影像特征眼動追蹤：一個將像素渲染質(zhì)量與用戶反應(yīng)時間相聯(lián)系的研究模型。它通過預(yù)測渲染質(zhì)量、顯示屬性和瀏覽條件的最佳組合，實現(xiàn)最小的延遲，使快節(jié)奏的交互式計算機圖形學(xué)應(yīng)用（如競技游戲）有更好的表現(xiàn)。

VR全息眼鏡：與斯坦福大學(xué)一同開發(fā)的全新 VR 眼鏡設(shè)計，可在開創(chuàng)性的 2.5 毫米厚光學(xué)堆棧中提供全色 3D 全息圖像。

審核編輯：湯梓紅