AI、虛擬世界和數(shù)字人正在推動視覺設(shè)計進(jìn)入更寬廣的軌道。

在 SIGGRAPH 大會上，NVIDIA 高管發(fā)表的簡短的特別演講令人大開眼界，其中不僅描述了推動圖形新時代發(fā)展的力量，還介紹了 NVIDIA 致力于擴(kuò)展新工具并為加速圖形技術(shù)發(fā)展不遺余力。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛在為時 45 分鐘的演講中談到：“元宇宙是互聯(lián)網(wǎng)的再次演進(jìn)，而 AI 和計算機(jī)圖形技術(shù)的結(jié)合將為元宇宙提供動力”。

它將成為互聯(lián)虛擬世界和數(shù)字孿生的樞紐，成為工作和娛樂的心選之地。黃仁勛還表示，數(shù)字人虛擬形象將成為未來廣受歡迎的機(jī)器人形式之一，將為這個領(lǐng)域注入更多生機(jī)與活力。

通過 45 個演示和幻燈片，5 位 NVIDIA 演講者發(fā)布了如下公告：

NVIDIA Omniverse Avatar Cloud Engine (ACE)，用于創(chuàng)建虛擬形象的新平臺。

構(gòu)建 Universal Scene Description (USD) 的計劃，USD 是元宇宙的語言。

對 NVIDIA Omniverse（用于創(chuàng)建虛擬世界和數(shù)字孿生的計算平臺）的主要擴(kuò)展。

利用機(jī)器學(xué)習(xí)為圖形工作流提供強(qiáng)效助力的工具。

他談到，“我們今天發(fā)布的公告進(jìn)一步推動了元宇宙的發(fā)展，這是一個新的計算平臺，具有新的編程模型、架構(gòu)和標(biāo)準(zhǔn)。

元宇宙應(yīng)用已應(yīng)運而生。

黃仁勛指出，“用戶可以嘗試使用增強(qiáng)現(xiàn)實的虛擬 3D 產(chǎn)品，電信公司正在創(chuàng)建其無線電網(wǎng)絡(luò)的數(shù)字孿生來優(yōu)化和部署無線電塔[以及]許多公司都在創(chuàng)建倉庫和工廠的數(shù)字孿生以優(yōu)化其布局和物流?！?

輸入虛擬形象

元宇宙的世界離不開虛擬助手，我們與虛擬形象的互動將像與另一個人交談一樣自然。他們將在數(shù)字工廠工作，玩在線游戲，并為電子零售商提供客戶服務(wù)。

黃仁勛說，“虛擬形象在 Omniverse 中進(jìn)行設(shè)計、訓(xùn)練和操作，會成為廣泛使用的機(jī)器人之一，數(shù)目將增長至數(shù)十億個”。

數(shù)字人和虛擬形象需要自然語言處理、計算機(jī)視覺、復(fù)雜的面部和身體動畫等技術(shù)。為了以逼真的方式移動和說話，這套復(fù)雜的技術(shù)必須同步到毫秒。

盡管非常艱巨，NVIDIA 仍致力于通過 Omniverse Avatar Cloud Engine 簡化和加速這項工作。ACE 是基于 NVIDIA 工作構(gòu)建的一系列 AI 模型和服務(wù)集合，涵蓋從對話式 AI 到 Audio2Face 和 Audio2Emotion 等動畫工具的所有內(nèi)容。

虛擬形象需要許多復(fù)雜的功能

NVIDIA 圖形和 AI 總監(jiān) Simon Yuen 表示，“借助 Omniverse ACE，開發(fā)者可以在任何公有云或私有云中，在任何引擎中構(gòu)建、配置和部署其虛擬形象應(yīng)用。我們希望為每個平臺構(gòu)建交互式虛擬形象?！?/p>

ACE 將于明年初推出，可在嵌入式系統(tǒng)和所有主要云服務(wù)中運行。

Yuen 還展示了新版 Omniverse Audio2Face，這是一種可以直接通過聲音創(chuàng)建面部動畫的 AI 模型。

他談到，“我們剛剛添加了更多功能來分析您的情緒，并自動將您的情緒傳遞給虛擬形象?！?/p>

未來版本的 Audio2Face 只需一張照片即可創(chuàng)建虛擬形象，自動應(yīng)用紋理并生成動畫就緒型 3D 網(wǎng)格。它們將對肌肉運動進(jìn)行高保真模擬，AI 可以通過觀看視頻來汲取經(jīng)驗。生成的頭發(fā)不僅效果逼真，還會對虛擬梳理做出預(yù)期的反應(yīng)。

USD 是 3D 互聯(lián)網(wǎng)的基礎(chǔ)

元宇宙的許多超能力都以 USD 為基礎(chǔ)，而 USD 是 3D 互聯(lián)網(wǎng)的基礎(chǔ)。

NVIDIA Omniverse 和模擬技術(shù)副總裁 Rev Lebaredian 表示，元宇宙“需要一種標(biāo)準(zhǔn)的方式來描述 3D 世界中的所有事物”。

將 USD 與 2D 網(wǎng)絡(luò)中的 HTML 比較時，他補充道，“我們認(rèn)為，Pixar 發(fā)明和開源的 Universal Scene Description 是互聯(lián)網(wǎng)新時代的標(biāo)準(zhǔn)場景描述”。

Lebaredian 將 NVIDIA 對 USD 的愿景描述為創(chuàng)造比現(xiàn)實世界中更多機(jī)遇的關(guān)鍵。

他說：“我們的下一個里程碑旨在使 USD 在實時、大規(guī)模虛擬世界和工業(yè)數(shù)字孿生方面發(fā)揮卓越性能。”NVIDIA 計劃幫助 USD 為構(gòu)建國際字符集、地理空間坐標(biāo)以及物聯(lián)網(wǎng)數(shù)據(jù)的實時串流提供支持。

NVIDIA 計劃投資 USD

為進(jìn)一步加速 USD 的采用，NVIDIA 將發(fā)布 USD 兼容性測試和認(rèn)證套件。它可讓開發(fā)者了解其自定義 USD 組件會產(chǎn)生預(yù)期結(jié)果。

此外，NVIDIA 還發(fā)布了一組模擬就緒型 USD 素材，專為工業(yè)數(shù)字孿生和 AI 訓(xùn)練工作流而設(shè)計。他們加入了大量的免費線上 USD 資源，包括 USD 就緒型場景、點播教程、文檔和講師指導(dǎo)式課程。

Lebaredian 表示，“我們希望每個人都能為構(gòu)建和推進(jìn) USD 發(fā)展貢獻(xiàn)一己之力?！?/p>

Omniverse 擴(kuò)展調(diào)色板

對 NVIDIA Omniverse 的主要新版本的公告是特別演講的重要內(nèi)容之一，其下載量已達(dá) 18.4 萬次。

黃仁勛將 Omniverse 稱為“一個 USD 平臺、是構(gòu)建元宇宙應(yīng)用的工具包，以及運行虛擬世界的計算引擎?！?/p>

其新版本包含多項升級的核心技術(shù)，并支持與更多熱門工具連接。

這些名為 Omniverse Connector 的鏈路現(xiàn)已面向 Unity、Blender、Autodesk Alias、Siemens JT、SimScale、Open Geospatial Consortium 等進(jìn)行開發(fā)。連接器現(xiàn)已推出測試版，適用于 PTC Creo、Visual Components 和 SideFX Houdini。Siemens Xcelerator 現(xiàn)已成為 Omniverse 網(wǎng)絡(luò)的一部分，這些新開發(fā)的加入使隊伍更加壯大，將攜手迎接更多工業(yè)客戶進(jìn)入數(shù)字孿生時代。

NVIDIA 專業(yè)圖形副總裁 Steve Parker 表示，“Omniverse 與互聯(lián)網(wǎng)本身一樣，是一個由網(wǎng)絡(luò)組成的‘網(wǎng)絡(luò)’，可連接各行各業(yè)和各學(xué)科的用戶?！?/p>

NVIDIA Omniverse 新功能

近十幾個合作伙伴將在 SIGGRAPH 上展示 Omniverse 功能，包括硬件、軟件和云服務(wù)供應(yīng)商，例如 AWS、Adobe、戴爾、Epic 和微軟。六家合作伙伴將就 AI 和虛擬世界等主題舉辦會議，將由 NVIDIA 提供支持。

加快物理速度，創(chuàng)建動物動畫

Parker 詳細(xì)介紹了 Omniverse 中的多項技術(shù)升級，涵蓋了使用材質(zhì)定義語言 (MDL) 模擬物理屬性準(zhǔn)確的材質(zhì)、使用 PhysX 的實時物理，以及 RTX（即混合渲染和 AI 系統(tǒng)）等增強(qiáng)功能。

Parker 認(rèn)為，“從邊緣到云端，這些核心技術(shù)支柱都由 NVIDIA 高性能計算提供支持?！?/p>

例如，PhysX 現(xiàn)在支持軟體和粒子布料仿真，可實時為虛擬世界帶來更高的物理精度。并且，NVIDIA 完全開源 MDL，因此可以輕松支持 OpenGL 或 Vulkan 等圖形 API 標(biāo)準(zhǔn)，從而使開發(fā)人員可以更廣泛地使用材料標(biāo)準(zhǔn)。

Omniverse 還將包括 NVIDIA Research 開發(fā)的結(jié)合了 RTX 圖形和 AI 的神經(jīng)圖形功能。例如：

動物建模師允許藝術(shù)家可以使用激光點云迭代動物的形狀，然后自動生成 3D 網(wǎng)格。

GauGAN360 是 NVIDIA GauGAN 的下一代次演進(jìn)，可生成 8K 360 度全景圖并輕松加載到 Omniverse 場景中。

Instant NeRF 根據(jù) 2D 影像創(chuàng)建 3D 對象和場景。

機(jī)器學(xué)習(xí)框架 NVIDIA Modulus 的 Omniverse Extension 將讓開發(fā)人員使用 AI 將現(xiàn)實世界物理的模擬速度提高 10 萬倍，因此元宇宙的外觀和感覺就像現(xiàn)實世界一樣。

此外，Omniverse Machinima 作為 SIGGRAPH 大會主題的激烈競賽主題，競技內(nèi)容來源于戰(zhàn)爭附言 (Post Scriptum)”、“Beyond the Wire”和“影子武士 3 (Shadow Warrior 3)”，以及新的 AI 動畫工具，如 Audio2Gesture。

Industrial Light & Magic 的演示展示了另一項新功能。Omniverse DeepSearch 利用 AI 幫助團(tuán)隊直觀地搜索未標(biāo)記資產(chǎn)的大型數(shù)據(jù)庫，即使未在元數(shù)據(jù)中具體列出，也能為術(shù)語提供準(zhǔn)確的結(jié)果。

圖形變得智能

新興元宇宙的重要支柱之一即為神經(jīng)圖形。這是一個混合學(xué)科，可利用神經(jīng)網(wǎng)絡(luò)模型加速和增強(qiáng)計算機(jī)圖形。

NVIDIA AI 副總裁 Sanja Fidler 認(rèn)為：“神經(jīng)圖形將 AI 和圖形融合在一起，為打造能夠從數(shù)據(jù)中學(xué)習(xí)的未來圖形管線鋪平了道路?！?她補充道，“最終，神經(jīng)圖形將重新定義用戶創(chuàng)建、模擬和體驗虛擬世界的原理?！?/p>

AI 將幫助藝術(shù)家生成創(chuàng)建元宇宙所需的大量 3D 內(nèi)容。例如，他們可以使用神經(jīng)圖形快速捕獲現(xiàn)實世界中的對象和行為。

Fidler 介紹了用于實現(xiàn)這一目的的 NVIDIA 軟件 Instant NeRF，這是一個利用 2D 圖像創(chuàng)建 3D 對象或場景的工具。這是 NVIDIA 在 SIGGRAPH 大會上榮獲的兩項最佳論文獎之一的主題。

另一篇獲獎的最佳論文介紹了神經(jīng)圖形，該模型可以預(yù)測并減少電競和 AR/VR 應(yīng)用中的反應(yīng)延遲。包含這兩篇最佳論文在內(nèi)，NVIDIA 研究人員在本周的 SIGGRAPH 大會上共發(fā)表了 16 篇論文。

神經(jīng)圖形將 AI 融入圖形管線

設(shè)計師和研究人員可以應(yīng)用神經(jīng)圖形和其他技術(shù)，使用 NVIDIA 在大會上推出的全新軟件開發(fā)套件來創(chuàng)作自己的競獎作品。

Fidler 介紹了其中一套工具 Kaolin Wisp，只需幾行代碼即可創(chuàng)建神經(jīng)場（即，表示 3D 場景或?qū)ο蟮?AI 模型）。

另外，NVIDIA 還發(fā)布了 NeuralVDB，這是開源標(biāo)準(zhǔn) OpenVDB 的下一代演進(jìn)版本，用于模擬和渲染水、火、煙霧和云，從視覺效果到科學(xué)計算等各領(lǐng)域均在使用。

NeuralVDB 使用神經(jīng)模型和 GPU 優(yōu)化顯著降低內(nèi)存要求，以便用戶能夠?qū)崟r與極其復(fù)雜的超大型數(shù)據(jù)集進(jìn)行交互，并更高效地共享這些數(shù)據(jù)集。

黃仁勛認(rèn)為，“AI 是我們這個時代強(qiáng)大的技術(shù)力量之一，它將徹底改變計算機(jī)科學(xué)的各個領(lǐng)域，包括計算機(jī)圖形學(xué)，而 NVIDIA RTX 是神經(jīng)圖形學(xué)的引擎。”請在 SIGGRAPH 活動網(wǎng)站觀看完整的 NVIDIA 特別演講，其中還包括實驗、演示文稿和紀(jì)錄片首映的詳細(xì)信息。

審核編輯：湯梓紅