在 SIGGRAPH 上推出的全新深度學(xué)習框架可用于打造自動駕駛汽車、氣候科學(xué)和智慧城市的 AI 就緒型虛擬表示。

NVIDIA 在 SIGGRAPH 上推出了 fVDB，這是一種全新的深度學(xué)習框架，用于生成現(xiàn)實世界的 AI 就緒型虛擬表示。

fVDB 基于 OpenVDB 構(gòu)建而成，OpenVDB 是一個行業(yè)標準庫，用于仿真和渲染稀疏體積數(shù)據(jù)，例如水、火、煙和云。

生成式物理 AI（例如現(xiàn)實世界中的自動駕駛汽車和機器人）需要具備“空間智能”，即能夠理解 3D 空間并能在 3D 空間中運作。

捕獲我們周圍世界的宏觀細節(jié)和超微細節(jié)至關(guān)重要。不過，將現(xiàn)實轉(zhuǎn)化為虛擬表示來訓(xùn)練 AI 非常困難。

現(xiàn)實環(huán)境的原始數(shù)據(jù)可以通過多種不同的技術(shù)收集，例如神經(jīng)輻射場（NeRF）和激光雷達。fVDB 能夠?qū)⑦@些數(shù)據(jù)轉(zhuǎn)化為實時渲染、規(guī)模龐大的 AI 就緒型環(huán)境。

依托于十年來在 OpenVDB 標準方面的不斷創(chuàng)新， fVDB 在 SIGGRAPH 上的推出，標志著各行各業(yè)在如何利用現(xiàn)實世界的數(shù)字孿生方面實現(xiàn)了巨大飛躍。

現(xiàn)實規(guī)模的虛擬環(huán)境正在廣泛用于訓(xùn)練自主智能體。例如，通過無人機捕獲城市規(guī)模的 3D 模型，用于氣候科學(xué)和災(zāi)害防范規(guī)劃。如今，3D 生成式 AI 甚至被用于規(guī)劃城市空間和智慧城市。

fVDB 使各行各業(yè)能夠以前所未有的規(guī)模和分辨率利用空間智能，從而使物理 AI 更加智能。

該框架能夠基于 NanoVDB（GPU 加速的數(shù)據(jù)結(jié)構(gòu)，有助于實現(xiàn)高效的 3D 仿真）構(gòu)建 NVIDIA 加速的 AI 算子。這些算子包括卷積、池化、注意力機制和網(wǎng)格化，它們都是針對高性能 3D 深度學(xué)習應(yīng)用而構(gòu)建的。

借助 AI 算子，企業(yè)能夠構(gòu)建復(fù)雜的神經(jīng)網(wǎng)絡(luò)以實現(xiàn)空間智能，例如大規(guī)模點云重建和 3D 生成式建模。

fVDB 是 NVIDIA 研究團隊長期努力的成果，已經(jīng)用于為 NVIDIA Research、NVIDIA DRIVE 和 NVIDIA Omniverse 項目提供支持，這些項目需要大型復(fù)雜現(xiàn)實世界空間的高保真模型。

fVDB 的主要優(yōu)勢

更大：空間規(guī)模是以往框架的 4 倍。

更快：速度是以往框架的 3.5 倍。

可互操作：企業(yè)可以充分利用龐大的現(xiàn)實世界數(shù)據(jù)集。fVDB 能夠根據(jù) VDB 數(shù)據(jù)集打造全尺寸 3D 環(huán)境。支持 AI 且實時渲染，可用于打造具有空間智能的物理 AI。

更強大：能夠運行的算子是以往框架的 10 倍。fVDB 通過結(jié)合使用以往需要多個深度學(xué)習庫的功能，簡化了流程。

fVDB 很快將以 NVIDIA NIM 推理微服務(wù)的形式推出。通過三項微服務(wù)，企業(yè)可以將 fVDB 整合到 OpenUSD 工作流中，以便在用于實時 3D 仿真的協(xié)作平臺 NVIDIA Omniverse 中生成 AI 就緒型 OpenUSD 幾何體。這三項微服務(wù)是：

fVDB Mesh Generation NIM：生成現(xiàn)實世界的數(shù)字化 3D 環(huán)境。

fVDB NeRF-XL NIM：利用 Omniverse Cloud API 和 OpenUSD 生成大規(guī)模 NeRF。

fVDB Physics Super-Res NIM：執(zhí)行超分辨率技術(shù)，以便生成基于 OpenUSD 的高分辨率物理仿真。

在過去的十年中，OpenVDB 作為在視覺效果行業(yè)中廣泛運用的核心技術(shù)贏得了多項學(xué)術(shù)大獎。它的應(yīng)用領(lǐng)域已從娛樂行業(yè)擴展到工業(yè)和科學(xué)，例如工業(yè)設(shè)計和機器人開發(fā)。

NVIDIA 一直在不斷增強開源 OpenVDB 庫。四年前，NVIDIA 推出了 NanoVDB，為 OpenVDB 添加了 GPU 支持。這不僅帶來了速度飛升，提升了性能，簡化了開發(fā)，而且開啟了實時仿真和渲染的大門。

兩年前，NVIDIA 推出了 NeuralVDB，它能夠基于 NanoVDB 構(gòu)建機器學(xué)習，將 VDB 體積數(shù)據(jù)的內(nèi)存占用量壓縮多達 100 倍，使創(chuàng)作者、開發(fā)者和研究人員能夠與極其龐大、高度復(fù)雜的數(shù)據(jù)集進行交互。

fVDB 能夠基于 NanoVDB 構(gòu)建 AI 算子，以現(xiàn)實規(guī)模解鎖空間智能。歡迎申請參與搶先體驗計劃，提前體驗 fVDB PyTorch 擴展。fVDB 還將作為 OpenVDB GitHub 資源庫的一部分提供。

閱讀技術(shù)博客《Building Spatial Intelligence from Real-World 3D Data Using Deep-Learning Framework fVDB》，深入了解 fVDB，也可以觀看 NVIDIA 首席執(zhí)行官黃仁勛在 SIGGRAPH 上的兩場爐邊談話，了解加速計算和生成式 AI 正在如何改變著各行各業(yè)并帶來新的創(chuàng)新和發(fā)展機會。