NVIDIA 研究人員使 LATTE3D （一款最新文本轉 3D 生成式 AI 模型）實現(xiàn)雙倍加速。

LATTE3D 就像一臺虛擬 3D 打印機，能在 1 秒內將文字提示轉換成物體和動物的 3D 表征。

該模型生成的形狀采用標準渲染應用中常用的格式，可輕松地服務于虛擬環(huán)境中，應用在視頻游戲開發(fā)、營銷、設計項目或搭建機器人的虛擬訓練場地。

NVIDIA AI 研究副總裁 Sanja Fidler 帶領的 NVIDIA 多倫多 AI 實驗團隊開發(fā)了 LATTE3D。Sanja Fidler 表示：“一年前，AI 模型生成這種質感的 3D 視覺效果需要 1 個小時，當前的最新技術也需要 10 到 12 秒。現(xiàn)在，我們將產(chǎn)出結果的速度又提高了一個數(shù)量級，使各行各業(yè)的創(chuàng)作者都能實現(xiàn)近乎實時的文本轉 3D 生成?！?/p>

這一進展意味著在單顆 GPU（例如 NVIDIA Research 的 demo 中使用的 NVIDIA RTX GPU）上運行推理時，LATTE3D 幾乎可以做到即時生成 3D 形狀。

縮短從構思、生成到迭代的周期

創(chuàng)作者不需要從零開始設計，也不需要翻閱 3D 素材庫，只需要在腦海中“靈感乍現(xiàn)”時使用 LATTE3D，就可快速生成具體的對象。

該模型可根據(jù)每個文本提示生成一些不同的 3D 形狀供創(chuàng)作者選擇。被選中的形狀將會在幾分鐘內進行優(yōu)化，以提高質量。然后，用戶可以將形狀導出至圖形軟件應用或平臺，例如 NVIDIA Omniverse，該平臺能夠開發(fā)基于通用場景描述（OpenUSD）的 3D 工作流和應用程序。

研究人員在兩個特定數(shù)據(jù)集上訓練了 LATTE3D 模型，分別是動物和日常物品，開發(fā)人員可以使用相同的模型架構在其他類型數(shù)據(jù)上來訓練 AI。

如果在 3D 植物數(shù)據(jù)集上進行訓練，LATTE3D 則能夠幫助景觀設計師在與客戶進行討論時，使用樹木、花叢和多肉植物來快速填充花園效果圖。如果在家居物品數(shù)據(jù)集上進行訓練，該模型將會生成適用于 3D 家居模擬環(huán)境中的物品，開發(fā)人員還可以將這樣生成的物品來訓練個人助手機器人，有助于其后期在現(xiàn)實世界中的測試和部署。

LATTE3D 使用NVIDIA Tensor Core GPU進行訓練。除 3D 形狀外，該模型還使用 ChatGPT 生成的各種文本提示進行訓練，以更好地處理用戶為描述特定 3D 物體而可能想出的各種短語，例如讓該模型理解凡是以各種犬科動物為特征的提示，都應該生成類似狗的形狀。

NVIDIA Research由全球數(shù)百名科學家和工程師組成，專注于 AI、計算機圖形、計算機視覺、自動駕駛汽車和機器人等領域的研究。

研究人員在 NVIDIA GTC 2024 上介紹了他們的研究成果，這些成果推動了擴散模型訓練技術的前沿發(fā)展。



審核編輯：劉清