了解 AI 研究項(xiàng)目如何在數(shù)秒內(nèi)幫助藝術(shù)家等用戶(hù)用 2D 圖像打造 3D 體驗(yàn)。

想象一幅風(fēng)光旖旎的畫(huà)面，比如水畔的懸崖峭壁。即便只是 2D 圖像，如此美景依舊令人心馳神往。如果同一畫(huà)面能以 3D 效果展現(xiàn)，那么無(wú)需跋涉就能身臨其境。

NVIDIA RTX 技術(shù)驅(qū)動(dòng)的 AI 恰恰能讓我們得償所愿。創(chuàng)作者運(yùn)用 Instant NeRF 便能在短短數(shù)秒之間將多組靜態(tài)圖像變?yōu)?3D 數(shù)字場(chǎng)景。

簡(jiǎn)單好用的輻射場(chǎng)

AI 模型 NeRF 全稱(chēng)為“神經(jīng)輻射場(chǎng)”，可通過(guò)輸入表現(xiàn)某個(gè)場(chǎng)景的 2D 圖像并在其間執(zhí)行插值，渲染完整的 3D 場(chǎng)景。NeRF 以神經(jīng)網(wǎng)絡(luò)的形式運(yùn)行，后者是一種復(fù)制大腦組織形式的模型，常用于需要模式識(shí)別的任務(wù)。

NeRF 在運(yùn)用空間位置和體積渲染的基礎(chǔ)上，通過(guò)圖像的相機(jī)位姿對(duì)場(chǎng)景的 3D 迭代進(jìn)行渲染。這類(lèi)模型的計(jì)算量往往很大，因此對(duì)渲染能力的要求很高，耗時(shí)也較久。

NVIDIA 近日的 AI 研究項(xiàng)目帶來(lái)了破局之策。

Instant NeRF 使 NeRF 全面升級(jí)：通過(guò) AI 加速的逆渲染，對(duì)光的現(xiàn)實(shí)表現(xiàn)形式進(jìn)行估計(jì)，幫助研究人員運(yùn)用從不同角度拍攝的 2D 圖像構(gòu)建 3D 場(chǎng)景。現(xiàn)在只需幾秒即可生成場(chǎng)景，而且 3D 渲染成品的精細(xì)程度與 NeRF 模型的訓(xùn)練時(shí)長(zhǎng)成正比。

在 2022 年的 SIGGRAPH 計(jì)算機(jī)圖形會(huì)議上，NVIDIA 的研究人員發(fā)布了四個(gè)神經(jīng)圖形基礎(chǔ)樣例（以及預(yù)訓(xùn)練數(shù)據(jù)集，均屬于 Instant-NGP 訓(xùn)練工具集）。人們可以借此用自己的數(shù)據(jù)創(chuàng)建 NeRF。這些研究人員憑借該項(xiàng)成果獲得了最佳論文獎(jiǎng)，《時(shí)代》周刊也將 Instant NeRF 評(píng)為了 2022 年度最佳發(fā)明。

Instant NeRF 不僅能夠加快 NeRF 渲染，還可通過(guò) NVIDIA RTX 和 GeForce RTX 臺(tái)式電腦和筆記本電腦的 GPU 完成整個(gè)圖像重建過(guò)程。雖然場(chǎng)景渲染時(shí)長(zhǎng)取決于數(shù)據(jù)集規(guī)模、圖像和視頻源內(nèi)容等多種因素，但 AI 訓(xùn)練并不需要服務(wù)器級(jí)或基于云的硬件。

NVIDIA RTX 工作站和 GeForce RTX PC 是滿(mǎn)足 NeRF 渲染計(jì)算需求的理想之選。NVIDIA RTX 和 GeForce RTX GPU 配備專(zhuān)用的 AI 硬件加速器 Tensor Core，可為在本地運(yùn)行生成式 AI 提供強(qiáng)大動(dòng)力。

各就各位，整裝待發(fā)，強(qiáng)勢(shì)出擊

開(kāi)啟 Instant NeRF 探索之旅，了解輻射場(chǎng)并以全新方式體驗(yàn)畫(huà)面之美。

開(kāi)發(fā)者和技術(shù)發(fā)燒友可以下載源代碼庫(kù)進(jìn)行編譯。非技術(shù)用戶(hù)也可以從 GitHub 上下載 Instant-NGP 軟件的 Windows 安裝程序。

雖然此安裝程序適用于多種 RTX GPU，但擁有最新架構(gòu)的 GeForce RTX 40 系列和 NVIDIA RTX Ada Generation GPU 才能充分發(fā)揮它的實(shí)力。

《Instant NeRF 入門(mén)》指南在介紹功能的同時(shí)，也將引導(dǎo)用戶(hù)完成全程操作，包括加載“NeRF Fox”等單個(gè)基礎(chǔ)樣例，以便了解可實(shí)現(xiàn)的效果。詳細(xì)說(shuō)明和類(lèi)似上文的視頻演示針對(duì)如何使用自定義數(shù)據(jù)創(chuàng)建 NeRF 進(jìn)行了講解，包括獲取優(yōu)質(zhì)輸入圖像的方式、基于源代碼編譯代碼庫(kù)的技巧等。該指南也針對(duì) Instant NeRF 圖形用戶(hù)界面的使用、場(chǎng)景參數(shù)優(yōu)化、基于場(chǎng)景創(chuàng)建動(dòng)畫(huà)等內(nèi)容進(jìn)行了說(shuō)明。

圖像、視頻、現(xiàn)實(shí)的層層遞進(jìn)

借助 AI 將圖像變?yōu)?3D 場(chǎng)景已令人驚嘆，但更神奇的是進(jìn)行 3D 創(chuàng)作。

從 Instant NeRF 的一項(xiàng)最近更新開(kāi)始，用戶(hù)可以基于靜態(tài)圖像進(jìn)行場(chǎng)景渲染，模擬置身虛擬環(huán)境之中，在 3D 空間里自由移動(dòng)。用戶(hù)只要在虛擬現(xiàn)實(shí) (VR) 環(huán)境中戴上頭顯設(shè)備，就將完全置身新的世界，感受身臨其境的體驗(yàn)。

其中蘊(yùn)藏的潛力幾乎是無(wú)窮無(wú)盡的。

舉例而言，房屋中介可以創(chuàng)建并分享 3D 房產(chǎn)模型，升級(jí)虛擬看房體驗(yàn)；零售商可以通過(guò)一組圖像和 RTX GPU 上運(yùn)行的 AI 在網(wǎng)店中展示產(chǎn)品。這些 AI 模型能驅(qū)動(dòng)創(chuàng)造力，讓其他行業(yè)也能利用身臨其境的 3D 體驗(yàn)。

使用 Instant NeRF 即可在 VR 中輕松清理場(chǎng)景，降低了高品質(zhì) NeRF 的創(chuàng)建難度。

下載 Instant-NGP 開(kāi)始創(chuàng)作之旅。

生成式 AI 正改變各類(lèi)游戲、視頻會(huì)議和互動(dòng)體驗(yàn)。