摘要
?大家好，今天為大家?guī)?lái)的文章是?MVSNeRF: Fast Generalizable Radiance Field Reconstruction?from Multi-View Stereo 我們提出了MVSNeRF，一種新型的神經(jīng)渲染方法，可以有效地重建用于視圖合成的神經(jīng)輻射場(chǎng)。與之前考慮在密集拍攝的圖像上進(jìn)行每個(gè)場(chǎng)景優(yōu)化的神經(jīng)輻射場(chǎng)的工作不同，我們提出了一個(gè)通用的深度神經(jīng)網(wǎng)絡(luò)，它可以通過(guò)快速的網(wǎng)絡(luò)推理，僅從三個(gè)附近的輸入視圖中重建輻射場(chǎng)。我們的方法利用平面掠過(guò)成本體積（廣泛用于多視圖立體聲）進(jìn)行幾何感知的場(chǎng)景推理，并將其與基于物理的體積渲染結(jié)合起來(lái)進(jìn)行神經(jīng)輻射場(chǎng)重建。

我們?cè)贒TU數(shù)據(jù)集中的真實(shí)物體上訓(xùn)練我們的網(wǎng)絡(luò)，并在三個(gè)不同的數(shù)據(jù)集上測(cè)試它，以評(píng)估其有效性和通用性。我們的方法可以跨場(chǎng)景通用（甚至是室內(nèi)場(chǎng)景，與我們的物體訓(xùn)練場(chǎng)景完全不同），并且只用三張輸入圖像就能產(chǎn)生真實(shí)的視圖合成結(jié)果，大大超過(guò)了同時(shí)進(jìn)行的可通用的輻射場(chǎng)重建工作。此外，如果捕捉到密集的圖像，我們估計(jì)的輻射場(chǎng)表示可以很容易地進(jìn)行微調(diào)；這成就了快速的按場(chǎng)景重建，具有更高的渲染質(zhì)量，而且優(yōu)化時(shí)間大大少于NeRF。

主要工作與貢獻(xiàn)

? - 提出了基于MVSNet的神經(jīng)輻射場(chǎng)進(jìn)行三維重建渲染。 - 在速度和質(zhì)量上有了很大的提升。

算法流程

我們現(xiàn)在介紹我們的MVSNeRF。與NeRF通過(guò)每個(gè)場(chǎng)景的 "網(wǎng)絡(luò)記憶 "來(lái)重建輻射場(chǎng)不同，我們的MVSNeRF學(xué)習(xí)一個(gè)通用網(wǎng)絡(luò)來(lái)重建輻射場(chǎng)。給定真實(shí)場(chǎng)景的M個(gè)輸入拍攝圖像Ii（i=1，...，M）及其已知的相機(jī)參數(shù)Φi，我們提出了一個(gè)新穎的網(wǎng)絡(luò)，可以將輻射場(chǎng)重建為一個(gè)神經(jīng)編碼體，并使用它在任意場(chǎng)景位置回歸體的渲染屬性（密度和與視圖有關(guān)的輻射度），以進(jìn)行視圖合成。一般來(lái)說(shuō)，我們的整個(gè)網(wǎng)絡(luò)可以被看作是輻射度場(chǎng)的函數(shù)，表示為：

我們的框架首先通過(guò)將二維圖像特征扭曲到一個(gè)平面掃描上構(gòu)建一個(gè)成本體積（a）。然后我們應(yīng)用三維CNN來(lái)重建一個(gè)具有每體素神經(jīng)特征的神經(jīng)編碼體（b）。我們使用MLP在任意位置使用從編碼體積內(nèi)插的特征對(duì)體積密度和RGB輻射度進(jìn)行回歸。這些體積特性被微分光線行進(jìn)法用于最終渲染（c）。

Cost?Volume重建

求解Cost Volume的過(guò)程和雙目立體矯正類似，首先提取圖像特征，然后計(jì)算成本量P。成本量P是由D掃面上的扭曲特征圖構(gòu)建的。我們利用基于方差的度量來(lái)計(jì)算成本，這在MVSNet中已經(jīng)被廣泛用于幾何重建。具體來(lái)說(shuō)，對(duì)于P中以(u, v, z)為中心的每個(gè)體素，其成本特征向量的計(jì)算方法是：

2.輻射場(chǎng)重建

我們建議使用深度神經(jīng)網(wǎng)絡(luò)來(lái)有效地將構(gòu)建的成本量轉(zhuǎn)換為重建的輻射場(chǎng)，以實(shí)現(xiàn)現(xiàn)實(shí)的視圖合成。我們利用一個(gè)三維CNN B，從原始二維圖像特征成本的成本卷P中重建一個(gè)神經(jīng)編碼卷S；S由編碼局部場(chǎng)景幾何和外觀的每體素特征組成。一個(gè)MLP解碼器A被用來(lái)從這個(gè)編碼體積中回歸體積渲染屬性。

神經(jīng)編碼量。

以前的MVS通常直接從成本體積中預(yù)測(cè)深度概率，而成本體積只表達(dá)場(chǎng)景的幾何。我們的目標(biāo)是實(shí)現(xiàn)高質(zhì)量的渲染，這就需要從成本體積中推斷出更多的外觀感知信息。因此，我們訓(xùn)練一個(gè)深度三維CNN B，將建立的圖像特征成本體積轉(zhuǎn)化為一個(gè)新的C通道神經(jīng)特征體積S，其中特征空間是由網(wǎng)絡(luò)本身學(xué)習(xí)和發(fā)現(xiàn)的，用于以下體積屬性回歸。這個(gè)過(guò)程用以下方式表示。

三維CNN B是一個(gè)具有下采樣和上采樣卷積層和跳過(guò)連接的三維UNET，它可以有效地推斷和傳播場(chǎng)景外觀信息，導(dǎo)致一個(gè)有意義的場(chǎng)景編碼體積S。注意，這個(gè)編碼體積是以無(wú)監(jiān)督的方式預(yù)測(cè)的，并在端到端訓(xùn)練中推斷出體積渲染。我們的網(wǎng)絡(luò)可以學(xué)習(xí)在每體素的神經(jīng)特征中編碼有意義的場(chǎng)景幾何和外觀；這些特征后來(lái)被連續(xù)插值并轉(zhuǎn)化為體積密度和視圖依賴的輻射度。由于二維特征提取的下采樣，場(chǎng)景編碼體積的分辨率相對(duì)較低；僅從這些信息中回歸高頻外觀是具有挑戰(zhàn)性的。因此，在接下來(lái)的體積回歸階段，我們還加入了原始圖像像素?cái)?shù)據(jù)，盡管我們后來(lái)表明，這種高頻也可以通過(guò)快速的按場(chǎng)景微調(diào)優(yōu)化在增強(qiáng)的體積中得到恢復(fù)。 3.端到端的體素渲染 端到端訓(xùn)練。這種光線行進(jìn)渲染是完全可分的；因此它允許我們的框架在新的視點(diǎn)使用三個(gè)輸入視圖從頭到尾回歸最終的像素顏色。我們使用L2渲染損失對(duì)我們的整個(gè)框架進(jìn)行監(jiān)督，并使用基礎(chǔ)像素顏色。

由于基于物理的體積渲染和端到端訓(xùn)練，渲染監(jiān)督可以通過(guò)每個(gè)網(wǎng)絡(luò)組件傳播場(chǎng)景外觀和對(duì)應(yīng)信息，并將其正則化，以便為最終的視圖合成提供意義。與之前主要關(guān)注每個(gè)場(chǎng)景訓(xùn)練的NeRF不同，我們?cè)贒TU數(shù)據(jù)集的不同場(chǎng)景中訓(xùn)練整個(gè)網(wǎng)絡(luò)。我們的MVSNeRF得益于成本體積處理中的幾何感知場(chǎng)景推理，可以有效地學(xué)習(xí)一個(gè)通用函數(shù)，該函數(shù)可以在新的測(cè)試場(chǎng)景上將輻射場(chǎng)重建為神經(jīng)編碼體積，從而實(shí)現(xiàn)高質(zhì)量的視圖合成。

4.優(yōu)化神經(jīng)編碼量。

當(dāng)跨場(chǎng)景訓(xùn)練時(shí)，我們的MVSNeRF已經(jīng)可以學(xué)習(xí)一個(gè)強(qiáng)大的通用函數(shù)，只用三張輸入圖像就可以重構(gòu)跨場(chǎng)景的輻射場(chǎng)。然而，由于有限的輸入和不同場(chǎng)景和數(shù)據(jù)集之間的高度多樣性，使用這樣一個(gè)通用的解決方案在不同場(chǎng)景上取得完美的結(jié)果是非常具有挑戰(zhàn)性的。另一方面，NeRF通過(guò)對(duì)密集的輸入圖像進(jìn)行每個(gè)場(chǎng)景的優(yōu)化，避免了這一難以概括的問(wèn)題；這導(dǎo)致了逼真的結(jié)果，但成本極高。相比之下，我們建議對(duì)我們的神經(jīng)編碼量進(jìn)行微調(diào)--我們的網(wǎng)絡(luò)可以從很少的圖像中立即重建，以便在捕獲密集的圖像時(shí)實(shí)現(xiàn)快速的按場(chǎng)景優(yōu)化。

添加顏色。

如前所述，我們的神經(jīng)編碼量在發(fā)送到MLP解碼器時(shí)與像素顏色相結(jié)合。保留這種微調(diào)的設(shè)計(jì)仍然有效，但會(huì)導(dǎo)致重建總是依賴于三個(gè)輸入。取而代之的是，我們通過(guò)將體素中心的每一視角的顏色作為額外的通道附加到編碼量中來(lái)實(shí)現(xiàn)獨(dú)立的神經(jīng)重建；這些顏色作為特征也可以在每個(gè)場(chǎng)景的優(yōu)化中進(jìn)行訓(xùn)練。這種簡(jiǎn)單的附加最初在渲染中引入了模糊性，但在微調(diào)過(guò)程中很快就能解決。

優(yōu)化。

在添加了顏色之后，MLP的神經(jīng)編碼量是一個(gè)體面的初始輻射場(chǎng)，已經(jīng)可以合成合理的圖像。我們建議在有密集圖像的情況下，與MLP解碼器一起進(jìn)一步微調(diào)體素特征，以進(jìn)行快速的按場(chǎng)景優(yōu)化。請(qǐng)注意，我們只優(yōu)化編碼量和MLP，而不是我們的整個(gè)網(wǎng)絡(luò)。這賦予了神經(jīng)優(yōu)化更多的靈活性，以便在優(yōu)化時(shí)獨(dú)立調(diào)整每個(gè)體素的局部神經(jīng)特征；這比試圖優(yōu)化跨體素的共享卷積操作更容易。

實(shí)驗(yàn)結(jié)果

編輯：黃飛