輻射場Plenoxels的感知數(shù)據(jù)集詳解

作者丨黃浴

arXiv論文“PeRFception: Perception using Radiance Fields“，2022年8月24日，PosTech、Nvidia和加州理工的工作。

隱式3D表示，即神經(jīng)輻射場（NERF）的最新進展，使得可微分方式進行精確和真實感的3D重建成為可能。這種新的表示法可以以一種緊湊的格式有效地傳達數(shù)百幅高分辨率圖像的信息，并允許照片真實感合成新視圖。這項工作，采用NeRF的變型，稱為Plenoxels（“Plenoxels: Radiance fields without neural networks“. arXiv:2112.05131, 2021），創(chuàng)建第一個用于感知任務(wù)的大規(guī)模隱式表示數(shù)據(jù)集，稱為PeRFception數(shù)據(jù)集，由兩部分組成，包括以目標(biāo)為中心和以場景為中心的掃描數(shù)據(jù)，用于分類和分割。PeRFception顯示了原始數(shù)據(jù)集的顯著內(nèi)存壓縮率（96.4%），同時以統(tǒng)一的形式包含2D和3D信息。作者構(gòu)建了直接將這種隱式格式作為輸入的分類和分割模型，并提出一種新的數(shù)據(jù)增強技術(shù)，避免圖像背景的過擬合。代碼和數(shù)據(jù)：https://postech-cvlab.github.io/PeRFception/.將低維坐標(biāo)映射到場景的局部屬性（如占用率、正負(fù)距離場或輻射場），可以表示3D場景。這種隱式表示提供了顯式表示（如體素、網(wǎng)格和點云）沒有的優(yōu)點：更平滑的幾何體、更少的存儲空間、具有高保真度的新視圖合成等等。因此，隱式表示已用于三維重建、新視圖合成、姿態(tài)估計、圖像生成等。特別是，神經(jīng)輻射場（NeRF）表明，隱式網(wǎng)絡(luò)，把靜態(tài)場景表示為輸出視角相關(guān)輻射場的隱式5D函數(shù)，可以捕捉精確的幾何關(guān)系，并渲染真實感圖像。它們使用可微分的體渲染、場景幾何和視圖相關(guān)的輻射，可以通過圖像監(jiān)督編碼到隱式網(wǎng)絡(luò)中。與傳統(tǒng)的顯式3D表示不同，這些組件允許網(wǎng)絡(luò)以可微分的方式捕獲高保真光度特征，例如反射和折射。事實上，NeRF存在缺點，阻礙了在3D場景和感知的標(biāo)準(zhǔn)數(shù)據(jù)格式廣泛采用隱式表示。首先，訓(xùn)練隱式網(wǎng)絡(luò)很慢，可能需要幾天的時間。推理（體渲染）也可能需要幾分鐘，限制了NERF實時應(yīng)用。第二，場景的幾何和視覺屬性隱式地編碼為神經(jīng)網(wǎng)絡(luò)的權(quán)重。這些事實阻止了現(xiàn)有的感知流水線去直接處理信息。第三，隱式特征或權(quán)重是場景特定的，不能在場景之間遷移。然而，對于感知，通道或特征必須具有一致的結(jié)構(gòu)，例如圖像的RGB通道。例如，如果從圖像到圖像通道的順序表現(xiàn)不同，則圖像分類流水線將無法正常工作。最近的研究采用顯式稀疏體素網(wǎng)格幾何和特征基函數(shù)解決了這些限制。首先，為了解決速度慢的問題，使用顯式稀疏體素幾何，跳過空白空間來減少沿射線的采樣數(shù)。其次，直接優(yōu)化分配給顯式幾何結(jié)構(gòu)的特征，而不是使用網(wǎng)絡(luò)權(quán)重的隱式表示，減少了從網(wǎng)絡(luò)中提取特征的時間。最后，場景之間的一致特征，對于感知或創(chuàng)建不同目標(biāo)的NeRF格式的場景至關(guān)重要，Plenoxels滿足數(shù)據(jù)表示的所有標(biāo)準(zhǔn)，支持快速學(xué)習(xí)和渲染，同時保持場景感知和合成的一致特征表示。Plenoxels (plenoptic voxels)，將場景表示為具有球諧（spherical harmonics）函數(shù)的稀疏三維網(wǎng)格。該表示通過梯度方法和正則化從校準(zhǔn)圖像中優(yōu)化，無需任何神經(jīng)組件。Plenoxels的優(yōu)化速度比神經(jīng)輻射場（NeRF）快兩個數(shù)量級，而視覺質(zhì)量沒有損失。如圖所示：給定一組目標(biāo)或場景的圖像，重建（a）稀疏體素（“Plenoxel”）網(wǎng)格，每個體素具有密度和球諧系數(shù)。為了渲染光線，（b）通過相鄰體素系數(shù)的三線性插值計算每個采樣點的顏色和模糊度。如同NeRF，用（c）可微分體繪制來整合這些樣本的顏色和模糊度。然后，可以用相對于訓(xùn)練圖像的標(biāo)準(zhǔn)MSE重建損失以及TV（total variation）正則化來（d）優(yōu)化體素系數(shù)。

這里PeRFception數(shù)據(jù)集以一種緊湊的格式輸送視覺（球諧系數(shù)）和幾何（密度、稀疏體素網(wǎng)格）特征，可以直接應(yīng)用于各種感知任務(wù)，包括2D分類、3D分類和3D分割，如圖所示。

?與傳統(tǒng)的基于MLP的NeRF不同，NeRF使用單個神經(jīng)網(wǎng)絡(luò)來表示整個場景，Plenoxels獨立優(yōu)化每個非空體素中的球諧系數(shù)，用與NeRF中描述的體渲染相同的可微分模型，如下所示：

Plenoxels在稀疏體素網(wǎng)格中查找存儲的密度和球諧系數(shù)。對于具有背景的場景，Plenoxels還使用lumisphere背景表示來渲染背景。下表1是PeRFception和目前開源數(shù)據(jù)集的對比：

下表2是PeRFception和CO3D和ScanNet進行對比：把Plenoxels分別應(yīng)用它們，生成兩個新數(shù)據(jù)集。

對于PeRFception-CO3D數(shù)據(jù)生成，用Plenoxels的官方實現(xiàn)，對默認(rèn)配置進行了輕微修改。將背景亮度層的分辨率從1024降低到512，背景層的數(shù)量從64降低到16。對于更清晰的表面，將lambda稀疏度值設(shè)置為10^?10，比默認(rèn)配置大10倍。以1283分辨率初始化一個體素網(wǎng)格，并訓(xùn)練25600次迭代。然后，將其上采樣一次至256^3分辨率，并為進一步的51200次迭代進行訓(xùn)練。在保存數(shù)據(jù)之前，將訓(xùn)練參數(shù)量化為無符號8比特，最小化存儲（密度值除外）。對于每個場景，首先過濾掉有缺陷的圖像，并將10%的圖像均勻采樣作為測試集，評估渲染質(zhì)量。對于PeRFception-SCANNet數(shù)據(jù)生成，ScanNet相當(dāng)數(shù)量的幀包含運動模糊，這可能導(dǎo)致較差的場景幾何。在實踐中，在訓(xùn)練之前生成射線批處理，并將其加載到CPU內(nèi)存中，以便在訓(xùn)練期間有效利用內(nèi)存帶寬。由于ScanNet中每個場景的幀數(shù)不同，最多使用均勻采樣的1500個圖像幀。對于少于1500幅圖像的場景，濾除具有Laplacian低方差的模糊圖像。ScanNet的另一個特點是，圖像是從里向外的房間內(nèi)捕獲的。這樣觀察空間同一部分的圖像較少，從而導(dǎo)致在ScanNet數(shù)據(jù)集上重建Plenoxel幾何結(jié)構(gòu)的效果不佳。具體而言，Plenoxel重建會人為地在空白空間中創(chuàng)建過多體素（即漂浮物），最小化圖像重建損失。相反，為了在Plenoxel訓(xùn)練之前提供額外的幾何先驗知識，用ScanNet中提供的反投影深度圖初始化體素網(wǎng)格，而不是從密集體素網(wǎng)格開始。然而，由于所提供的ScanNet深度圖受到噪聲觀測的污染，結(jié)合CCA（connected component analysis）來過濾反投影點云中的分離出格點。這帶來穩(wěn)定和更精確的重建，并且不會過度生成漂浮物最小化渲染損失。產(chǎn)生的PeRFception-ScanNet數(shù)據(jù)集僅占用35GB的磁盤空間，而ScanNet的原始視頻流需要大約966GB的磁盤。這是一個顯著的壓縮率（96.4%），強調(diào)了其作為數(shù)據(jù)集表示的可訪問性。下表3是生成數(shù)據(jù)集PeRFception的渲染質(zhì)量：