NVIDIA研究團(tuán)隊研發(fā)出了一種先進(jìn)的深度學(xué)習(xí)方法，可用于對圖像進(jìn)行編輯，或?qū)τ锌瞻谆蛳袼厝笔У氖軗p圖像進(jìn)行重建。

應(yīng)用該方法，研究人員能夠通過先清除內(nèi)容再填充所產(chǎn)生的空白這樣的操作，對圖像進(jìn)行編輯。這個“圖像修復(fù)”的過程，可靈活應(yīng)用于圖片編輯軟件中，用以移除不需要的內(nèi)容，同時用計算機(jī)生成的逼真圖像進(jìn)行填充。

“我們的模型能夠很好地處理任何形狀、大小、位置、或與圖像邊界的任意距離的空白，之前的深度學(xué)習(xí)方法主要集中于圖像中心的矩形區(qū)域，且通常依賴成本頗高的后期處理，”NVIDIA研究人員在其研究報告中指出?！按送?，我們的模型能夠更好地處理更大的空白區(qū)域?！?/p>

為準(zhǔn)備訓(xùn)練其神經(jīng)網(wǎng)絡(luò)，團(tuán)隊首先生成了55116個任意形狀和大小的隨機(jī)條紋和空白。他們還生成了近25000個條紋和空白用于測試。根據(jù)其相對于輸入圖像的大小，這些均被進(jìn)一步分為六類，以期提高圖像重建的準(zhǔn)確性。

生成的用于訓(xùn)練的蒙版示例

使用NVIDIA Tesla V100 GPU和cuDNN加速的PyTorch深度學(xué)習(xí)框架，團(tuán)隊通過將生成的蒙版應(yīng)用于來自ImageNet、Places2和CelebA-HQ數(shù)據(jù)集的圖像，對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

在訓(xùn)練階段，將空白或缺失部分引入上述數(shù)據(jù)集的完整訓(xùn)練圖像中，使網(wǎng)絡(luò)能夠?qū)W會重建缺失的像素。

在測試階段，將未應(yīng)用于訓(xùn)練期間的不同空白或缺失部分引入數(shù)據(jù)集中的測試圖像，以對圖像重建的準(zhǔn)確性進(jìn)行無偏驗(yàn)證。

最新AI成像技術(shù)重建照片示例

研究人員表示，當(dāng)前基于深度學(xué)習(xí)的圖像修復(fù)方法成效有限，因?yàn)獒槍G失像素的輸出必然取決于為找出丟失像素而必須提供給神經(jīng)網(wǎng)絡(luò)的輸入值。這就會導(dǎo)致圖像中出現(xiàn)諸如顏色差異和模糊等偽像。

為解決這一問題，NVIDIA團(tuán)隊開發(fā)了一種方法，確保了丟失像素的輸出不再有賴于為這些像素提供的輸入值。此方法采用了“部分卷積”層，可根據(jù)其相應(yīng)感受野（receptive field）的有效性，對每個輸出進(jìn)行“重新規(guī)格化”，確保輸出值不依賴于每個感受野中缺失像素的值。該模型基于通過這些部分卷積實(shí)施的UNet架構(gòu)而構(gòu)建。使用一組能夠?qū)⑻卣鲹p失、以及風(fēng)格損失與VGG模型相匹配的損失函數(shù)，可對模型進(jìn)行訓(xùn)練，以生成逼真的輸出。

因此，“該模型勝過早前的方法，”NVIDIA研究團(tuán)隊表示。

NVIDIA研究人員表示， “據(jù)我們所知，我們首次證實(shí)了針對不規(guī)則形狀空白進(jìn)行深度學(xué)習(xí)圖像修復(fù)模型的有效性，”

研究人員還在其論文中（Image Inpainting for Irregular Holes Using Partial Convolutions，還提及了他們可應(yīng)用相同的框架來處理圖像超分辨率任務(wù)。