科學(xué)家團(tuán)隊(duì)靈光一現(xiàn)，使用 GPU 加速深度學(xué)習(xí)展示如何實(shí)現(xiàn)全彩夜視系統(tǒng)。

在發(fā)布于《PLOS One》期刊的論文中，由 Pierre Baldi 教授和 Andrew Browne 博士領(lǐng)導(dǎo)的加州大學(xué)歐文分校研究小組描述了他們?nèi)绾卫?a target="_blank">紅外相機(jī)重建人臉照片的彩色圖像。

研究使用人類無法察覺的近紅外照明采集光線，推動(dòng)了紅外相機(jī)圖像預(yù)測和重建技術(shù)的發(fā)展。

該研究的作者解釋說，人類能夠看到的“可見光譜”是波長在 400 至 700 納米之間的光。

普通的夜視系統(tǒng)依靠相機(jī)來采集光譜外人們看不見的紅外光。

研究人員表示，相機(jī)所采集的圖像會被轉(zhuǎn)換到顯示器上，顯示器單色顯示紅外相機(jī)所拍攝的內(nèi)容。

加州大學(xué)歐文分校的團(tuán)隊(duì)開發(fā)了成像算法，該算法依靠深度學(xué)習(xí)來預(yù)測人類在紅外相機(jī)捕獲的光線中將看到什么。

加州大學(xué)歐文分校的研究人員希望使用深度學(xué)習(xí)來預(yù)測紅外光照明下的可見光譜圖像

換言之，他們能夠使用相機(jī)在人類完全看不見的環(huán)境中進(jìn)行拍攝，并數(shù)字化渲染拍攝的圖像。

為此，研究人員使用了對可見光和近紅外光敏感的單色相機(jī)來獲取面部打印圖像的圖像數(shù)據(jù)集。

這些圖像是在覆蓋標(biāo)準(zhǔn)可見紅光、綠光、藍(lán)光以及紅外波長的多光譜照明下采集的。

研究人員優(yōu)化了具有類 U-Net 架構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)，根據(jù)近紅外圖像來預(yù)測可見光譜圖像。該神經(jīng)網(wǎng)絡(luò)是弗萊堡大學(xué)大學(xué)計(jì)算機(jī)科學(xué)系最初為生物醫(yī)學(xué)圖像分割所開發(fā)的專用卷積神經(jīng)網(wǎng)絡(luò)。

左邊是由紅、綠、藍(lán)三色輸入圖像組成的可見光譜基準(zhǔn)真相圖像。右邊是UNet-GAN、UNet和線性回歸根據(jù)三幅紅外輸入圖像預(yù)測重建的圖像。

該系統(tǒng)使用 NVIDIA GPU 和 140 張人臉圖像進(jìn)行訓(xùn)練，其中 40 張用于驗(yàn)證，20 張用于測試。

最終，該團(tuán)隊(duì)成功重現(xiàn)了紅外相機(jī)在黑暗房間中拍攝的彩色人像。換言之，他們創(chuàng)造了能夠在全彩夜視系統(tǒng)。

可以肯定的是，這些系統(tǒng)目前還無法實(shí)現(xiàn)通用。它們需要經(jīng)過訓(xùn)練后才能預(yù)測不同種類物體的顏色，比如花或人臉。

盡管如此，該研究未來可能會完全實(shí)現(xiàn)全彩夜視系統(tǒng)，就像我們在白天所能看到的一樣。有朝一日，或許它使科學(xué)家也能夠研究對可見光敏感的生物樣本。

審核編輯 ：李倩