研究人員利用深度學(xué)習(xí)技術(shù)提高了直接集成在 CMOS 成像芯片上的超透鏡相機(jī)(左)的圖像質(zhì)量。超透鏡利用 1000 納米高的圓柱形氮化硅納米柱陣列(右圖)操縱光線。

研究人員利用深度學(xué)習(xí)技術(shù)提高了超透鏡相機(jī)的圖像質(zhì)量。這種新方法利用人工智能將低質(zhì)量圖像轉(zhuǎn)化為高質(zhì)量圖像，從而使這些相機(jī)可以用于多種成像任務(wù)，包括復(fù)雜的顯微鏡應(yīng)用和移動(dòng)設(shè)備。

超透鏡是一種超薄光學(xué)器件，通常只有幾毫米厚--利用納米結(jié)構(gòu)來(lái)操縱光線。雖然它們的小尺寸有可能使相機(jī)變得非常緊湊和輕便，而無(wú)需傳統(tǒng)的光學(xué)鏡片，但使用這些光學(xué)元件一直很難達(dá)到必要的圖像質(zhì)量。

來(lái)自中國(guó)東南大學(xué)的研究團(tuán)隊(duì)負(fù)責(zé)人Ji Chen說(shuō)：“我們的技術(shù)使我們基于超透鏡的設(shè)備能夠克服圖像質(zhì)量的限制。這一進(jìn)步將在未來(lái)高便攜性消費(fèi)成像電子產(chǎn)品的發(fā)展中發(fā)揮重要作用，也可用于顯微鏡等專(zhuān)業(yè)成像應(yīng)用。”

在《光學(xué)快報(bào)》(Optics Letters)雜志上，研究人員介紹了他們?nèi)绾问褂靡环N被稱(chēng)為多尺度卷積神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)，來(lái)改善小型相機(jī)(約 3 厘米×3 厘米×0.5 厘米)圖像的分辨率、對(duì)比度和失真度。

Chen說(shuō)："超透鏡集成相機(jī)可以直接集成到智能手機(jī)的成像模塊中，取代傳統(tǒng)的折射體透鏡。"它們還可用于無(wú)人機(jī)等設(shè)備，體積小、重量輕的攝像頭既能保證成像質(zhì)量，又不會(huì)影響無(wú)人機(jī)的機(jī)動(dòng)性。"

提高圖像質(zhì)量

新工作中使用的相機(jī)是研究人員之前開(kāi)發(fā)的，它使用了一種帶有1000納米高的圓柱形氮化硅納米柱的超透鏡(metalens)。超透鏡可將光線直接聚焦到 CMOS 成像傳感器上，而無(wú)需其他光學(xué)元件。

雖然這種設(shè)計(jì)創(chuàng)造出了一個(gè)非常小的攝像頭，但緊湊的結(jié)構(gòu)卻限制了圖像質(zhì)量。因此，研究人員決定看看能否利用機(jī)器學(xué)習(xí)來(lái)改善圖像。

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種，它使用多層人工神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)數(shù)據(jù)特征，并做出復(fù)雜的決策或預(yù)測(cè)。研究人員采用這種方法，使用卷積成像模型生成大量高質(zhì)量和低質(zhì)量的圖像對(duì)。這些圖像對(duì)被用來(lái)訓(xùn)練多尺度卷積神經(jīng)網(wǎng)絡(luò)，使其能夠識(shí)別每種類(lèi)型圖像的特征，并利用這些特征將低質(zhì)量圖像轉(zhuǎn)化為高質(zhì)量圖像。

Chen說(shuō)：“這項(xiàng)工作的一個(gè)關(guān)鍵部分是開(kāi)發(fā)一種方法，生成神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程所需的大量訓(xùn)練數(shù)據(jù)。一旦訓(xùn)練完成，低質(zhì)量圖像就可以從設(shè)備發(fā)送到神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，并立即獲得高質(zhì)量的成像結(jié)果?！?/p>

圖片顯示了四幅測(cè)試圖像的地面實(shí)況、低質(zhì)量圖像和神經(jīng)網(wǎng)絡(luò)輸出結(jié)果的對(duì)比。第一行代表模擬結(jié)果，第二行代表實(shí)驗(yàn)結(jié)果。藍(lán)色、紅色和黃色方框表示圖像中的細(xì)節(jié)特寫(xiě)。

應(yīng)用神經(jīng)網(wǎng)絡(luò)

為了驗(yàn)證新的深度學(xué)習(xí)技術(shù)，研究人員將其用于 100 張測(cè)試圖像。他們分析了兩個(gè)常用的圖像處理指標(biāo)：峰值信噪比和結(jié)構(gòu)相似性指數(shù)。

他們發(fā)現(xiàn)，經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)處理的圖像在這兩個(gè)指標(biāo)上都有顯著改善。他們還表明，這種方法可以快速生成高質(zhì)量的成像數(shù)據(jù)，這些數(shù)據(jù)與通過(guò)實(shí)驗(yàn)直接捕捉到的數(shù)據(jù)非常相似。

研究人員目前正在設(shè)計(jì)具有復(fù)雜功能的超透鏡，如彩色或廣角成像，并開(kāi)發(fā)神經(jīng)網(wǎng)絡(luò)方法來(lái)提高這些先進(jìn)超透鏡的成像質(zhì)量。要使這項(xiàng)技術(shù)實(shí)用于商業(yè)應(yīng)用，需要采用新的組裝技術(shù)，將超透鏡集成到智能手機(jī)成像模塊中，還需要專(zhuān)門(mén)為手機(jī)設(shè)計(jì)的圖像質(zhì)量增強(qiáng)軟件。

Chen說(shuō)：“超輕超薄的超透鏡是未來(lái)成像和檢測(cè)的革命性技術(shù)。利用深度學(xué)習(xí)技術(shù)優(yōu)化超透鏡性能標(biāo)志著一個(gè)關(guān)鍵的發(fā)展軌跡。我們預(yù)見(jiàn)機(jī)器學(xué)習(xí)是推動(dòng)光子學(xué)研究的重要趨勢(shì)。”

審核編輯 黃宇