近日，浙江大學(xué)光電科學(xué)與工程學(xué)院的鄭臻榮教授團(tuán)隊(duì)與南京大學(xué)現(xiàn)代工程與應(yīng)用科學(xué)學(xué)院徐挺教授團(tuán)隊(duì)合作，在計(jì)算光譜成像領(lǐng)域取得新進(jìn)展：提出了基于偏振復(fù)用超構(gòu)透鏡的端到端計(jì)算光譜成像框架。該研究通過同時(shí)調(diào)制超構(gòu)透鏡的正交偏振通道，并與后端的神經(jīng)網(wǎng)絡(luò)一起聯(lián)合優(yōu)化，實(shí)現(xiàn)了高保真的光譜重建結(jié)果。這項(xiàng)技術(shù)的發(fā)展不僅打破了前端超構(gòu)透鏡和后端恢復(fù)網(wǎng)絡(luò)的傳統(tǒng)界限，更為光譜成像系統(tǒng)的小型化和性能提升帶來了新的希望。研究成果以“Neural-Optic Co-Designed Polarization-Multiplexed Metalens for Compact Computational Spectral Imaging”為題，于近期發(fā)表于光學(xué)知名期刊《Laser & Photonics Reviews》上。

在數(shù)據(jù)爆炸的今天，人類對(duì)視覺信息的需求不斷增長(zhǎng)。傳統(tǒng)RGB相機(jī)提供的2D圖像已無法滿足人們對(duì)細(xì)節(jié)的追求，而光譜成像技術(shù)能夠捕獲更全面的3D數(shù)據(jù)。隨著移動(dòng)設(shè)備和AR/VR技術(shù)的普及，人們對(duì)便攜式成像技術(shù)的需求日益增加。新一代平面光學(xué)元件——超構(gòu)透鏡，不僅能夠精確調(diào)控光的相位，還能同時(shí)調(diào)節(jié)光的振幅與偏振狀態(tài)，為推動(dòng)光譜成像系統(tǒng)向小型化與高效化發(fā)展開辟了新路徑。

該工作提出了一種基于偏振復(fù)用超構(gòu)透鏡的計(jì)算光譜成像系統(tǒng)（圖1a）。該系統(tǒng)利用偏振復(fù)用的超構(gòu)透鏡對(duì)x和y偏振態(tài)下的光進(jìn)行獨(dú)立調(diào)制，將場(chǎng)景的光譜信息差異化地調(diào)制到商用偏振相機(jī)上。通過捕獲正交的x和y偏振狀態(tài)下的RGB圖像，再結(jié)合雙輸入的ResUNet神經(jīng)網(wǎng)絡(luò)進(jìn)行恢復(fù)，實(shí)現(xiàn)了光譜圖像的精確重建。

圖1 基于偏振復(fù)用超構(gòu)透鏡的計(jì)算光譜成像示意圖（a）與流程圖（b）

整個(gè)框架（圖1b）主要包含超構(gòu)透鏡調(diào)制、成像模型和圖像恢復(fù)三大模塊，均采用可微分函數(shù)設(shè)計(jì)，確保了整個(gè)計(jì)算光譜成像框架的完全可微分性，為光學(xué)元件與恢復(fù)網(wǎng)絡(luò)的聯(lián)合優(yōu)化奠定基礎(chǔ)。采用預(yù)訓(xùn)練的多層感知器（MLP）精確建立超構(gòu)透鏡單元結(jié)構(gòu)與復(fù)振幅響應(yīng)間的映射關(guān)系，結(jié)合菲涅爾衍射原理，推導(dǎo)出適用于偏振復(fù)用的點(diǎn)擴(kuò)散函數(shù)（PSFs）。通過這些PSFs與光譜圖像的卷積，得到特定偏振的光學(xué)響應(yīng)。接著，利用雙輸入神經(jīng)網(wǎng)絡(luò)將模糊的RGB圖像轉(zhuǎn)換回光譜域，并在反向傳播過程中對(duì)超構(gòu)透鏡和恢復(fù)網(wǎng)絡(luò)的參數(shù)進(jìn)行聯(lián)合優(yōu)化，以提高重建光譜圖像的準(zhǔn)確性。

該工作制作了樣機(jī)（圖2）對(duì)原理進(jìn)行驗(yàn)證，對(duì)真實(shí)場(chǎng)景進(jìn)行了高保真度的光譜圖像重建（圖3）。

圖2 加工的超構(gòu)透鏡樣機(jī)與測(cè)量的PSFs

圖3 真實(shí)場(chǎng)景的光譜圖像重建

本研究提出了一種全新的端到端計(jì)算光譜成像系統(tǒng)，該系統(tǒng)巧妙利用了偏振復(fù)用超構(gòu)透鏡同步調(diào)制兩個(gè)正交偏振通道的光，輔以偏振相機(jī)捕獲更多編碼信息。利用端到端可微分框架，該系統(tǒng)對(duì)超構(gòu)透鏡和后端恢復(fù)網(wǎng)絡(luò)進(jìn)行了協(xié)同優(yōu)化，實(shí)現(xiàn)了高保真度的光譜成像。這一研究不僅加深了超構(gòu)透鏡與計(jì)算成像領(lǐng)域的融合，也預(yù)示著高性能光譜成像技術(shù)在小型化和性能提升方面的新突破。

浙江大學(xué)光電科學(xué)與工程學(xué)院博士生張強(qiáng)波和南京大學(xué)現(xiàn)代工程與應(yīng)用科學(xué)學(xué)院博士生林沛城為論文共同第一作者，浙江大學(xué)光電科學(xué)與工程學(xué)院鄭臻榮教授和南京大學(xué)現(xiàn)代工程與應(yīng)用科學(xué)學(xué)院徐挺教授為共同通訊作者。該研究得到了科技部重點(diǎn)研發(fā)計(jì)劃、國(guó)家自然科學(xué)基金等支持。

論文鏈接：
https://doi.org/10.1002/lpor.202400187

審核編輯：劉清