圖1.mPEN-sCUPLI 深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)。該框架融合了物理模型、擴(kuò)展采樣先驗(yàn)、稀疏性約束和深度圖像等先驗(yàn)，解決了傳統(tǒng)方法的不穩(wěn)定性。

近日，中國(guó)科學(xué)院西安光機(jī)所聯(lián)合加拿大國(guó)立科學(xué)研究院(INRS)和西北大學(xué)，在壓縮高速成像領(lǐng)域取得重要進(jìn)展。相關(guān)研究成果發(fā)表于《超快科學(xué)》(Ultrafast Science)。論文共同第一作者為西安光機(jī)所栗星博士、王思穎博士和西北大學(xué)博士陳長(zhǎng)恒，通訊作者為西安光機(jī)所柏晨研究員和姚保利研究員，西安光機(jī)所為第一完成單位及通訊單位。

壓縮高速成像的核心難題，在于從復(fù)雜逆問(wèn)題中高保真地重建動(dòng)態(tài)序列。傳統(tǒng)深度學(xué)習(xí)方法通常依賴(lài)于大量訓(xùn)練數(shù)據(jù)，且普遍存在泛化能力有限、易引入偽影等問(wèn)題。而現(xiàn)有的物理增強(qiáng)框架大多局限于單一任務(wù)先驗(yàn)，難以有效應(yīng)對(duì)超快成像場(chǎng)景中噪聲、幀間串?dāng)_等多維度干擾帶來(lái)的復(fù)合成像難題。

為此，西安光機(jī)所研究團(tuán)隊(duì)提出多先驗(yàn)物理增強(qiáng)神經(jīng)網(wǎng)絡(luò)(mPEN)成像框架(如圖1所示)，團(tuán)隊(duì)創(chuàng)新性地將光致發(fā)光動(dòng)力學(xué)物理模型、擴(kuò)展采樣先驗(yàn)、稀疏性約束、深度圖像先驗(yàn)等多先驗(yàn)信息深度融入非訓(xùn)練神經(jīng)網(wǎng)絡(luò)。通過(guò)多重互補(bǔ)先驗(yàn)的協(xié)同修正，有效抑制了重建偽影、糾正空間畸變并提升空間分辨率，特別是在低光子條件下表現(xiàn)出較強(qiáng)的魯棒性。

在此基礎(chǔ)上，研究團(tuán)隊(duì)進(jìn)一步構(gòu)建了基于雙光路同步采集與多先驗(yàn)物理增強(qiáng)深度學(xué)習(xí)融合的壓縮高速成像系統(tǒng)(如圖2所示)。

該系統(tǒng)采用脈沖激光作為激發(fā)光源，并通過(guò)數(shù)字微鏡器件(DMD)加載偽隨機(jī)圖案對(duì)動(dòng)態(tài)場(chǎng)景進(jìn)行空間編碼。動(dòng)態(tài)場(chǎng)景的光信號(hào)被劃分為兩個(gè)路徑：在編碼路徑中，通過(guò)振鏡掃描將時(shí)間信息轉(zhuǎn)化為空間剪切偏移，并由CMOS相機(jī)捕獲;在先驗(yàn)采樣路徑中，另一臺(tái)同步的CMOS相機(jī)直接采集場(chǎng)景的未編碼積分圖像。系統(tǒng)通過(guò)數(shù)字延遲發(fā)生器與信號(hào)發(fā)生器協(xié)同調(diào)度，實(shí)現(xiàn)對(duì)光源、振鏡與雙相機(jī)的精密同步控制。最終，該系統(tǒng)結(jié)合人工智能賦能的圖像重建方法，在維持高空間分辨率的同時(shí)，實(shí)現(xiàn)了高保真的高速動(dòng)態(tài)成像。

圖2.基于多先驗(yàn)物理增強(qiáng)深度學(xué)習(xí)的壓縮高速成像光路

基于該光路系統(tǒng)，研究團(tuán)隊(duì)提出的多先驗(yàn)物理增強(qiáng)深度學(xué)習(xí)方法在光致發(fā)光成像中展現(xiàn)了較高的保真度。實(shí)驗(yàn)結(jié)果(如圖3所示)表明，空間分辨率明顯提升：在33,000 fps的幀率下達(dá)到~90.5 lp/mm，是基于TwIST的傳統(tǒng)COSUP方法的3.56倍。在重構(gòu)質(zhì)量方面，圖像銳度與保真度增強(qiáng)了約1.85倍，峰值信噪比(PSNR)平均提升約4dB，有效解決了圖像重構(gòu)過(guò)程中的偽影干擾與畸變問(wèn)題。

圖3.空間分辨率對(duì)比結(jié)果。(a)對(duì)比TwIST、PnP-ADMM等之前方法，最右列mPENFFDNET方法清晰分辨了分辨率板的細(xì)節(jié)，實(shí)現(xiàn)了約3.56倍(較基于TwIST的傳統(tǒng)COSUP方法)的分辨率提升。(b)動(dòng)態(tài)重構(gòu)序列與截線(xiàn)強(qiáng)度曲線(xiàn)(白線(xiàn)處)，驗(yàn)證了動(dòng)態(tài)分辨率一致性。

該技術(shù)展現(xiàn)出廣闊的應(yīng)用前景。研究團(tuán)隊(duì)已將其應(yīng)用于食品安全檢測(cè)領(lǐng)域，借助稀土摻雜上轉(zhuǎn)換納米探針，成功在酒精溶液中實(shí)現(xiàn)對(duì)合成色素莧菜紅濃度的微秒級(jí)熒光壽命無(wú)損檢測(cè)，為痕量物質(zhì)的快速精準(zhǔn)分析提供了全新技術(shù)路徑。

圖4.酒精溶液中色素濃度檢測(cè)。(a-b)mPENFFDNET與PnP-ADMM方法的重構(gòu)結(jié)果對(duì)比及圖像細(xì)節(jié)展示，結(jié)果顯示mPENFFDNET有效抑制了前者存在的偽影與強(qiáng)度不均勻，實(shí)現(xiàn)了更高保真的細(xì)節(jié)重建;(c)為圖(a)橙色虛線(xiàn)框區(qū)域?qū)?yīng)的3D強(qiáng)度分布(3D profiles)對(duì)比，結(jié)果顯示mPENFFDNET有效消除了PnP-ADMM結(jié)果中的鋸齒狀起伏與背景噪聲，使重構(gòu)表面更圓滑、背景更純凈，直觀(guān)體現(xiàn)了系統(tǒng)對(duì)偽影的有效抑制;(d-e)熒光衰減曲線(xiàn)及平均壽命分析。實(shí)驗(yàn)證實(shí)，通過(guò)高保真重建可定量表征熒光壽命隨色素濃度增加的猝滅效應(yīng)。

團(tuán)隊(duì)在此領(lǐng)域的研究工作得到了國(guó)家自然科學(xué)基金、國(guó)家重點(diǎn)研發(fā)計(jì)劃、中國(guó)科學(xué)院青年創(chuàng)新促進(jìn)會(huì)等項(xiàng)目的支持。

西安光機(jī)所姚保利研究員團(tuán)隊(duì)近年來(lái)對(duì)智能光學(xué)顯微成像技術(shù)進(jìn)行了深入研究，形成了多種新型光學(xué)顯微成像技術(shù)，在成像功能、信息獲取維度、性能指標(biāo)等方面均獲得顯著提升，包括利用深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)的全彩寬場(chǎng)顯微光切片三維成像、共聚焦顯微快速超分辨三維成像、快速光片三維顯微成像，以及利用壓縮感知技術(shù)實(shí)現(xiàn)的高分辨率高信噪比的光片顯微成像、透過(guò)散射介質(zhì)計(jì)算成像等。相關(guān)研究成果發(fā)表于Opto-Electron. Adv.、Photon. Res.、Opt. Lett.、Opt. Express等期刊。

此外，西安光機(jī)所姚保利研究員團(tuán)隊(duì)在基于光場(chǎng)調(diào)控的光學(xué)顯微成像和光學(xué)微操縱方面開(kāi)展了長(zhǎng)期的理論和實(shí)驗(yàn)研究工作，在PNAS、Nature Com.、Sci. Adv.、PRL、Rep. Prog. Phys.、Adv. Opt. Photon.等期刊上發(fā)表300多篇論文，授權(quán)多項(xiàng)國(guó)家發(fā)明，曾獲陜西省科學(xué)技術(shù)一等獎(jiǎng)、二等獎(jiǎng)和陜西省重點(diǎn)科技創(chuàng)新團(tuán)隊(duì)等獎(jiǎng)勵(lì)和榮譽(yù)。

審核編輯 黃宇