圖1.(a)自主研發(fā)的PAM系統(tǒng)。(b)利用均值擴(kuò)散模型對(duì)稀疏采樣數(shù)據(jù)進(jìn)行重建，獲得高質(zhì)量圖像

研究背景

光聲顯微術(shù)成像(Photoacoustic Microscopy，PAM)是一種非侵入性的混合生物醫(yī)學(xué)成像技術(shù)，結(jié)合了光學(xué)和聲學(xué)技術(shù)的優(yōu)勢(shì)，能夠在亞微米尺度上提供高分辨率的生物組織信息，在組織細(xì)胞成像、癌癥檢測(cè)，心血管疾病檢測(cè)等領(lǐng)域取得了廣泛應(yīng)用，并且逐漸成為臨床前和臨床的重要工具。盡管PAM有著顯著的臨床轉(zhuǎn)化潛力和廣泛的應(yīng)用前景，然而，在實(shí)際應(yīng)用中，傳統(tǒng)光聲顯微鏡(PAM)的掃描速度相對(duì)較慢，這一問題源于激光脈沖的脈沖重復(fù)頻率(PRR)限制。尤其是在高分辨率成像需求下，系統(tǒng)需要以更小的步長(zhǎng)進(jìn)行逐點(diǎn)掃描，導(dǎo)致成像時(shí)間進(jìn)一步延長(zhǎng)。此外，隨著掃描點(diǎn)數(shù)的增加，總數(shù)據(jù)量與采集時(shí)間會(huì)急劇上升，進(jìn)而給數(shù)據(jù)采集卡帶來巨大負(fù)擔(dān)。這些問題限制了光聲顯微鏡在實(shí)時(shí)成像和高通量檢測(cè)中的應(yīng)用，在需要快速獲取大量圖像的臨床與科研場(chǎng)景中，這一局限性尤為突出。增大采樣步長(zhǎng)能顯著提升光聲顯微成像的成像速度，這一過程被稱為稀疏采樣。但該方法存在缺陷，可能會(huì)損害成像質(zhì)量。因此，如何對(duì)稀疏采樣圖像進(jìn)行高質(zhì)量重建，成為當(dāng)前面臨的關(guān)鍵挑戰(zhàn)。最新研究表明，深度學(xué)習(xí)在解決光聲顯微鏡(PAM)稀疏采樣重建難題方面具有巨大潛力。但其訓(xùn)練過程依賴帶標(biāo)簽數(shù)據(jù)集，且在模型泛化性與跨模態(tài)適應(yīng)性方面存在顯著局限。此外，傳統(tǒng)深度學(xué)習(xí)框架難以融入光聲成像固有的物理先驗(yàn)知識(shí)(如聲波傳播模型、熱擴(kuò)散方程)，這一局限制約了此類框架在復(fù)雜臨床場(chǎng)景中的精準(zhǔn)應(yīng)用與發(fā)展。因此，如何通過算法突破硬件限制，實(shí)現(xiàn)稀疏采樣下的快速、高質(zhì)量的重建，是一個(gè)亟需解決的問題。

導(dǎo)讀

近日，南昌大學(xué)信息工程學(xué)院的成像與視覺表示實(shí)驗(yàn)室研究團(tuán)隊(duì)構(gòu)建了一套智能光聲顯微成像系統(tǒng)。該系統(tǒng)借助光聲顯微掃描技術(shù)對(duì)樣本實(shí)施稀疏采樣，從硬件采集層面顯著提升成像速度;同時(shí)引入生成式人工智能算法，攻克超稀疏采樣場(chǎng)景下的圖像退化難題，實(shí)現(xiàn)高分辨率重建。最終達(dá)成成像時(shí)間縮短與成像質(zhì)量提升的雙重目標(biāo)。研究團(tuán)隊(duì)進(jìn)一步將生成式人工智能算法與光聲斷層成像系統(tǒng)深度融合，輔以軟件界面的交互式控制功能，構(gòu)建形成 “智能信號(hào)采集 — 數(shù)據(jù)處理 — 高質(zhì)量圖像生成” 的全流程技術(shù)鏈路。其中，發(fā)表于光學(xué)領(lǐng)域頂級(jí)期刊Optics & Laser Technology的論文“Super-sparse-sampling high-resolution photoacoustic microscopy boosted by generative diffusion priors”，作為該智能光聲顯微成像系統(tǒng)的關(guān)鍵組成部分，不僅驗(yàn)證了系統(tǒng)在算法層面的可行性，還打通了系統(tǒng)中最關(guān)鍵的算法環(huán)節(jié)。南昌大學(xué)本科生陳彥翰、研究生曹玉彬?yàn)楣餐谝蛔髡?，宋賢林副教授為通訊作者，劉且根教授對(duì)該研究給予了重要支持。

主要研究?jī)?nèi)容

為了獲取實(shí)驗(yàn)樣品的光聲信號(hào)。南昌大學(xué)研究團(tuán)隊(duì)構(gòu)建了一套智能光聲顯微采集系統(tǒng)，圖1(a)展示的是該系統(tǒng)的數(shù)據(jù)采集部分，此采集系統(tǒng)由步進(jìn)控制模塊、激光觸發(fā)模塊和數(shù)據(jù)采集模塊組成。整套系統(tǒng)通過Labview軟件實(shí)現(xiàn)對(duì)步進(jìn)控制模塊與數(shù)據(jù)采集模塊的整體控制。在數(shù)據(jù)采集過程中，樣品被置于自制的光聲耦合棱鏡正下方，此時(shí)樣本處于系統(tǒng)光焦點(diǎn)與聲焦點(diǎn)重合的區(qū)域。數(shù)據(jù)采集卡接收到觸發(fā)脈沖后，二維平移臺(tái)(x-y)便會(huì)以固定步長(zhǎng)向x軸方向移動(dòng)，同時(shí)數(shù)據(jù)采集卡采集對(duì)應(yīng)位置的光聲信號(hào)并將其存儲(chǔ)至計(jì)算機(jī)中，直至采集完設(shè)定區(qū)域的稀疏光聲信號(hào)。在獲得稀疏采樣下的PAM數(shù)據(jù)后，通過基于python編寫的Tkinter GUI界面(如圖1b)進(jìn)行交互，調(diào)用生成式人工智能算法開展光聲數(shù)據(jù)重建，實(shí)現(xiàn)極稀疏采樣數(shù)據(jù)的重建生成，有效去除圖像偽影并獲取高質(zhì)量成像結(jié)果。該算法作為智能光聲成像系統(tǒng)的核心組成部分，針對(duì)光聲顯微成像在稀疏步長(zhǎng)采樣場(chǎng)景下，傳統(tǒng)深度學(xué)習(xí)方法面臨的訓(xùn)練過程受限、難以融入光聲成像固有的物理先驗(yàn)知識(shí)等關(guān)鍵難題，研究團(tuán)隊(duì)為實(shí)現(xiàn)模型的快速迭代與高效生成，提出一種基于均值回復(fù)擴(kuò)散模型(IR-SDE)的超稀疏采樣 PAM 數(shù)據(jù)重建方法，可直接完成光聲顯微數(shù)據(jù)的重建任務(wù)。該方法通過模擬隨機(jī)微分方程(SDE)的正向與反向過程 —— 即從高質(zhì)量全采樣圖像到低質(zhì)量稀疏采樣退化圖像的正向演變，以及從稀疏采樣數(shù)據(jù)到全采樣數(shù)據(jù)的反向恢復(fù)，實(shí)現(xiàn)了無需依賴任何特定任務(wù)先驗(yàn)知識(shí)的光聲數(shù)據(jù)重建。如圖 2(b)所示，該方法的核心設(shè)計(jì)在于：其采用的得分網(wǎng)絡(luò)以非線性激活自由網(wǎng)絡(luò)(Nonlinear Activation-Free Network, NAFNet)為基礎(chǔ)架構(gòu)，并引入多層感知機(jī)(Multi-Layer Perceptron, MLP)。此架構(gòu)設(shè)計(jì)不僅顯著降低計(jì)算量、提升計(jì)算效率，還進(jìn)一步增強(qiáng)了模型對(duì)時(shí)間動(dòng)態(tài)過程的適應(yīng)性;同時(shí)，該設(shè)計(jì)使模型在圖像恢復(fù)任務(wù)中能夠輸出更精準(zhǔn)的結(jié)果，在不同成像條件下的圖像重建中均保持高性能與強(qiáng)靈活性。上述改進(jìn)最終確保網(wǎng)絡(luò)在稀疏重建任務(wù)中兼顧高質(zhì)量成像效果與高效率運(yùn)行表現(xiàn)。

圖2.PAM稀疏弦圖重建流程圖與網(wǎng)絡(luò)架構(gòu)

此外，圖 2 呈現(xiàn)了 PAM 稀疏重建的具體流程，該流程分為訓(xùn)練與重建兩個(gè)核心階段：在訓(xùn)練階段(圖 2(a)上半部分)，全采樣 PAM 圖像與稀疏采樣 PAM 圖像被作為輸入數(shù)據(jù)傳入網(wǎng)絡(luò);鑒于 IR-SDE(改進(jìn)型隨機(jī)微分方程)在正向與逆向擴(kuò)散過程中存在封閉形式解，可基于此解計(jì)算時(shí)間相關(guān)的真實(shí)分?jǐn)?shù)函數(shù)，進(jìn)而通過神經(jīng)網(wǎng)絡(luò)訓(xùn)練實(shí)現(xiàn)對(duì)該分?jǐn)?shù)函數(shù)的估計(jì);同時(shí)，網(wǎng)絡(luò)通過學(xué)習(xí)目標(biāo)數(shù)據(jù)集的先驗(yàn)分布，具備預(yù)測(cè)任意時(shí)刻分?jǐn)?shù)以近似真實(shí)分?jǐn)?shù)函數(shù)的能力。在重建階段(圖 2(a)下半部分)，輸入待恢復(fù)的初始稀疏采樣數(shù)據(jù)后，利用已訓(xùn)練完成的網(wǎng)絡(luò)模型預(yù)測(cè)當(dāng)前時(shí)刻的噪聲，從而得到噪聲分?jǐn)?shù);隨后通過求解逆向 IR-SDE，從含噪的低質(zhì)量稀疏采樣 PAM 圖像出發(fā)，

經(jīng)逐步采樣迭代，最終恢復(fù)得到全采樣高質(zhì)量 PAM 圖像。

圖3:仿真血管數(shù)據(jù)實(shí)驗(yàn)稀疏重建結(jié)果

研究團(tuán)隊(duì)采用仿真血管數(shù)據(jù)、以及實(shí)際PAM系統(tǒng)獲取的數(shù)據(jù)，對(duì)所提方法的性能展開了全面深入的評(píng)估。圖3展示了仿真血管在不同方法，不同稀疏采樣步長(zhǎng)條件下的最大投影圖重建結(jié)果，對(duì)比了RL Deconv、Cycle-GAN、U-Net與所提的IR-SDE方法的重建效果。結(jié)果顯示：即使在極稀疏的16倍稀疏步長(zhǎng)下(有效像素占比約 0.4%)，所提方法的PSNR達(dá)到24.22dB，SSIM達(dá)到0.742;較U-Net，PSNR提升11.51dB，SSIM提升0.597;較Cycle-GAN，PSNR提升9.9dB，SSIM提升0.461;較RL Deconv，PSNR提升13.63dB，SSIM提升0.521。從圖 3 (e) 和 3 (f) 的局部放大圖可見，RL Deconv 法、CycleGAN 法和 U-Net 法在不同稀疏采樣步長(zhǎng)下重建的血管圖像，細(xì)節(jié)表現(xiàn)均相對(duì)較差，與真值圖像(GT)存在明顯差異。在相同條件下，所提出的改進(jìn)型隨機(jī)微分方程(IR-SDE)方法展現(xiàn)出顯著優(yōu)勢(shì)：即便在 16 倍稀疏采樣步長(zhǎng)下，該方法仍能成功重建出更清晰、平滑的血管結(jié)構(gòu)，且在綠色箭頭標(biāo)注區(qū)域內(nèi)有效恢復(fù)了血管細(xì)節(jié)與分支，從而克服了其他方法存在的重建缺陷。研究團(tuán)隊(duì)通過基于均值回歸擴(kuò)散模型的迭代策略，實(shí)現(xiàn)了極稀疏采樣步長(zhǎng)條件下的高質(zhì)量重建，為獲取更高質(zhì)量的PAM圖像提供了支持。

圖4. 實(shí)際系統(tǒng)數(shù)據(jù)的實(shí)驗(yàn)結(jié)果

為了進(jìn)一步證明所提方法在實(shí)際應(yīng)用中的泛化性和有效性，研究團(tuán)隊(duì)針對(duì)實(shí)際系統(tǒng)采集的數(shù)據(jù)開展了稀疏重建實(shí)驗(yàn)。通過自主研發(fā)的PAM系統(tǒng)采集實(shí)驗(yàn)樣品的光聲信號(hào)后，對(duì)所得光聲數(shù)據(jù)的最大投影圖進(jìn)行稀疏重建。圖4為實(shí)際樣品數(shù)據(jù)的稀疏重建結(jié)果。從圖 4 (d) 和 4 (e) 中 “矩形 1” 與 “矩形 2” 的局部放大圖可見，當(dāng)重建 “未包含在訓(xùn)練數(shù)據(jù)集中的真實(shí)場(chǎng)景稀疏采樣 PAM 圖像” 時(shí)，RL Deconv 法、CycleGAN 法和 U-Net 法的細(xì)節(jié)恢復(fù)效果較差，無法精準(zhǔn)重建目標(biāo)結(jié)構(gòu)。與之相反，所提 IR-SDE 法在圖像細(xì)節(jié)與結(jié)構(gòu)恢復(fù)方面展現(xiàn)出顯著優(yōu)勢(shì)：該方法不僅能增強(qiáng)圖像細(xì)節(jié)，還能有效解決 “采樣步長(zhǎng)增大導(dǎo)致成像質(zhì)量下降” 的問題。尤其在 8 倍稀疏采樣步長(zhǎng)下，IR-SDE 法可對(duì) “未參與訓(xùn)練的真實(shí)場(chǎng)景稀疏采樣 PAM 圖像” 實(shí)現(xiàn)有效重建，生成的圖像平滑度與清晰度更高;綠色箭頭標(biāo)注區(qū)域內(nèi)的結(jié)構(gòu)恢復(fù)更精準(zhǔn)，克服了其他方法在這些區(qū)域存在的細(xì)節(jié)缺失與結(jié)構(gòu)失真問題。這表明 IR-SDE 法在圖像重建任務(wù)中，尤其在復(fù)雜的高稀疏采樣步長(zhǎng)場(chǎng)景中，具備顯著優(yōu)勢(shì)，可有效提升重建圖像質(zhì)量。

結(jié)論與展望

綜上所述，針對(duì)傳統(tǒng)光聲顯微成像(PAM)稀疏采樣圖像重建方法中普遍存在的 “重建質(zhì)量差” 核心問題，南昌大學(xué)團(tuán)隊(duì)構(gòu)建了一套智能光聲顯微成像系統(tǒng)。該團(tuán)隊(duì)從光聲顯微采集系統(tǒng)的硬件搭建入手，進(jìn)一步結(jié)合生成式人工智能算法實(shí)現(xiàn)極稀疏采樣條件下的高質(zhì)量圖像重建，最終形成了 “光聲信號(hào)采集 — 生成式算法高質(zhì)量重建” 的技術(shù)流程。該流程從算法層面突破了硬件性能的固有限制，成功實(shí)現(xiàn)了實(shí)際稀疏采樣場(chǎng)景下 PAM 圖像的快速、高質(zhì)量重建。該研究的突破性體現(xiàn)在以下三方面：1.關(guān)鍵發(fā)現(xiàn)：在超稀疏采樣條件下(如 16 倍采樣步長(zhǎng))，團(tuán)隊(duì)所提方法相較于傳統(tǒng)基準(zhǔn)方法(如 RL 反卷積、CycleGAN、U-Net 等)的性能優(yōu)勢(shì)呈現(xiàn)顯著放大效應(yīng)，其在峰值信噪比(PSNR)、結(jié)構(gòu)相似性指數(shù)(SSIM)等核心指標(biāo)上的提升幅度，遠(yuǎn)高于低稀疏度采樣場(chǎng)景，驗(yàn)證了該方法在極端采樣條件下的優(yōu)越性。2.臨床價(jià)值：實(shí)驗(yàn)證明，該方法不僅在仿真實(shí)驗(yàn)中表現(xiàn)出優(yōu)異的稀疏重建效果，在實(shí)際的PAM成像場(chǎng)景中也展現(xiàn)出卓越性能。既能為臨床診斷提供更高質(zhì)量的 PAM 圖像，實(shí)現(xiàn)組織結(jié)構(gòu)與功能的高精度成像;又能在實(shí)際應(yīng)用中減輕數(shù)據(jù)采集卡的運(yùn)算負(fù)擔(dān)、縮短信號(hào)采集時(shí)間、降低硬件部署成本，有效突破了 PAM 技術(shù)臨床轉(zhuǎn)化的關(guān)鍵瓶頸，進(jìn)一步拓展了其實(shí)際應(yīng)用范圍。3.技術(shù)普惠：為資源受限場(chǎng)景(如基層醫(yī)院、移動(dòng)檢測(cè)設(shè)備)提供了高質(zhì)量 PAM 成像的可行方案，有效降低了 PAM 技術(shù)的應(yīng)用門檻，同時(shí)，其在快速成像與高質(zhì)量重建上的優(yōu)勢(shì)，也推動(dòng)了PAM技術(shù)向更廣泛領(lǐng)域的普及。

審核編輯 黃宇