偏振圖像融合旨在通過光譜信息和偏振信息的結(jié)合改善圖像整體質(zhì)量，在圖像增強(qiáng)、空間遙感、目標(biāo)識別和軍事國防等領(lǐng)域具有廣泛應(yīng)用。

據(jù)麥姆斯咨詢報道，近期，長春理工大學(xué)電子信息工程學(xué)院的科研團(tuán)隊在《紅外技術(shù)》期刊上發(fā)表了以“深度學(xué)習(xí)偏振圖像融合研究現(xiàn)狀”為主題的文章。該文章第一作者和通訊作者為段錦教授。

本文在回顧基于多尺度變換、稀疏表示和偽彩色等傳統(tǒng)融合方法基礎(chǔ)上，重點介紹基于深度學(xué)習(xí)的偏振圖像融合方法研究現(xiàn)狀。首先闡述基于卷積神經(jīng)網(wǎng)絡(luò)和生成對抗網(wǎng)絡(luò)的偏振圖像融合研究進(jìn)展，然后給出在目標(biāo)檢測、語義分割、圖像去霧和三維重建領(lǐng)域的相關(guān)應(yīng)用，同時整理公開的高質(zhì)量偏振圖像數(shù)據(jù)集，最后對未來研究進(jìn)行展望。

傳統(tǒng)偏振融合方法

基于多尺度變換

基于多尺度變換（MST）的偏振圖像融合方法研究開始較早且應(yīng)用廣泛。2016年，中北大學(xué)提出一種紅外偏振與強(qiáng)度圖像融合算法，融合結(jié)果能夠保留紅外強(qiáng)度圖像的全部特征和大部分偏振圖像的特征。2017年，提出一種基于離散小波變換（DWT）、非下采樣輪廓波變換（NSCT）以及改進(jìn)主成分分析（PCA）的多算法協(xié)同組合的融合方法，該方法考慮到了3種算法的互補(bǔ)協(xié)同關(guān)系，能夠充分保留源圖像的重要目標(biāo)和細(xì)節(jié)信息。2020年，提出一種基于小波和輪廓波變換的偏振圖像融合算法，解決了信息保留不充分、偏振圖像干擾視覺觀察和紋理細(xì)節(jié)不理想等問題。同年，有研究者針對中波紅外偏振圖像特點，提出一種基于小波變換的融合方法，根據(jù)圖像的高低頻特點選擇不同的融合規(guī)則，獲得了高分辨率的融合圖像。2022年，提出一種水下偏振圖像融合算法，融合圖像具有突出的細(xì)節(jié)和更高的清晰度。2023年，提出一種多尺度結(jié)構(gòu)分解的圖像融合方法，將紅外圖像和偏振圖像分解為平均強(qiáng)度、信號強(qiáng)度和信號結(jié)構(gòu)并分別采用不同的融合策略，實驗結(jié)果能保留更多的紋理細(xì)節(jié)，對比度得到有效提升并抑制偽影。

基于稀疏表示

基于稀疏表示（SR）的融合方法主要利用偏振圖像稀疏性，將圖像分解為基礎(chǔ)矩陣和稀疏系數(shù)矩陣后，再利用逆稀疏性原理進(jìn)行重構(gòu)，能夠?qū)崿F(xiàn)偏振信息和空間信息的充分融合。2015年，將MST和SR相結(jié)合提出一種通用的圖像融合框架，然后在多聚焦、可見光和紅外以及醫(yī)學(xué)圖像融合任務(wù)中進(jìn)行驗證，并與6種多尺度分析方法的融合效果進(jìn)行比較。2017年，天津大學(xué)提出一種基于雙樹復(fù)小波變換（DTCWT）和SR的偏振圖像融合方法。利用絕對值最大值策略融合高頻部分，低頻部分則利用稀疏系數(shù)的位置信息判斷共有特征和特有特征，并分別制定相應(yīng)策略，融合圖像具有較高對比度和細(xì)節(jié)信息。2021年，提出一種雙變量二維的經(jīng)驗?zāi)B(tài)分解和稀疏表示相結(jié)合的紅外偏振圖像融合方法。通過絕對值最大策略融合高頻分量，有效地保留了細(xì)節(jié)信息。利用SR提取低頻分量間的共同特征和新特征，并制定適當(dāng)?shù)娜诤弦?guī)則進(jìn)行組合，融合結(jié)果在視覺感受和定量分析都更具有優(yōu)勢，如圖1所示。

圖1 基于SR的不同場景融合結(jié)果

基于淺層神經(jīng)網(wǎng)絡(luò)

基于淺層神經(jīng)網(wǎng)絡(luò)的偏振圖像融合方法主要利用了脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN），通過脈沖編碼信號進(jìn)行信息的傳遞和處理，也通常與多尺度變換方法結(jié)合設(shè)計。2013年，提出一種改進(jìn)PCNN模型的偏振圖像融合算法，利用偏振參數(shù)圖像生成帶有目標(biāo)細(xì)節(jié)的融合圖像進(jìn)行偏振信息分析，同時使用匹配度M作為融合規(guī)則，獲得了能夠保留更多細(xì)節(jié)信息的高質(zhì)量融合圖像。2018年，提出一種基于二維經(jīng)驗?zāi)Ｊ椒纸猓˙EMD）和自適應(yīng)PCNN的偏振圖像融合算法，首先將線偏振度圖像和偏振角圖像進(jìn)行融合得到偏振特征圖像，然后將其與強(qiáng)度圖像進(jìn)行分解，最后高低頻分量分別利用局部能量和區(qū)域方差自適應(yīng)的融合策略。實驗結(jié)果表明，提出的算法在多項評價指標(biāo)上更具有優(yōu)勢。2020年，結(jié)合非下采樣剪切波變換和參數(shù)自適應(yīng)簡化型脈沖耦合神經(jīng)網(wǎng)絡(luò)提出一種水下偏振圖像融合方法，能夠有效探測到水下目標(biāo)物的更多細(xì)節(jié)和顯著特征，在主觀視覺和客觀評價上都得到明顯提升，融合結(jié)果如圖2所示。

圖2 基于PCNN的不同場景融合結(jié)果

基于偽彩色

基于偽彩色的偏振圖像融合方法可以將目標(biāo)或場景的熱輻射信息轉(zhuǎn)換為符合人類視覺感受的色彩，能夠有效提高成像效果。2006年，采集665 nm波段的航空遙感偏振圖像，并對地物場景進(jìn)行上色，成功區(qū)分了陸地、海面和房屋等顯著區(qū)域。2007年，西北工業(yè)大學(xué)提出一種基于偽彩色映射和線偏振度熵的自適應(yīng)加權(quán)多波段偏振圖像融合方法，通過將不同波段的Stokes圖像和DoLP圖像結(jié)合，有效地去除了背景雜波。同年，提出一種綜合偽彩色映射和小波變換的融合方法，將其應(yīng)用在全色圖像和光譜圖像的融合任務(wù)中，在顯著增強(qiáng)目標(biāo)與背景對比度的同時可以保留目標(biāo)信息。2010年，結(jié)合非負(fù)矩陣分解和IHS顏色模型提出一種偏振圖像融合方法，具有較好的色彩表達(dá)和目標(biāo)細(xì)節(jié)增強(qiáng)能力。隨后，他們提出一種基于顏色轉(zhuǎn)移和聚類分割的偽彩色圖像融合方法，融合結(jié)果符合視覺感知，同時可以使人工目標(biāo)在雜亂背景下的對比度更加突出。2012年，提出一種針對紅外偏振和紅外光強(qiáng)圖像的偽彩色融合方法，并通過實驗證明了在多項指標(biāo)中的明顯優(yōu)勢。近些年，北京理工大學(xué)在該領(lǐng)域開展較多研究，取得了豐富的研究成果。

傳統(tǒng)融合方法對比分析

以上4種類型融合方法都具有各自的優(yōu)缺點，方法對比如表1所示。在實際應(yīng)用中，通?？梢愿鶕?jù)應(yīng)用場景將這些方法相互結(jié)合進(jìn)行算法的設(shè)計。

表1 傳統(tǒng)偏振圖像融合方法對比

深度學(xué)習(xí)偏振融合方法

基于卷積神經(jīng)網(wǎng)絡(luò)

基于CNN的偏振圖像融合方法具有較為突出的融合效果。2017年，提出一種雙流型CNN用于高光譜圖像和SAR圖像的融合任務(wù)，并通過實驗證明了提出的網(wǎng)絡(luò)能夠較好地平衡和融合源圖像的互補(bǔ)信息。2020年，中南大學(xué)在可見光單波段的偏振融合任務(wù)中提出一種無監(jiān)督的深度學(xué)習(xí)網(wǎng)絡(luò)（PFNet），網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。其中，PFNet包括特征提取、融合和重構(gòu)模塊，同時通過密集塊和多尺度加權(quán)結(jié)構(gòu)相似度損失函數(shù)提高了網(wǎng)絡(luò)性能。PFNet能夠?qū)W習(xí)端到端的映射，進(jìn)而實現(xiàn)強(qiáng)度圖像和偏振度圖像的充分融合，而無需考慮融合圖像的真實值，具有能夠避免復(fù)雜的水平測量和融合規(guī)則設(shè)計等優(yōu)點。

圖3 PFNet網(wǎng)絡(luò)架構(gòu)

2021年，提出一種結(jié)合NSCT 和CNN的偏振圖像融合算法。首先利用快速引導(dǎo)濾波和脈沖耦合神經(jīng)網(wǎng)絡(luò)對偏振角圖像進(jìn)行去噪，然后將其與線偏振度圖像融合得到偏振特征圖像，最后通過多尺度變換的方法生成融合圖像。同年，中南大學(xué)對PFNet進(jìn)行改進(jìn)，提出一種自學(xué)習(xí)策略的深度卷積網(wǎng)絡(luò)。相較于PFNet，主要改進(jìn)內(nèi)容是在網(wǎng)絡(luò)結(jié)構(gòu)中構(gòu)建一個融合子網(wǎng)絡(luò)替代原來的連接方式。融合子網(wǎng)絡(luò)的設(shè)計借鑒了殘差結(jié)構(gòu)，采用3層帶有RELU激活函數(shù)的卷積層，如圖4所示。同時，使用修正的余弦相似度損失函數(shù)代替平均絕對誤差損失，能夠更好地衡量融合特征與編碼特征間的差異。此外，提出的網(wǎng)絡(luò)在偏振圖像數(shù)據(jù)集中進(jìn)行訓(xùn)練得到的模型，在其他模態(tài)圖像融合任務(wù)中仍具有較好的效果。

圖4 融合子網(wǎng)架構(gòu)

2022年，提出一種基于像素信息引導(dǎo)和注意力機(jī)制的無監(jiān)督偏振圖像融合網(wǎng)絡(luò)。將偏振圖像中需要融合的信息定義為高度偏振的目標(biāo)信息和強(qiáng)度圖像的紋理信息，通過特別設(shè)計的損失函數(shù)約束不同圖像的像素分布，可以在像素級別上更好地保留不同類型的顯著信息，同時在融合模塊中引入注意力機(jī)制，有效解決了偏振信息和紋理分布不一致等問題。實驗證明，融合結(jié)果具有更豐富的偏振信息和更適宜的亮度。2023年，提出一種強(qiáng)度圖像和偏振度圖像的融合方法。通過編碼器提取源圖像的語義信息和紋理細(xì)節(jié)，并利用設(shè)計的加法策略和殘差網(wǎng)絡(luò)對圖像特征進(jìn)行融合，同時提出改進(jìn)的損失函數(shù)引導(dǎo)網(wǎng)絡(luò)訓(xùn)練。

基于生成對抗網(wǎng)絡(luò)

2014年，Goodfellow等提出由生成器和鑒別器組成的生成對抗網(wǎng)絡(luò)。其中，生成器用于獲取數(shù)據(jù)分布，鑒別器能夠估計生成的數(shù)據(jù)是真實數(shù)據(jù)還是來自生成器。當(dāng)生成器和鑒別器通過對抗博弈達(dá)到平衡狀態(tài)時，代表網(wǎng)絡(luò)訓(xùn)練已完成。此時，生成器可以生成類似于真實分布中的樣本。2019年，將紅外圖像和可見光圖像的融合任務(wù)定義為生成器和鑒別器間的學(xué)習(xí)對抗，提出的FusionGAN能夠顯著增強(qiáng)融合圖像的紋理細(xì)節(jié)，同時為圖像融合領(lǐng)域開辟了新的研究思路。此后，基于GAN的圖像融合方法發(fā)展迅速，而為平衡圖像間的信息差異，一些方法開始構(gòu)建具有雙鑒別器的生成對抗網(wǎng)絡(luò)結(jié)構(gòu)，同時估計源圖像的兩個概率分布，用以獲得更好的融合效果。

2019年，提出一種能夠?qū)W習(xí)和分類源圖像特征的生成對抗網(wǎng)絡(luò)，相較于其他對比算法，提出網(wǎng)絡(luò)在視覺質(zhì)量和整體分類精度方面具有更好的性能。2022年，提出一種生成對抗融合網(wǎng)絡(luò)用以學(xué)習(xí)偏振信息與物體輻射度之間的關(guān)系，并以實驗證明了將偏振信息引入基于深度學(xué)習(xí)方法的圖像復(fù)原任務(wù)中的可行性，提出方法能夠有效地去除后向散射光，更有利于恢復(fù)物體的輻射亮度。同年，長春理工大學(xué)提出一種語義引導(dǎo)的雙鑒別器偏振融合網(wǎng)絡(luò)。提出的網(wǎng)絡(luò)由一個生成器和兩個鑒別器組成，雙流型結(jié)構(gòu)的生成器能夠充分地提取特征，通過對各語義對象進(jìn)行加權(quán)生成融合圖像。而雙鑒別器則主要用于識別偏振度和強(qiáng)度圖像的各種語義目標(biāo)。此外，作者構(gòu)建了一個偏振圖像信息量判別模塊，通過加權(quán)的方式指導(dǎo)圖像融合過程，能夠針對性地保留不同材料的偏振信息。實驗結(jié)果表明，融合網(wǎng)絡(luò)在視覺效果和定量指標(biāo)都具有更突出的性能，同時有助于高級視覺任務(wù)性能的提升。

深度學(xué)習(xí)融合算法對比分析

基于CNN和GAN的偏振圖像融合算法具有不同特點，具體的對比分析如表2所示。

表2 基于CNN和GAN的偏振圖像融合算法對比

偏振融合應(yīng)用

光譜信息和偏振信息的結(jié)合能夠更好地反映不同材質(zhì)的特性，對于突出目標(biāo)細(xì)節(jié)和改善視覺質(zhì)量具有明顯的效果，有助于提高后續(xù)視覺任務(wù)的準(zhǔn)確性和魯棒性。本章重點介紹偏振融合方法在目標(biāo)檢測、語義分割、圖像去霧以及三維重建任務(wù)中應(yīng)用。

目標(biāo)檢測

偏振圖像融合有利于提升目標(biāo)檢測率。2020年，提出一種偏振圖像融合方法，通過偏振特征提取器和連續(xù)小卷積的深度卷積神經(jīng)網(wǎng)絡(luò)有效提高了目標(biāo)檢測的精度，并設(shè)計實驗證明提出網(wǎng)絡(luò)的檢測錯誤率低于傳統(tǒng)方法。2022年，利用YOLO v5s模型對源圖像進(jìn)行目標(biāo)檢測，并與11種對比方法進(jìn)行比較，驗證了網(wǎng)絡(luò)的優(yōu)越性以及目標(biāo)檢測任務(wù)的提升，實驗結(jié)果如圖5所示。

圖5 目標(biāo)檢測結(jié)果

語義分割

偏振圖像融合能夠有效提升語義分割任務(wù)的實驗效果。2019年，提出一種多階段復(fù)雜模態(tài)網(wǎng)絡(luò)，通過基于后期融合的網(wǎng)絡(luò)框架對RGB圖像和偏振圖像進(jìn)行融合，充分提高了分割性能。2021年，提出一種注意力融合網(wǎng)絡(luò)，在充分融合源圖像信息的同時具有適應(yīng)其他傳感器組合場景的靈活性，能夠顯著提升語義分割的精準(zhǔn)度。2022年，通過實驗證明了融合偏振圖像在語義分割應(yīng)用中的優(yōu)勢性。作者利用DeepLabv3+模型對偏振強(qiáng)度圖像、線偏振度和融合圖像分別進(jìn)行測試，發(fā)現(xiàn)融合圖像的分割精度相較于強(qiáng)度圖像提高7.8%，能夠?qū)崿F(xiàn)更準(zhǔn)確的分割效果，如圖6所示。

圖6 語義分割結(jié)果

圖像去霧

在圖像去霧的研究領(lǐng)域，結(jié)合偏振信息可以幫助恢復(fù)圖像的透射率和深度信息，有利于提升去霧效果。2018年，提出一種多小波融合的偏振探測去霧方法，將高低頻系數(shù)分別按照不同規(guī)則進(jìn)行融合，突顯了目標(biāo)輪廓和細(xì)節(jié)信息。實驗結(jié)果表明，在實際煙霧環(huán)境下，提出方法在視覺效果和客觀評價方面具有更多優(yōu)勢，能夠提升霧天環(huán)境的目標(biāo)識別效率。2021年，針對遠(yuǎn)場密集霧霾天氣的去霧任務(wù)，提出一種基于空間頻分融合的偏振去霧方法，得到較為理想的實驗效果。同年，提出一種基于多尺度奇異值分解的偏振圖像融合去霧算法，通過驗證實驗和量化評價證明算法具有較強(qiáng)的自適應(yīng)性和魯棒性，能夠有效地改善光暈和過曝光等問題。

三維重建

在三維重建的研究領(lǐng)域，偏振維度信息提供的紋理和形狀信息有利于改善三維重建效果，同時對法向量估計任務(wù)也具有重要作用。2020年，將偏振形狀問題與深度學(xué)習(xí)結(jié)合，通過將物理模型融入神經(jīng)網(wǎng)絡(luò)架構(gòu)，使實驗結(jié)果在每個測試條件都達(dá)到最低的測試誤差。2021年，利用深度學(xué)習(xí)網(wǎng)絡(luò)克服了偏振法線計算中的角度模糊性問題，通過將優(yōu)化后的偏振法線與圖像特征進(jìn)行融合，實現(xiàn)了高精度的物體表面法線估計。2022年，提出一種融合偏振和光場信息的低紋理目標(biāo)三維重建算法。通過融合目標(biāo)物表面的光場信息與反射光的偏振信息用以增加圖像信息維度，解決了入射面方位角歧義性問題。

偏振圖像數(shù)據(jù)集

基于深度學(xué)習(xí)的偏振圖像融合網(wǎng)絡(luò)依賴于高質(zhì)量的數(shù)據(jù)集，偏振圖像數(shù)據(jù)集的質(zhì)量和數(shù)量很大程度上影響著網(wǎng)絡(luò)的訓(xùn)練效果。目前，已有的公開高質(zhì)量偏振圖像數(shù)據(jù)集仍相對較少。為此，一些國內(nèi)外研究團(tuán)隊慷慨地公開了各自建立的數(shù)據(jù)集，為相關(guān)領(lǐng)域研究做出寶貴貢獻(xiàn)。

2019年，拍攝一個包含120組圖像的偏振數(shù)據(jù)集，每組數(shù)據(jù)由偏振角度為0°、45°、90°和135°的強(qiáng)度圖像組成。2020年，東京工業(yè)大學(xué)公開了一組包含40個場景的全彩色偏振圖像數(shù)據(jù)集，每組由4幅不同偏振角度的RGB圖像組成。同年，采用自行研制的非制冷紅外DoFP相機(jī)進(jìn)行拍攝，公開由2113張標(biāo)注圖像組成的長波紅外偏振數(shù)據(jù)集，包括白天和晚上的城市道路和高速公路場景。

2021年，浙江大學(xué)研究團(tuán)隊針對校園道路場景建立一個共計394幅標(biāo)注像素對齊的彩色偏振圖像數(shù)據(jù)集，包含RGB圖像、視差圖像和標(biāo)簽圖像；中南大學(xué)拍攝一個由66組偏振圖像組成的數(shù)據(jù)集，包括各種建筑、植物和車輛等物體；阿卜杜拉國王科技大學(xué)公開一個包括40幅彩色圖像的偏振數(shù)據(jù)集，每個場景包含4幅不同偏振角度的強(qiáng)度圖像。上述偏振圖像數(shù)據(jù)集的簡要介紹如表3所示。

表3 偏振圖像數(shù)據(jù)集

總結(jié)與展望

目前，偏振圖像融合領(lǐng)域正在受到越來越多的關(guān)注和研究。通過將不同光譜、模態(tài)圖像與偏振圖像進(jìn)行融合，可以實現(xiàn)不同優(yōu)勢信息的有效互補(bǔ)。深度學(xué)習(xí)融合方法在一定程度上彌補(bǔ)了傳統(tǒng)融合方法的局限性，表現(xiàn)出其獨特優(yōu)勢，在主觀評價和客觀分析方面都具有較為突出的表現(xiàn)，已成為偏振圖像融合領(lǐng)域的主要研究方向。然而，當(dāng)前的深度學(xué)習(xí)偏振融合方法仍相對較少且大部分僅是對現(xiàn)有深度網(wǎng)絡(luò)的直接利用或簡單改進(jìn)，缺少從偏振成像原理和物質(zhì)偏振特性進(jìn)行深入分析，在基礎(chǔ)理論研究、技術(shù)應(yīng)用以及實驗驗證等方面都存在較大的提升空間，需要在以下幾個方面進(jìn)一步探索和突破：

①利用目標(biāo)與背景間的偏振特性差異構(gòu)建偏振二向反射模型（pBRDF），分析目標(biāo)偏振成像與傳輸介質(zhì)的相互作用關(guān)系，并構(gòu)建起偏-傳輸-探測的全鏈路光學(xué)成像模型，進(jìn)而實現(xiàn)更好的偏振特征提取與圖像融合。

②深入研究目標(biāo)偏振特性及其表征方法，充分發(fā)揮深度學(xué)習(xí)的優(yōu)勢，并挖掘偏振的非物理特征和深度特征。將偏振光學(xué)特性應(yīng)用于圖像融合過程，同時將傳統(tǒng)融合方法與深度學(xué)習(xí)融合方法相結(jié)合，實現(xiàn)更理想的特征級偏振圖像融合。

③由于深度學(xué)習(xí)融合網(wǎng)絡(luò)訓(xùn)練通常依賴大數(shù)據(jù)，而目前公開的高質(zhì)量偏振圖像數(shù)據(jù)有限，所以應(yīng)推進(jìn)偏振多光譜圖像數(shù)據(jù)集的信息共享，并針對性地提出具有小樣本訓(xùn)練能力的深度學(xué)習(xí)融合網(wǎng)絡(luò)。

④充分結(jié)合不同模態(tài)圖像的優(yōu)勢信息，探索多源圖像融合新方式，實現(xiàn)光強(qiáng)、光譜和偏振的信息互補(bǔ)，提升融合性能，同時為圖像分割分類和目標(biāo)檢測識別等視覺任務(wù)提供基礎(chǔ)支撐。

審核編輯：黃飛

?