引言

本文提出了基于可編程邏輯門(mén)陣列(field programmable gate array，FPGA)的開(kāi)關(guān)融合中值-高斯(open and close mix-median-Gaussian，OCMMG)濾波算法。該算法將脈沖噪聲檢測(cè)與中值濾波相結(jié)合用于解決混合噪聲中的脈沖噪聲，邊緣檢測(cè)與高斯濾波相結(jié)合用于解決混合噪聲中的泊松噪聲，該算法還加入了脈沖噪聲判別權(quán)重和邊緣置信度表征值2個(gè)參數(shù)增加圖像保護(hù)邊緣的能力?；贔PGA對(duì)1×10?3 lx照度條件下EBAPS采集的圖像進(jìn)行實(shí)時(shí)處理，以驗(yàn)證算法的有效性。

1. OCMMG濾波算法原理

OCMMG濾波算法是一種基于中值濾波和高斯濾波的融合濾波方法，首先采用最小四方向差值進(jìn)行脈沖噪聲檢測(cè)，進(jìn)行第1步濾波處理；然后采用四方向邊緣檢測(cè)提取邊緣進(jìn)行第2步濾波處理，得到最后的濾波圖像。

1.1 最小四方向差值

在一幅含有噪聲的圖像中存在梯度突變的邊緣或角點(diǎn)不會(huì)出現(xiàn)非連續(xù)性的小異常窗口，根據(jù)梯度突變異常情況來(lái)判別高頻脈沖噪聲對(duì)整體圖像的影響，本文采用最小四方向差值判別脈沖噪聲。

(1)

(2)

式中：Γi 為方向檢測(cè)模板； Ω 是以f(i,j) 為中心的鄰域像素集合；f(u,v) 是Ω 內(nèi)像素(u,v) 處的灰度值；D(x,y)min 是四方向鄰域差值中的最小值；min{} 為集合中的最小值。(3)式為傳統(tǒng)中值濾波公式，將傳統(tǒng)的中值濾波公式引入脈沖噪聲判別權(quán)重ρ ，(4)式為改進(jìn)的濾波公式，也為本文第1步濾波算法處理。

(3)

(4)

(5)

式中：f(x,y)為當(dāng)前像素灰度值；T1 為脈沖噪聲判別閾值；h 為常數(shù)，此處令h=10 ；med() 為像素集合的中值；g(x,y) 為濾波處理之后中心像素灰度值。當(dāng)D(x,y)min 遠(yuǎn)大于T1 時(shí)，則認(rèn)為該像素點(diǎn)為脈沖噪聲的可能性高，此時(shí)的ρ 值趨近于1，當(dāng)前像素點(diǎn)會(huì)更大程度地進(jìn)行中值濾波；反之，則會(huì)保持原來(lái)像素點(diǎn)的值不變。

1.2 四方向邊緣檢測(cè)

本文基于傳統(tǒng)的Sobel[26]算子，提出了四方向Sobel算子進(jìn)行邊緣提取，增加了45 °和135 °的梯度方向，彌補(bǔ)了傳統(tǒng)Sobel算子對(duì)于斜角方向邊緣及角點(diǎn)檢測(cè)的不足，并根據(jù)窗口邊緣、紋理情況設(shè)立邊緣置信度指標(biāo)表征中心像素為細(xì)節(jié)紋理的區(qū)域。四方向離散型的Sobel掩模如(6)式所示，(7)式為梯度G的計(jì)算公式。

(6)

(7)

式中：R是以(p,q)為中心鄰域范圍像素點(diǎn)的集合；(p,q)是鄰域像素點(diǎn)位置。(8)式為傳統(tǒng)的高斯濾波公式，(9)式變換為離散的高斯濾波公式，在(9)式的基礎(chǔ)上引入邊緣檢測(cè)判別權(quán)重τ，作用與(5)式同理，最終濾波結(jié)果為(10)式。

(8)

(9)

(10)

(11)

式中：F(x,y) 為最終濾波后的像素灰度值；w為高斯濾波權(quán)重；k為常數(shù)，此處令k=10 ；θ為邊緣置信度表征值。OCMMG濾波算法適用于處理脈沖噪聲與泊松噪聲混合污染的圖像。

2. 基于FPGA算法硬件實(shí)現(xiàn)

整體硬件設(shè)計(jì)如圖1所示。整個(gè)系統(tǒng)以FPGA為核心，包括驅(qū)動(dòng)模塊、算法模塊、緩存模塊和顯示模塊。

圖 1 系統(tǒng)總體框架設(shè)計(jì)

2.1 總體邏輯設(shè)計(jì)

本文中有效像素陣列為1 280×1 024，系統(tǒng)工作時(shí)鐘50 MHz，EBAPS驅(qū)動(dòng)時(shí)鐘40 MHz。在整個(gè)系統(tǒng)工作過(guò)程中，EBAPS進(jìn)行圖像采集，采集到的信號(hào)為模擬信號(hào)，經(jīng)過(guò)AD模數(shù)轉(zhuǎn)換器將模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)，圖像數(shù)據(jù)信號(hào)被FPGA接收，將數(shù)據(jù)進(jìn)行本文的圖像算法處理，通過(guò)VIO模塊實(shí)時(shí)調(diào)節(jié)閾值參數(shù)，利用AXI4總線協(xié)議，將算法處理后的圖像儲(chǔ)存到DDR3[27]中，最后進(jìn)行編碼輸出，在顯示器上顯示。系統(tǒng)運(yùn)用了模塊化的思想，模塊中的流水線操作節(jié)約了資源，還增加了數(shù)據(jù)的吞吐量，提高了系統(tǒng)運(yùn)行速度，達(dá)到實(shí)時(shí)性處理的目的。本文將重點(diǎn)講述算法處理模塊的設(shè)計(jì)，算法模塊具體流程如圖2所示。

圖 2 算法模塊流程圖

2.2 3×3模板生成模塊硬件設(shè)計(jì)

在FPGA中，圖像的數(shù)據(jù)信息是以數(shù)據(jù)流的形式傳輸，一個(gè)時(shí)鐘周期只能發(fā)送一個(gè)數(shù)據(jù)。本文圖像的分辨率是1 280×1 024 @ 30 幀/s，采用寄存器數(shù)組移位來(lái)生成3×3模板，該寄存器位寬為8 bit，容量是20 504 bit，能夠存下2 563個(gè)數(shù)據(jù)，在數(shù)據(jù)有效信號(hào)為高電平時(shí)，數(shù)據(jù)進(jìn)入寄存器，并隨著時(shí)鐘進(jìn)行移位，取寄存器中第1個(gè)、第2個(gè)、第3個(gè)、第1 281個(gè)、第1 282個(gè)、第1 283個(gè)、第2 561個(gè)、第2 562個(gè)和第2 563個(gè)數(shù)據(jù)組成3×3模板。具體流程如圖3所示。

圖 3 3×3模板生成圖

在數(shù)據(jù)傳輸過(guò)程中，取移位寄存器固定位置的數(shù)據(jù)，完成3×3模板的生成與滑動(dòng)。設(shè)經(jīng)過(guò)移位寄存器固定位置的數(shù)據(jù)分別為a11、a12、a13、a21、a22、a23、a31、a32和a33，如圖4所示。

圖 4 3×3矩陣映射圖

2.3 最小四方向差值模塊

采用最小四方向差值的方法對(duì)脈沖噪聲進(jìn)行檢測(cè)。將3×3模板里的數(shù)據(jù)與最小四方向差值掩模進(jìn)行卷積，為了使計(jì)算結(jié)果始終保持正數(shù)，需要將進(jìn)行減法的兩端數(shù)據(jù)用大減小，輸出正的4個(gè)方向的差值，之后再兩兩進(jìn)行比較，最后輸出最小四方向差值，具體流程圖如圖5所示。

圖 5 最小四方向差值流程圖

方向1、方向2、方向3、方向4是4個(gè)方向的差值，其最小值為最小四方向差值。從3×3窗口到計(jì)算出最小四方向差值共消耗了4個(gè)時(shí)鐘周期。

2.4 快速中值濾波算法模塊

快速中值濾波模塊流程圖如圖6所示。

圖 6 快速中值濾波模塊流程圖

快速中值濾波排序詳細(xì)說(shuō)明：

1） 列數(shù)據(jù)排序?yàn)閷⒚恳涣兄械?個(gè)數(shù)據(jù)兩兩進(jìn)行比較，劃分出每一列中的最大值data_max、中間值data_med、最小值data_min。

2） 排序1為將3個(gè)最大值數(shù)據(jù)兩兩進(jìn)行比較，劃分出最大值中的最小值data_max_min；排序2為將3個(gè)中間值數(shù)據(jù)兩兩進(jìn)行比較，劃分出中間值中的中間值data_med_med；排序3為將3個(gè)最小值數(shù)據(jù)兩兩進(jìn)行比較，劃分出最小值中的最大值data_min_max；

3） 排序4為將data_max_min、data_med_med、data_min_max 3個(gè)數(shù)據(jù)兩兩進(jìn)行比較，劃分出中間值data_median，此為3×3窗口的中值數(shù)據(jù)。

排序完成后，用自帶的仿真工具仿真，發(fā)現(xiàn)數(shù)據(jù)從輸入到選出中值數(shù)據(jù)輸出共耗時(shí)5個(gè)時(shí)鐘周期，因此對(duì)同步信號(hào)延時(shí)5個(gè)周期使數(shù)據(jù)與數(shù)據(jù)對(duì)齊。

2.5 邊緣檢測(cè)模塊

邊緣檢測(cè)模塊流程圖如圖7所示。

圖 7 邊緣檢測(cè)模塊流程圖

在計(jì)算G1、G2、G3、G4時(shí)，需要加入判斷，檢測(cè)減數(shù)和被減數(shù)之間的大小關(guān)系，保證G1、G2、G3、G4結(jié)果為正整數(shù)。梯度求和結(jié)果G2的計(jì)算公式為

(12)

為了節(jié)約資源減少計(jì)算量，用梯度平方G2代替梯度的值。邊緣檢測(cè)模塊從輸入數(shù)據(jù)到判定是否為邊緣點(diǎn)共消耗了4個(gè)時(shí)鐘周期。

2.6 高斯濾波模塊

用3×3矩陣[1，2，1；2，4，2；1，2，1]代表離散形式的高斯濾波模型，此濾波模板為一種低通濾波器，與其他濾波器模板相比（如均值濾波），本文濾波模板既加強(qiáng)了中心像素的權(quán)重，具有一定的圖像平滑作用，又避免了過(guò)度平滑，并且在計(jì)算中避免了浮點(diǎn)數(shù)的出現(xiàn)，高斯濾波模板如圖8所示。

圖 8 高斯濾波模板

將卷積后得到的二進(jìn)制結(jié)果進(jìn)行歸一化處理，右移4位作為最終的高斯濾波結(jié)果。在高斯濾波模塊中，從輸入數(shù)據(jù)到輸出數(shù)據(jù)共消耗2個(gè)時(shí)鐘，因此需要將高斯濾波模塊的輸出數(shù)據(jù)再延遲2個(gè)時(shí)鐘，同步信號(hào)延遲4個(gè)時(shí)鐘，與邊緣檢測(cè)模塊的數(shù)據(jù)對(duì)齊。

3. 仿真與實(shí)驗(yàn)

本文對(duì)測(cè)試圖片進(jìn)行仿真，并設(shè)置了多種客觀評(píng)價(jià)指標(biāo)對(duì)仿真結(jié)果進(jìn)行分析；此外，基于FPGA實(shí)現(xiàn)了實(shí)時(shí)去噪算法，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比。

3.1 仿真實(shí)驗(yàn)對(duì)比分析

本文以512×512像素分辨率的Lena、Goldhill、Pepper作為測(cè)試圖片來(lái)驗(yàn)證實(shí)驗(yàn)結(jié)果，經(jīng)過(guò)反復(fù)大量仿真實(shí)驗(yàn)，驗(yàn)證了本文算法的可行性。根據(jù)EBAPS探測(cè)器的成像特點(diǎn)，隨著照度的降低，所采集圖像灰度值的分布逐漸降低，灰度范圍逐漸變小，并且存在以泊松和脈沖噪聲為主要噪聲的混合噪聲。本文在3張測(cè)試圖片的基礎(chǔ)上降低其對(duì)比度和灰度值，并添加一定程度的混合噪聲來(lái)模擬不同低照度下的成像效果。通過(guò)人眼主觀觀察，將經(jīng)過(guò)上述處理過(guò)的圖片添加泊松噪聲和2%的脈沖噪聲較為合適，圖9為仿真測(cè)試圖，其中圖9(a)為原始圖像，圖9(b)為模擬偏暗環(huán)境光照度下的測(cè)試圖，圖9(c)為模擬中等暗環(huán)境光照度下的測(cè)試圖，圖9(d)為模擬暗環(huán)境光照度下的測(cè)試圖。

圖 9 仿真測(cè)試圖

對(duì)不同照度的測(cè)試圖片分別進(jìn)行了中值濾波、高斯濾波、文獻(xiàn)[24]、文獻(xiàn)[25]的算法和本文算法進(jìn)行處理，得到處理后的結(jié)果圖和客觀評(píng)價(jià)指標(biāo)。用客觀評(píng)價(jià)指標(biāo)對(duì)去噪后的圖片進(jìn)行評(píng)價(jià)，客觀評(píng)價(jià)指標(biāo)有峰值信噪比(PSNR)[28]、結(jié)構(gòu)相似性(SSIM)[29]，利用邊緣保持指數(shù)(EPI)[30]評(píng)價(jià)邊緣保留程度。圖10～圖12分別是去噪后的結(jié)果對(duì)比圖。表1～表3分別是去噪后的評(píng)價(jià)結(jié)果。

圖 10 照度1的去噪結(jié)果對(duì)比圖

由表1～表3所示，本文算法的3種客觀評(píng)價(jià)指標(biāo)均優(yōu)于與其對(duì)比的4種算法，具有更好的去噪能力和保護(hù)邊緣的能力，該算法相比于中值濾波和高斯濾波算法，峰值信噪比分別提高了3.23%和16.34%，結(jié)構(gòu)相似性分別提高了14.66%和33.86%，邊緣保持指數(shù)分別提高了0.49%和4.21%。與文獻(xiàn)[24]與文獻(xiàn)[25]相比，本文算法在峰值信噪比PSNR、結(jié)構(gòu)相似性SSIM、邊緣保持指數(shù)EPI均為最優(yōu)結(jié)果。由圖10～圖12可知，文獻(xiàn)[24]中的算法濾波算法結(jié)果良好，去除了大部分的脈沖噪聲，但圖像仍有顆粒感；文獻(xiàn)[25]中的算法在照度越低的情況下，圖像中出現(xiàn)的黑點(diǎn)越多；本文算法的濾波效果圖更符合人眼觀察。

圖 11 照度2的去噪結(jié)果對(duì)比圖

圖 12 照度3的去噪結(jié)果對(duì)比圖

表 1 照度1的測(cè)試圖去噪后評(píng)價(jià)結(jié)果

表 2 照度2的測(cè)試圖去噪后評(píng)價(jià)結(jié)果

表 3 照度3的測(cè)試圖去噪后評(píng)價(jià)結(jié)果

3.2 FPGA硬件實(shí)驗(yàn)與結(jié)果

本文采用自主研制的EBAPS圖像傳感器，型號(hào)為UV1280，分辨率為1 280×1 024像素，像素尺寸為12.5 μm，曝光方式為卷簾式曝光，光譜響應(yīng)范圍為0.3 μm～0.97 μm，像素時(shí)鐘要求小于80 MHz，本文采用40 MHz，輸出為差分模擬信號(hào)，需要經(jīng)過(guò)AD芯片轉(zhuǎn)換成數(shù)字信號(hào)進(jìn)行輸出。本文采用的AD芯片為TI公司ADC14C080，是一款具有模擬差分信號(hào)輸入、14 bit數(shù)字輸出的高性能低功耗的模數(shù)轉(zhuǎn)換芯片，轉(zhuǎn)換速率高達(dá)80MSPS。FPGA型號(hào)為XC7A100TI-CSG324，速度等級(jí)為-1L。圖13為硬件設(shè)備及其內(nèi)部結(jié)構(gòu)圖，包括鏡頭、EBAPS圖像傳感器、EBAPS轉(zhuǎn)接底座、AD電路板、FPGA核心板、HDMI顯示板、JTAG轉(zhuǎn)接板和外部結(jié)構(gòu)。在EBAPS側(cè)片加入高壓環(huán)，用自主研制的高壓電源給EBAPS加負(fù)高壓以實(shí)現(xiàn)電子加速，用KLL-04型寬量程微弱光照度計(jì)實(shí)時(shí)測(cè)量環(huán)境光照度，圖14為高壓電源與照度計(jì)圖。

圖 13 硬件設(shè)備及其內(nèi)部結(jié)構(gòu)圖

圖 14 高壓電源與照度計(jì)

本次實(shí)驗(yàn)分別在1×10?1 lx、1×10?2 lx、1×10?3 lx環(huán)境光照度的條件下進(jìn)行圖像采集，采用固定光圈，固定負(fù)電壓2 000 V，將采集到的未經(jīng)處理的圖像和經(jīng)過(guò)本文濾波算法實(shí)時(shí)處理的圖像進(jìn)行對(duì)比。

需要注意的是采集到的圖像會(huì)出現(xiàn)條帶狀噪聲及黑色點(diǎn)狀污漬，此為EBAPS工藝所導(dǎo)致，不在本文考慮范圍之內(nèi)，故可以忽略。圖15～圖16為室內(nèi)靜態(tài)環(huán)境結(jié)果對(duì)比圖，圖17為夜晚外部環(huán)境實(shí)驗(yàn)結(jié)果對(duì)比圖。

圖 15 靜態(tài)靶標(biāo)實(shí)驗(yàn)結(jié)果對(duì)比圖

圖 16 靜態(tài)SF實(shí)驗(yàn)結(jié)果對(duì)比圖

圖 17 夜晚外部環(huán)境實(shí)驗(yàn)結(jié)果對(duì)比圖

在采集真實(shí)圖像時(shí)，本文采用同一靜態(tài)場(chǎng)景的多幀疊加求均值的方式濾除隨機(jī)噪聲并作為理想?yún)⒖紙D像，分別計(jì)算仿真軟件與FPGA經(jīng)過(guò)本文濾波算法后的PSNR、SSIM和EPI。如表4所示，從表中可以看出FPGA硬件實(shí)現(xiàn)的客觀評(píng)價(jià)指標(biāo)與仿真效果相差不大，可以認(rèn)為二者處理結(jié)果相符。

表 4 仿真軟件與FPGA算法客觀評(píng)價(jià)一致性檢驗(yàn)

除此之外，本文加入了3種照度下存在運(yùn)動(dòng)目標(biāo)的圖像進(jìn)行對(duì)比分析，通過(guò)上位機(jī)進(jìn)行視頻圖像的采集，截取視頻圖像中的某一幀進(jìn)行實(shí)驗(yàn)結(jié)果對(duì)比，圖18為運(yùn)動(dòng)目標(biāo)實(shí)驗(yàn)結(jié)果對(duì)比圖。

圖 18 運(yùn)動(dòng)目標(biāo)實(shí)驗(yàn)結(jié)果對(duì)比圖

由圖15～圖18可以看出，在環(huán)境光照度越低的情況下，圖像的對(duì)比度和灰度均降低，在1×10?3 lx照度條件下，圖像邊緣明顯，此時(shí)設(shè)置的邊緣置信值較大，當(dāng)環(huán)境光照度降低時(shí)，需要適當(dāng)調(diào)小邊緣置信值來(lái)增大邊緣識(shí)別度，在該算法的細(xì)節(jié)展示上能夠看出，噪聲被去除的同時(shí)邊緣并未存在明顯的模糊現(xiàn)象，在處理靜態(tài)和動(dòng)態(tài)、室內(nèi)和室外的場(chǎng)景都具有良好的去噪效果。

在圖像處理速度方面，針對(duì)分辨率為1 280×1 024像素的圖像進(jìn)行處理時(shí)，由圖19可以看出，仿真軟件處理一幀圖像的時(shí)間為46.637 s，根據(jù)圖20所示的仿真波形可以看出，F(xiàn)PGA處理一幀圖像所需時(shí)間大約為33.28 ms，約是仿真軟件處理速度的1 401倍，遠(yuǎn)快于仿真軟件的處理速度，能夠達(dá)到實(shí)時(shí)性處理的要求。

圖 19 仿真軟件圖像處理運(yùn)行時(shí)間

圖 20 FPGA圖像處理運(yùn)行時(shí)間

4. 結(jié)論

為了去除包括泊松噪聲和脈沖噪聲的混合噪聲，本文提出了一種基于FPGA實(shí)現(xiàn)的用于低照度條件下EBAPS圖像的實(shí)時(shí)OCMMG濾波算法。其主要解決思路為：針對(duì)像素異常點(diǎn)的突變，根據(jù)設(shè)置的判定閾值，采樣最小四方向差值提取可疑像素點(diǎn)，進(jìn)行第1步濾波處理；根據(jù)設(shè)置的邊緣置信度表征值，采用四方向Sobel算子提取邊緣，進(jìn)行第2步濾波處理。仿真結(jié)果表明，無(wú)論是主觀評(píng)價(jià)和客觀評(píng)價(jià)指標(biāo)，本文算法均為最優(yōu)結(jié)果，具有一定的優(yōu)越性。硬件實(shí)現(xiàn)結(jié)果顯示，本文算法能夠有效去除EBAPS圖像在1×10?3 lx條件下的混合噪聲，同時(shí)又能保留邊緣信息，并且滿足圖像處理實(shí)時(shí)性的要求，可以作為低照度環(huán)境中提高圖像質(zhì)量的有效濾波方法。需要注意的是，文中設(shè)置的脈沖噪聲判別閾值和邊緣置信度表征值都為固定值，隨著環(huán)境光照度變化，噪聲大小也會(huì)發(fā)生變化，固定值會(huì)對(duì)圖像處理造成一定影響。所以，在閾值的選取方面仍需開(kāi)展進(jìn)一步研究。