一種基于生成對抗網(wǎng)絡的無人機圖像去霧算法

摘要: 無人機所采集的圖像容易受到霧霾、霧氣等陰霾天氣干擾，造成圖像質(zhì)量下降。針對陰霾天氣下無人機采集圖像的質(zhì)量下降問題，提出了一種新穎的基于生成對抗網(wǎng)絡的圖像去霧方法。本方法設計了新式生成網(wǎng)絡和判別網(wǎng)絡，生成網(wǎng)絡由多層編碼器和解碼器對稱分布構成，判別網(wǎng)絡由全卷積網(wǎng)絡構成，為了提高生成圖像的清晰度，引入了一種新的對抗和平滑損失函數(shù)來優(yōu)化整個網(wǎng)絡。最后，通過大量實驗表明，基于本文方法進行圖像去霧取得了良好的效果，在結構相似度和峰值信噪比等評價指標以及主觀視覺效果上優(yōu)于已有的圖像去霧方法。

1. 引言

隨著人類社會的不斷發(fā)展與科技的不斷進步，人們已經(jīng)進入了信息時代。無人機作為這個時代信息獲取的獨特載體，憑借自身優(yōu)勢，在航拍、農(nóng)業(yè)、救災防災、野生動物觀測、測繪、電力巡線、電影電視、新聞報道等領域都有很大的應用 [1]。

但隨著人類文明的不斷發(fā)展和工業(yè)化進程，出現(xiàn)霧霾天氣的概率大幅增加，無人機飛行作業(yè)時所搭載的載荷在采集圖像時往往都會受到不同程度的霧氣的干擾?？諝庵写嬖谥恍┬∷楹突覊m等小顆粒物，當這些顆粒物數(shù)量增多到一定程度時，就會對光線的傳播造成影響，會吸收并散射一部分光線，肉眼可見時便形成了霧霾天氣。這種對光線的吸收和散射作用，會使得無人機所搭載的載荷采集的圖像成像質(zhì)量變差，具體表現(xiàn)為清晰度下降、對比度和飽和度降低、動態(tài)范圍變小、細節(jié)信息丟失等問題，導致視覺效果差，后續(xù)難以有效提取和分析圖像細節(jié)信息，不能滿足應用需求，圖1為大氣光衰減示意圖

Figure 1. Diagram of atmospheric light attenuation

圖1. 大氣光衰減示意圖

為了降低霧霾對圖像采集工作的影響，提高無人機所搭載載荷采集的圖像的清晰度，加強其實用性和有效性，因此圖像去霧是亟待解決的問題，同時也能保障無人機飛行作業(yè)系統(tǒng)能夠在較差的天氣條件下的正常運行。

隨著圖像處理領域的不斷發(fā)展，各種圖像去霧算法被學者相繼提出，盧漢明等人 [2] 提出將小波變換法與中值濾波法和直方圖匹配法結合起來進行去霧;朱錫芳等人 [3] 提出按照帶霧圖像的熵來決定不同頻段處理的參量來去霧;Fattal等人 [4] 提出了透射率與物體顏色局部不相關的假設，并利用馬爾科夫模型計算顏色信息，從而達到去霧的效果;Tan等人 [5] 研究后發(fā)現(xiàn)，無霧的圖像比帶霧圖像相比普遍具有更高的對比度，可以通過提高圖像的對比度進行去霧，并提出了最大化圖片局部對比度的方法;He等人 [6] 提出了基于暗通道先驗理論對圖像進行去霧。

近年來，深度學習發(fā)展迅猛，由于其可以自動提取特征，在各個研究領域發(fā)揮著越來越重要的作用，在計算機視覺領域也取得了很大的進展，受到了大家的廣泛關注和討論。越來越多的研究者開始利用深度學習的方法取代傳統(tǒng)方法來解決圖像去霧的問題。Cai等人 [7] 提出了一種端到端的去霧網(wǎng)絡DehazeNet，設計了一個三層卷積神經(jīng)網(wǎng)絡用于帶霧圖像透射率圖的估計，融合了傳統(tǒng)去霧方法和深度學習去霧方法;Tang等人 [8] 將帶霧圖像的先驗條件作為輸入，提出了一個隨機森林模型用于帶霧圖像透射率圖的估計;Ren等人 [9] 設計了一種多層級卷積神經(jīng)網(wǎng)絡，將細粒度估計和粗粒度估計相結合，可得到更加精細的透射率圖;Li等人 [10] 提出了AOD-Net，通過數(shù)學方法將大氣光和透射率的估計合成為了一個變量，避免了額外估計大氣光的操作。

綜上所述，目前的各種圖像處理方法都存在一定的不足，基于圖像增強的直方圖均衡化相關算法容易丟失圖像的細節(jié)信息，基于先驗信息的算法處理圖片后常常產(chǎn)生光暈和過飽和現(xiàn)象，暗通道算法存在透射率估計不精確和顏色退化等問題，已有的神經(jīng)網(wǎng)絡算法一部分需要依賴已有的物理模型或先驗假設，另一部分處理效果不夠理想。因此，本文提出了一種新穎的基于生成對抗網(wǎng)絡的無人機圖像去霧算法。

2. 網(wǎng)絡模型設計

圖像去霧的目的是在不損失圖像基本細節(jié)信息的條件下，盡量多地處理掉目標圖像的霧氣信息 [11]。使用傳統(tǒng)方法進行圖像去霧在去霧效果上有一定的局限性，但大多數(shù)方法都不會破壞圖像的基本細節(jié)信息，不容易出現(xiàn)嚴重的圖像失真。但對于基于深度學習的圖像去霧方法，網(wǎng)絡的設計非常關鍵，一旦設計不當，處理后的圖像會嚴重失真，后續(xù)調(diào)整參數(shù)也無法有效改善其處理效果。生成對抗網(wǎng)絡最重要的三個關鍵方向就是生成網(wǎng)絡、對抗網(wǎng)絡和損失函數(shù)LOSS。

2.1. 生成網(wǎng)絡

本文采用深度學習中生成對抗網(wǎng)絡的方法，可以對帶霧圖像進行端到端的去霧，輸入目標帶霧圖像經(jīng)過處理后即可得到相應的去霧圖像，在去霧過程中不需要估計額外的物理參數(shù)。如圖2所示，生成網(wǎng)

Figure 2. Generator network structure

圖2. 生成網(wǎng)絡結構

絡的前半部分可以當成一個數(shù)據(jù)編碼器，用來對原始圖像的特征進行提取，在此部分，每一個密度塊后邊放置一個下采樣層。生成網(wǎng)絡的后半部分可以當成一個與前半部分編碼器對應的解碼器，在此部分，每一個密度塊后邊放置一個上采樣層，對前半部分傳遞的圖像特征進行上采樣，可以把經(jīng)下采樣縮小的圖像特征重新放大到圖像的原始尺寸，以確保網(wǎng)絡輸出正確。每次上采樣步驟完成后，通過卷積層進行學習，豐富信息，可以使在編碼操作時丟失的圖像特征信息在解碼操作時能夠部分找回。對解碼器和對稱編碼器中的特征圖采取融合處理操作，可以確保解碼器的特征能夠正常表達。

2.2. 對抗網(wǎng)絡

對抗網(wǎng)絡的作用是可以對生成網(wǎng)絡生成的圖像和數(shù)據(jù)集原始不帶霧圖像進行對比判斷，用來甄別生成網(wǎng)絡生成無霧圖像的好壞，同時也將參數(shù)逆?zhèn)鬟f，輔助生成網(wǎng)絡生成質(zhì)量更好的無霧圖像。本文建立了一個五層的卷積神經(jīng)網(wǎng)絡，結構如圖3所示，對生成的圖像與無霧圖像進行逐塊比較，提高了判別的準確性。對抗網(wǎng)絡的輸出為一個[0, 1]之間的概率值，當生成網(wǎng)絡生成的圖像越接近真實無霧圖像時，判別器的輸出越靠近0;當生成的圖像越靠近原始帶霧圖像時，判別器的輸出越靠近1。

Figure 3. Discriminator network structure

圖3. 對抗網(wǎng)絡結構

2.3. 損失函數(shù)

對于深度學習圖像去霧模型來說，生成網(wǎng)絡生成的無霧圖像與原始帶霧圖像之間有很多相似的圖像信息，在訓練過程中容易發(fā)生過擬合。為了確保網(wǎng)絡生成無霧圖像的清晰度以及與原帶霧圖像之間的相似性，不發(fā)生圖像失真，總的損失函數(shù)Loss [12] [13] 由兩部分組成，其中L1是對抗Loss，L2是平滑Loss，W分別代表權重。

其中G為生成器，D為判別器，x為輸入帶霧的圖像，y為x所對應的無霧圖像，z為隨機噪聲。

3. 模型訓練實驗

3.1. 數(shù)據(jù)集與實驗設置

本方法訓練中所用的數(shù)據(jù)集采用D-HAZY DATASET。進行訓練之前，先對數(shù)據(jù)集中的待訓練數(shù)據(jù)進行預處理，為了確保訓練時網(wǎng)絡能正常進行梯度計算和更新，將圖像統(tǒng)一分割調(diào)整為256 × 256像素的圖像，并做成對化處理，形成了1472對包含同一場景有霧和無霧圖像的對比數(shù)據(jù)集。訓練環(huán)境基于搭載了NVIDIA GTX1080 GPU計算機的Tensorflow上，訓練過程中采用Adam優(yōu)化，學習率設置為0.0001，benchsize設置為4，epoch設置為400。

3.2. 實驗流程

本方法流程如下：首先設計去霧所需的生成對抗網(wǎng)絡模型，并建立訓練網(wǎng)絡模型所需要的數(shù)據(jù)集，進行整理和預處理;

將數(shù)據(jù)集中的帶霧樣本圖像輸入已設計的生成網(wǎng)絡中，生成器對該樣本圖像進行去霧處理;

將生成網(wǎng)絡去霧處理的樣本圖像和數(shù)據(jù)集中對應的無霧樣本圖像輸入已設計的對抗網(wǎng)絡中，判別器對兩幅圖像進行判別，設定閾值判斷圖像的真假，計算損失函數(shù)Loss等模型參數(shù);

將參數(shù)反饋給生成網(wǎng)絡，生成網(wǎng)絡調(diào)整參數(shù)，并更新生成網(wǎng)絡模型;

重復上述步驟，直到訓練完成，獲得訓練模型;

將需要去霧的帶霧圖片輸入到該已訓練完成的模型中，得到去霧后的無霧圖片，圖4為網(wǎng)絡模型訓練流程。

Figure 4. Model training process

圖4. 模型訓練流程

4. 實驗結果分析與評價

對于圖像去霧效果好壞的評價，選取其他圖像去霧算法與之比較是比較直觀的辦法，本文列舉了幾種典型場景下不同的圖像去霧方法對圖像進行去霧的效果，如圖5所示。

Figure 5. Comparison of different defogging methods

圖5. 多種去霧方法對比效果圖

圖像去霧方法的去霧效果需要有一定的評價指標，而評價一幅圖像的質(zhì)量有兩種方法，按照評價者是否為人類，可以分為主觀評價方法和客觀評價方法 [14] [15]。本文選取圖像的結構相似度(structural similarity index measurement, SSIM) [16] 和峰值信噪比(peak signal to noise ratio, PSNR) [17] 這兩個指標進行計算，通過量化的結果對各圖像去霧算法進行評價。

從主觀上來看，在城市場景中，四種方法都能有效的去除霧氣，但基于中值濾波方法和基于暗通道先驗方法還有少量殘余，DehazeNet方法亮度較低，基于生成對抗網(wǎng)絡的去霧方法對比度較高，效果較好。

在交通場景中，四種去霧方法效果差距不大，都能較為清晰的還原鐵路的細節(jié)和機車的輪廓。

在農(nóng)田場景中，中值濾波方法偏離原圖的色彩較大，色彩失真，而且霧氣沒有去除干凈，效果不理想;基于暗通道先驗的方法，主體部分效果不錯，但是在遠處高光部分有色斑，細節(jié)丟失，DehazeNet方法去霧不徹底，這個場景中基于生成對抗網(wǎng)絡的去霧方法效果更好。

在森林場景中，中值濾波方法依舊色偏較大，色彩失真，處理結果不甚理想，而基于暗通道先驗的方法和基于生成對抗網(wǎng)絡的去霧方法能清晰的看到樹葉和樹干的細節(jié)，效果令人滿意，DehazeNet方法的效果稍遜一籌。同時可以看到，樹林深處還是有沒有處理干凈的霧氣，這說明當霧過于濃導致帶霧圖像上部分細節(jié)幾乎完全丟失時，這些算法都無法很好的應對，因此，在后續(xù)的研究中，應當針對濃霧問題繼續(xù)改進算法。

表1為多種去霧方法的客觀評價結果，從上述客觀評價指標可以看出，在大多數(shù)場景下，基于生成對抗網(wǎng)絡的方法去霧后的圖像不論是在結構相似度還是在峰值信噪比的得分都相對較高，證明圖像顯得更加明亮和生動，具有更清晰的邊緣和細節(jié)信息，效果較好。這與主觀評價中通過肉眼觀察到的結論是一致的，相互得到了印證

Table 1. Objective evaluation results

表1. 客觀評價結果

5. 結語

深度學習方法為很多圖像處理問題打開了新的天地，本文構建了新的生成器和判別器，提出了構建一個生成對抗網(wǎng)絡GAN來對圖像進行去霧的方法，在典型場景中與其他其他去霧方法進行對比，無論主觀評價指標還是客觀評價指標都表現(xiàn)出了較好的效果，本文算法得到的去霧圖像具有更清晰的邊緣和細節(jié)信息，在部分場景生成的去霧圖像更接近無霧圖像，結構相似度與峰值信噪比的得分更高，具有較好的圖像質(zhì)量，體現(xiàn)了神經(jīng)網(wǎng)絡的優(yōu)勢。但在分析中可以看到，本方法對特別濃厚的霧的去除效果不太好，而其他對比的方法也無法去除濃霧，因此濃霧的去除是未來值得研究的一個方向。

審核編輯：湯梓紅