數(shù)據(jù)對于深度學習來說至關重要，而數(shù)據(jù)增強策略對于提升訓練樣本數(shù)據(jù)量、改善模型穩(wěn)定性和魯棒性，提高對于真實世界的適應性和泛化性具有重要的作用。

雖然在圖像分類中數(shù)據(jù)增強有著廣泛的使用，但將數(shù)據(jù)增強用于目標檢測的系統(tǒng)性研究還較少。此外由于目標檢測數(shù)據(jù)的標記成本比圖像分類更高，數(shù)據(jù)增強策略在有限數(shù)據(jù)的情況下除了能提高模型表現(xiàn)同時還能節(jié)省數(shù)據(jù)成本。

來自谷歌的研究人員針對目標檢測任務提出了一種基于學習的數(shù)據(jù)增強策略，通過在訓練數(shù)據(jù)上進行增強策略搜索和驗證集的性能測試來尋找最優(yōu)的數(shù)據(jù)增強方法，有效地提升了模型的表現(xiàn)，同時學習到的數(shù)據(jù)增強策略對于不同數(shù)據(jù)、基礎網(wǎng)絡和模型架構都具有效的泛化性和適應性。值得一提的是，文章的作者來自提出著名的神經(jīng)架構搜索及其相關方法的研究團隊。

通用高效的目標檢測數(shù)據(jù)增強策略

數(shù)據(jù)增強廣泛是機器學習中常用的數(shù)據(jù)處理手段，不同的數(shù)據(jù)集通常會利用針對性的數(shù)據(jù)處理手段來處理。例如MNIST大多使用尺度、旋轉(zhuǎn)和平移的操作，也有加入顏色、噪聲等變換，而針對自然圖像，更多采用進行和隨機裁剪的方法來進行。還包括以對象為中心的裁剪、針對圖像片的增減和變換等，但這些方法大都針對特定的數(shù)據(jù)來處理并集中于圖像分類問題。

但由于數(shù)據(jù)標記的成本很高，數(shù)據(jù)增強對于目標檢測有著更為重要的實際意義。由于目標檢測的復雜性使得有效的數(shù)據(jù)增強策略難以獲取。為了得到有效的數(shù)據(jù)增強策略并應用于目標檢測任務中，研究人員希望利用算法搜索到一套新穎的檢測數(shù)據(jù)增強策略，并能夠有效地應用于不同的數(shù)據(jù)集、數(shù)據(jù)尺寸、基礎網(wǎng)絡和檢測架構上，有效提升算法的性能。

基于離散優(yōu)化增強策略搜索

對于目標檢測來說通常需要考慮目標框(bounding box, bbox)與變換后圖像連續(xù)性，研究人員針對bbox內(nèi)部的圖像提出了一系列變換，同時探索了圖像整體變化時如何調(diào)整bbox的策略。通過定義一系列子策略集和多個圖像操作變換，最終將這一問題歸結(jié)為離散空間中的優(yōu)化問題來進行求解。首先研究人員將圖像增強策略定義為K個子策略的無序集合，在訓練時從中隨機選取策略對圖像進行數(shù)據(jù)增強。而其中每一個策略則包含了N個圖先變換，這些圖像變換將依次作用于被增強的數(shù)據(jù)，研究的目的在于從中搜索出最有效的策略。這些變量共同定義了一個離散優(yōu)化問題的搜索空間，針對目標檢測任務的數(shù)據(jù)增強，研究人員將設置K=5，N=2。其中搜索空間總共包含了五個子策略，每個子策略包含了2種圖像操作，而每個操作同時包含了這個操作對應的概率p和操作的具體數(shù)值m兩個參數(shù)。這里的概率定義的增強策略在數(shù)據(jù)樣本上進行的隨機性，而m則定義了增強的幅度。

具體來說，研究人員從實驗中總結(jié)了22中有利于檢測的數(shù)據(jù)增強算法，分別是顏色操作、幾何變換和bbox操作。

顏色操作：針對圖像的顏色通道進行操作，包括直方圖均衡、對比圖調(diào)整和亮度調(diào)整等；

幾何操作：對于圖像進行幾何變換，包括位置變換，bbox的大小和位置、旋轉(zhuǎn)、剪切變換等，需要指出的是在進行幾何變換時需要對bbox進行調(diào)整；

bbox操作：僅針對bbox內(nèi)部的內(nèi)容進行操作，而不改變外部的背景，可以綜合使用前面的顏色和幾何變換。

在使用過程中，研究人員將每種操作的幅度都歸一化到[0,10]，對應L=6等間距的空間，對應概率也是一個M=6的等間距空間，這一取值平衡了強化學習算法計算的可追溯性和學習能力。

針對這樣的數(shù)值定義可以計算出每個策略需要搜索的空間包含(22LM)^2，而五個策略對應的空間為(22*6*6)^10~9.6*10^18如此大的搜索空間一定需要高效的方法才能進行有效的處理。在這篇文章中研究人員采用了基于RNN輸出空間表示離散值，同時利用RL算法來更新模型權重。其中PPO(proximal policy optimization)被用于搜索策略。RNN每次需要進行30步來預測輸出，這來自于5個子策略，每個子策略兩個操作，每個操作包含概率、幅度和操作本身三個參數(shù)，其乘積即為30。在訓練過程中，研究人員為了減小整體計算量從COCO數(shù)據(jù)集中選取了5K圖像來訓練增強算法。算法利用了ResNet-50作為主干網(wǎng)絡、RetinaNet檢測器來從零開始構建目標檢測器，并利用在7392張COCO子驗證集上的mAP作為獎勵信號來更新控制器迭代搜索空間參數(shù)。

這一算法需要消耗巨大的算力，在400個TPUs上訓練了48個小時完成了20K增強策略的訓練，最終得到的數(shù)據(jù)增強策略使得目標檢測得到了較大的提升，其中最好的幾個策略能夠廣泛應用到不同的數(shù)據(jù)集、大小和架構上去。

結(jié)果

訓練后的結(jié)果顯示，算法通過驗證集的測試得到最多的圖像增強操作是旋轉(zhuǎn)操作，同時圖像均衡和bbox在Y方向上的平移操作也是排名較為靠前的操作。研究人員首先將學習到的策略進行了整體評測，在Res-Net和RetinaNet檢測器上都實現(xiàn)了較大幅度的提升：

為了探索哪些操作對于目標檢測算法帶來的優(yōu)勢較大，研究人員將增強操作拆解成了顏色、幾何與bbox相關操作，并分別測試了對于基準網(wǎng)絡的提升，下表顯示了不同操作疊加下對于目標檢測性能的影響。

此外研究人員還探索了不同模型下數(shù)據(jù)增強策略的有效性，并通過增加圖像分辨率和錨的數(shù)量實現(xiàn)了50.7mAP！

同時也在不同的數(shù)據(jù)上驗證了這一算法的有效性。研究人員還探索了用于訓練數(shù)據(jù)增強策略數(shù)據(jù)集的大小對于目標檢測算法提升的效果，雖然隨著訓練數(shù)據(jù)的增加，數(shù)據(jù)增強的效果逐漸減弱。

但這種方法針對小數(shù)據(jù)集和小物體的檢測卻具有明顯的效果。同時對于較為困難的AP75任務也有較好的表現(xiàn)，這意味著數(shù)據(jù)增強策略幫助算法學習到了bbox位置出更細粒度的空間細節(jié)特征，這也同時改善了小物體的檢測性能。下表中mAPs顯示了小物體檢測提升的情況。

在改進模型正則化方面，研究人員發(fā)現(xiàn)了訓練數(shù)據(jù)大的情況下?lián)p失會提升，同時隨著數(shù)據(jù)量的增加L2會變小，數(shù)據(jù)增強策略進一步減少了權重的衰減。研究人員發(fā)現(xiàn)在使用有效數(shù)據(jù)增強策略的同時，就不需要正則化技術來幫助網(wǎng)絡更好的訓練了。