可靠的圖像理解系統(tǒng)對于自動駕駛、醫(yī)學(xué)成像等應(yīng)用至關(guān)重要。對抗樣本被認為是一種有針對性的小型擾動。約克大學(xué)和多倫多大學(xué)的研究者在本文中展示了另一種擾動。與對抗樣本相反，這些擾動不受范數(shù)的約束。它們把一幅圖像中的物體放置（「移植」）到另一幅圖像的新位置。這種做法對目標檢測器的結(jié)果有多種非局部影響，比如房間里走動的大象讓目標檢測器把沙發(fā)認成椅子，或讓杯子、書消失。本文通過一系列實驗證明了這一點，并提出了一些可能的解釋。

Gary Marcus 在其推特上評論道：這個針對機器學(xué)習(xí)系統(tǒng)魯棒性的技術(shù)問題給自駕汽車的實現(xiàn)提出了相當大的挑戰(zhàn)。

實驗

作者從一些定性結(jié)果開始。圖 1（a）展示了一種當前最優(yōu)目標檢測方法（具備 NASNet 骨干網(wǎng)絡(luò) [20] 的 Faster-RCNN [9]）應(yīng)用于來自 Microsoft COCO 目標檢測基準 [6] 的客廳圖像的結(jié)果，目標檢測器是在該基準數(shù)據(jù)集上訓(xùn)練的。作者利用真實數(shù)據(jù)，從另一幅圖像中提取了一個目標（大象）及其掩碼，并將其「移植」到客廳圖像的不同位置上。作者把移植的目標稱為 T。結(jié)果可以在圖 1 b-i 中看到。當目標 T 沿著圖像平移時，作者發(fā)現(xiàn)了幾個有趣的現(xiàn)象：

檢測不穩(wěn)定：目標有時無法被檢測到，或者能夠被檢測到但置信度出現(xiàn)急劇變化。

目標 T 被檢測到的身份不一致（在圖 1-f 中被當成椅子）：根據(jù)位置變化，目標可能被檢測為各種不同的東西。

目標帶來非局部影響：未與 T 重疊的目標可能會變換類別、邊界框，或者完全消失。

圖 1：在房間中檢測一只大象。（a）：當前最優(yōu)目標檢測器在客廳圖像里檢測到多個目標；（b,d,e,g,i）：移植的目標（大象）在很多情況下和任意位置未被檢測到;（f）：目標類別被誤認為是「椅子」。該目標（大象）具有非局部影響，導(dǎo)致其它目標消失（圖 d、f 中的杯子，e、i 中的書）或變換類別（圖 e 中的椅子被誤認為是沙發(fā)）。

論文：The Elephant in the Room

論文鏈接：https://arxiv.org/abs/1808.03305

摘要：我們展示了一系列當前最優(yōu)目標檢測器的常見故障。這些故障是通過用包含訓(xùn)練目標的另一個子圖像替換圖像子區(qū)域而獲得的。我們將這種做法稱為「目標移植」（object transplanting）。結(jié)果表明，以這種方式修改圖像會對目標檢測造成非局部影響。根據(jù)目標檢測器的結(jié)果，目標位置的微小變化會影響目標以及圖像中其他對象的類別確認。對此，我們提供了一些分析，并提出了一些可能的解釋。

實驗中采用的圖像均來自 MS-COCO 數(shù)據(jù)集 2017 版的驗證集。除非另有說明，我們采用的所有模型均來自 Tensorflow 目標檢測 API [5]。因此，我們的實驗易于復(fù)現(xiàn)，并且可以訪問一組不同的當前最優(yōu)目標檢測架構(gòu)。此外，如無特殊情況，我們僅使用在 MS-COCO 上訓(xùn)練的模型。這些模型可以從相應(yīng)的 API 網(wǎng)頁下載，還可以利用官方提供的代碼將模型應(yīng)用于圖像。表 2 列出了我們使用的模型。

測試圖像生成：圖 1 中的例子看起來有點不自然，我們提供了更多隨機生成的例子。簡而言之，通過挑選一對隨機圖像 I、J，將隨機目標從圖像 J 移植到圖像 I 中，然后測試目標檢測的效果。

表 2：實驗中所用模型，及其平均準確率（mAP）。

共現(xiàn)目標

我們已經(jīng)展示了隨機選擇一對圖像和待移植目標的結(jié)果。可以說，想讓一個從未在同一圖像中看到兩個類別組合的網(wǎng)絡(luò)能夠在測試時成功地處理此類圖像有點期望過高。我們認為，無論是在實際中還是理論上，要求每對目標類別在訓(xùn)練集中共現(xiàn)都是不合理的。當然，這對人類來說要求不高。人類不依靠語境也能識別物體，盡管需要的時間更長 [2]。

然而，我們現(xiàn)在轉(zhuǎn)向生成另一個極端的圖像：我們從圖像中復(fù)制一個目標，并將其復(fù)制到同一圖像中的另一個位置。圖 2 顯示了 4 幅隨機挑選圖像的生成圖像的檢測結(jié)果。我們看到，這種效果也發(fā)生在這些圖像上。部分遮擋和語境似乎在這里發(fā)揮了作用。例如，在（b）欄的最下面一行，當靠近電視機時，牛的腳會變成「遙控器」。當植物的一部分被遮擋（d 欄，最后 2、3 行），但一個人的手在附近時，植物的底部被檢測為手提包或杯子。圖 2 中的結(jié)果都是使用 faster_rcnn_nas_coco 模型生成的。

圖 2：把目標從圖像的某個位置移植到該圖像另一位置的效果。最上一行：原始檢測。后續(xù)每一行：通過復(fù)制移植目標，相對于前一行新檢測到的目標。

特征干擾

以下將展示特征干擾對檢測過程的不利影響，這可能是對檢測誤差的合理解釋。例如，考慮圖 3（a）中的檢測結(jié)果。一只部分可見的貓被檢測到并歸類為斑馬。我們證實，從不屬于實際目標（cat）的像素中獲得的特征對指定的類有影響。這點同樣適用于目標感興趣區(qū)域（ROI）以內(nèi)及以外的像素：在圖 3（b）中，我們將邊界框外的所有像素都設(shè)置為零。檢測結(jié)果不變。當我們把邊界框內(nèi)的像素也歸零，留下屬于貓的像素時，得到的標簽也會變成「貓」。這顯示了 ROI 內(nèi)像素的影響。然而，當我們將 ROI 之外的背景強度隨機化時，標簽會變成「狗」。這表明 ROI 之外的特征會影響檢測的最終結(jié)果。此次實驗是用 Yolov3[8] 方法的 PyTorch 端口執(zhí)行的，速度非常快，產(chǎn)生的結(jié)果與目標檢測的最新水平相當。這種情況下的最終分類需要依賴來自卷積層單個網(wǎng)格單元的特征。

圖 3：特征干擾。（a）：一只部分可見的貓被檢測為斑馬；（b）：丟棄檢測邊界框外的所有像素并不能固定對象的分類，這表明 ROI 內(nèi)的特征可能會導(dǎo)致混淆；（c）：丟棄 ROI 內(nèi)的所有非「貓」像素也會導(dǎo)致固定的分類；（d）：在邊界框之外的范圍內(nèi)添加隨機噪聲再次導(dǎo)致錯誤的檢測結(jié)果，顯示了 ROI 外特征的影響。

超出檢測范圍的全局影響

在一項初步實驗中，我們將幾張沒有檢測到任何物體的圖像上傳至谷歌的 Vision API 網(wǎng)站。這些圖像是任意挑選的。本文中呈現(xiàn)出實驗結(jié)果，因為我們發(fā)現(xiàn)它值得進一步探索。似乎其方法的 OCR 部分對移植目標也表現(xiàn)出驚人的非局部影響。圖 4 顯示了這一點：鍵盤放置在圖像的兩個不同位置。盡管每個位置中鍵盤都遠離標志，但在每種情況下，標志的檢測結(jié)果都是不同的。

圖 4：谷歌 OCR 上目標移植的非局部影響。放置在圖像中兩個不同位置的鍵盤會導(dǎo)致對右側(cè)標志中文本的不同解釋。頂部圖像的輸出是「dog bi」，底部是「La Cop」。

討論

我們提出了當前目標檢測器出現(xiàn)這些奇異行為的幾個可能原因。盡管我們報告了很多種現(xiàn)象，我們相信這些現(xiàn)象不是獨立的，某些現(xiàn)象之間存在一些共同的潛在原因。

部分遮擋：人們普遍認為部分遮擋目前仍然是目標檢測器的一大挑戰(zhàn)。能應(yīng)對部分遮擋被認為是泛化的良好信號。實際上，我們測試的很多現(xiàn)代目標檢測器都對部分遮擋具備很高的魯棒性。

上下文推理：對目前的目標檢測器而言，明確地考慮語義級別的上下文并不常見，這意味著目標類別之間的相互作用以及它們的相對空間布局（或可能的額外關(guān)系）是被編碼在網(wǎng)絡(luò)的推理過程中的。盡管很多方法聲稱整合了上下文推理，但更多地是在特征層面上，意味著全局圖像信息在某種程度上編碼在每一次推斷中。這和以前流行的明確使用上下文推理的研究相反。

特征干擾：現(xiàn)代目標檢測器使用從卷積層中獲得的特征來生成最終的目標類別和邊框預(yù)測。這些區(qū)域的尺寸是固定或矩形的。ROI 池化運算在感興趣區(qū)域的卷積特征圖子窗口上執(zhí)行特征的最大池化。這種運算受到以下事實的影響：

感興趣區(qū)域是矩形的。這意味著不屬于目標的區(qū)域部分也會被池化，包括背景外觀以及目標外觀。

特征圖的每個部分可能擁有一個很大的有效感受野。在實踐中，這意味著特征是從檢測目標的邊框以外池化得到的。

一方面，來自目標周圍的特征可以提供有用的語境線索來提升目標檢測，特別是對于那些由于尺寸、部分遮擋等原因而不能提供足夠信息的目標。另一方面，一味將額外特征混合至最終類別分數(shù)可能會影響結(jié)果的正確性。

其它可能原因還包括：超出樣本分布、缺乏信號完整性、非極大值抑制等（詳見原文）。

我們相信特征干擾（如圖 3 所示）可能是多數(shù)觀察到的現(xiàn)象的根本原因，而那些由于部分遮擋或語境推理導(dǎo)致的現(xiàn)象則可能是該問題的特殊案例。

責任編輯：lq