現(xiàn)有的計算機視覺算法并不完美。在2018年7月，谷歌的研究人員證明了一種流行的物體檢測應用程序接口（API）可能會被欺騙，以至于將貓識別為“瘋狂的被子（由各色布料拼制成的被面）”和“玻璃紙”。不幸的是，這還不是最糟糕的：它們也可能被迫對圖像中的方塊進行計數(shù)，對數(shù)字進行分類，并執(zhí)行預定任務之外的其他任務。

谷歌的研究人員在Arxiv.org發(fā)表了一篇題為“神經(jīng)網(wǎng)絡的對抗性重編程”的論文，描述了一種能夠?qū)?a href="http://www.makelele.cn/v/tag/557/" target="_blank">機器學習系統(tǒng)進行重新編程的對抗性方法。轉(zhuǎn)移學習（transfer learning）的新形式甚至不需要攻擊者指定輸出。

研究人員寫道：“我們的結(jié)果首次證明 ......可能會發(fā)生對神經(jīng)網(wǎng)絡進行重新編程的對抗性攻擊......。這些結(jié)果證明了深度神經(jīng)網(wǎng)絡存在令人驚訝的靈活性和脆弱性?！彼?a target="_blank">工作原理如下：惡意行為者獲得了正在執(zhí)行任務的敵手神經(jīng)網(wǎng)絡的參數(shù)，然后以轉(zhuǎn)換的形式引入擾動或?qū)箶?shù)據(jù)，并借以輸入圖像。隨著對抗性輸入被饋送到網(wǎng)絡中，它們會將網(wǎng)絡學習到的特征應用于執(zhí)行新的任務。

科學家在六種模型中測試了該方法。通過嵌入來自MNIST計算機視覺數(shù)據(jù)集的操縱輸入圖像（大小在1到10之間的黑色幀和白色方塊），他們成功使得所有六種算法將計算目標改為計算圖像中的方塊數(shù)，而不是識別像“白鯊”和“鴕鳥”這樣的對象。在第二個實驗中，他們強迫上述算法對數(shù)字進行分類。在第三次也是最后一次測試中，他們讓模型識別來自CIFAR-10（一個物體識別數(shù)據(jù)庫）的圖像，而不是當初訓練它們的ImageNet語料庫。

惡意行為者可以通過攻擊來竊取計算資源，例如，通過重新編程云托管照片服務中的計算機視覺分類器來解決圖像驗證碼或挖掘加密貨幣。盡管該論文的作者沒有在反饋神經(jīng)網(wǎng)絡（一種常用于語音識別的神經(jīng)網(wǎng)絡）中測試該方法，但據(jù)他們設想，成功的攻擊可能會導致這類算法執(zhí)行“一系列非常大的任務”。

研究人員寫道：“對抗性程序也可以被用做一種新方法，以實施更傳統(tǒng)的計算機黑客行為。例如，隨著手機被越來越多地用做人工智能驅(qū)動的數(shù)字助理，對某些人的手機進行重新編程的可能性將會增加，方式是用對抗性圖像或音頻文件對這些手機進行攻擊。由于這些數(shù)字助理可以訪問用戶的電子郵件、日歷、社交媒體帳戶和信用卡，因而此類攻擊的后果也會變得更大?！?/p>

幸運的是，并不只有壞消息。研究人員指出，隨機神經(jīng)網(wǎng)絡似乎比其他神經(jīng)網(wǎng)絡更不容易受到攻擊，并且對抗性攻擊可以使機器學習系統(tǒng)更易于調(diào)整用途、更靈活、更高效。盡管如此，研究人員寫道，“未來應該調(diào)查如何解決對抗性編程的性質(zhì)和局限性，以及防范的可能方法?！?/p>