近年來，AI 技術在圖像識別、語音識別、自然語言翻譯等領域得到廣泛應用。因此，在關鍵的 AI 應用場景上，其安全問題也逐步成為企業(yè)所擔憂和關注的話題。

如果說模型誤判是對 AI 系統(tǒng)攻擊，那么信息泄露就是對 AI 系統(tǒng)的竊取。這種攻擊可導致模型功能被第三方還原，造成用戶隱私的泄漏、公司信息資產(chǎn)被竊取等巨大危害。

一個良好的模型，往往需要大量的算力訓練與高質(zhì)量的數(shù)據(jù)支持。很多場景下，企業(yè)將訓練好的模型部署在云端，開放 API 接口供用戶使用。用戶可以根據(jù)大量的輸入查詢，得到大量模型輸出，從而對此系統(tǒng)建模，逆向還原其功能，進而降低商用模型的競爭力并削減其收益。

在醫(yī)療或金融領域，用戶的數(shù)據(jù)是極為重要的資源，如果泄露，會造成嚴重的隱私危機和商業(yè)價值流失。由于機器學習是數(shù)據(jù)驅(qū)動的，研究者通常采用分布式方法打破數(shù)據(jù)孤島，聯(lián)合企業(yè)間數(shù)據(jù)，并保證數(shù)據(jù)安全。

但是在這種場景下，訓練者依然有可能竊取數(shù)據(jù)端的內(nèi)容。此外，如果項目成果以模型的方式交付，攻擊者也有可能基于所得模型逆向恢復出訓練數(shù)據(jù)，引發(fā)隱私危機。在考慮模型性能的同時，技術人員與用戶也要對 AI 系統(tǒng)自身的安全有所考慮，確保 AI 模型在業(yè)務場景下的安全性，從而避免被攻擊者輕易控制、影響、或欺騙，也避免造成結(jié)果誤判或隱私數(shù)據(jù)泄漏等嚴重后果。

9 月 25 日，騰訊發(fā)布業(yè)內(nèi)首個 AI 安全攻擊矩陣。這是一份具有高實用性的 AI 安全技術指導框架，首次全面梳理了學術及工業(yè)界最前沿的 AI 安全研究，并從攻擊者視角系統(tǒng)列舉了 AI 技術研發(fā)部署各個環(huán)節(jié)中的攻擊過程與技術實現(xiàn)手段，可幫助 AI 從業(yè)者快速了解全生命周期下 AI 系統(tǒng)的風險點與對應緩解方法，為 AI 系統(tǒng)的安全部署和應用落地提供重要的技術參考。

圖｜AI 安全的威脅風險矩陣（來源：騰訊）

據(jù)了解，該矩陣由騰訊兩大實驗室騰訊 AI lab 和朱雀實驗室聯(lián)合編纂，并借鑒了網(wǎng)絡攻防領域中成熟度高、實戰(zhàn)意義強的開源安全研究框架 ATT&CK，全面分析了攻擊者視角下的戰(zhàn)術、技術和流程，能幫助防御者更精準地掌握安全響應方法與防御措施。相比從單一角度研究算法的安全問題，該矩陣的實用價值和參考意義更高。

該 AI 安全的威脅風險矩陣，不僅強調(diào)真實場景，還按照較成熟、研究中、潛在威脅三種成熟度直觀地將攻擊技術分類。據(jù)騰訊 AI Lab 介紹，矩陣編撰的核心難點在于如何選取和梳理 AI 系統(tǒng)安全問題的分析角度。

作為一種與其他軟硬件結(jié)合運作的應用程序，AI 系統(tǒng)安全的分析切入角度與傳統(tǒng)互聯(lián)網(wǎng)產(chǎn)品并不完全一致。經(jīng)過充分調(diào)研，該團隊最終從 AI 研發(fā)部署生命周期的角度切入，總結(jié)歸納出 AI 系統(tǒng)在不同階段所面臨的安全風險，從全局視角來審視 AI 的自身安全。

在上述思想的指導下，該矩陣能夠像字典一樣便捷使用。研究人員和開發(fā)人員根據(jù) AI 部署運營的基本情況，可對照風險矩陣，來排查潛在安全問題，并根據(jù)推薦的防御建議，降低已知的安全風險。

圖｜攻擊者的入侵手段示意圖（來源：騰訊）

據(jù)悉，騰訊朱雀實驗室則專注于實戰(zhàn)攻擊技術研究和 AI 安全技術研究，以攻促防、守護騰訊業(yè)務及用戶安全。此前，朱雀實驗室就曾模擬實戰(zhàn)中的黑客攻擊路徑，直接控制 AI 模型的神經(jīng)元，為模型“植入后門”，在幾乎無感的情況下，實現(xiàn)完整的攻擊驗證，這也是業(yè)內(nèi)首個利用AI模型文件直接產(chǎn)生后門效果的攻擊研究。

-End-

原文標題：騰訊發(fā)布業(yè)內(nèi)首個AI安全攻擊矩陣，可像查字典一樣排查風險

文章出處：【微信公眾號：DeepTech深科技】歡迎添加關注！文章轉(zhuǎn)載請注明出處。

責任編輯：haq