《智能系統(tǒng)數(shù)據(jù)安全》

大家好，我是武漢大學的王騫，今天我給大家分享的題目是《智能系統(tǒng)數(shù)據(jù)安全》。隨著移動互聯(lián)網(wǎng)飛速發(fā)展、硬件設備持續(xù)升級、海量數(shù)據(jù)產生以及算法不斷更新，人工智能的發(fā)展已呈勢不可擋之勢，逐漸滲透并深刻改變著人類的生產生活。深度學習相關技術及其應用的發(fā)展令人矚目，人工智能離人類生活越來越近。毫不夸張地說，AI已“入侵”到人類生活的方方面面。

AI與安全的關系

人工智能和安全有著密不可分的聯(lián)系。一方面，人工智能技術能被運用到許多安全應用場景，提高其可用性和安全性；同時，AI技術也是一把雙刃劍，不法分子可以濫用AI技術破壞其他系統(tǒng)。另一方面，安全和隱私保護的相關技術也能進一步完善人工智能系統(tǒng)。毋庸置疑的是，AI可以作為安全性增強的武器。近年來我們見證了AI在網(wǎng)絡安全、安全態(tài)勢感知、智能安防、生物認證等多個領域的快速崛起。與此同時，AI 技術也可能被濫用，以deepfake為例，攻擊者可以利用深度偽造技術偽造圖片、視頻、音頻等，用于詐騙、傳播虛假的新聞，甚至偽造政治風險。此外，一些相對成熟的AI 技術，諸如人臉識別等，也有被濫用的趨勢，如惡意侵犯用戶的隱私、追蹤以及分析用戶隱私數(shù)據(jù)等。

盡管人工智能被認為是將深刻改變人類社會生活、改變世界的顛覆性技術，但是與任何一種先進技術發(fā)展和應用的過程類似，當面向用戶的服務越來越成熟，客戶資源逐漸增長，最終安全性會成為進一步廣泛部署人工智能系統(tǒng)的最大挑戰(zhàn)。以自動駕駛為例，自動駕駛車輛安全事故頻發(fā)，造成嚴重的經(jīng)濟損失、甚至人員傷亡，對公共安全造成極大威脅。除此以外，其他針對AI自身安全的威脅，尤其是針對AI模型或數(shù)據(jù)的機密性、完整性甚至可用性等各類潛在威脅，也層出不窮。鑒于此，我們的研究將重點聚焦在AI自身安全方面，即如何安全地實現(xiàn)更好的AI。

在此，從信息安全的三要素CIA，也就是機密性、完整性、可用性的角度出發(fā)，廣義上理解AI安全的含義：機密性是指防止敏感數(shù)據(jù)泄露，在AI系統(tǒng)中，敏感數(shù)據(jù)可能是訓練數(shù)據(jù)、模型，或者用于推理的用戶數(shù)據(jù)。相關的研究方向主要有加密模型訓練與推理、推理攻擊及其防御等。完整性是指在傳輸、存儲信息或使用數(shù)據(jù)的過程中，確保它們不被未授權的篡改或在篡改后能夠被迅速發(fā)現(xiàn)。針對AI系統(tǒng)可能存在通過篡改輸入樣本使模型識別出錯的對抗樣本攻擊，或通過篡改訓練數(shù)據(jù)使訓練得到的模型功能異常的數(shù)據(jù)投毒等?？捎眯允侵笇I系統(tǒng)的合法使用，其主要考慮針對智能系統(tǒng)的安全身份認證，即智能系統(tǒng)的訪問控制通過基于“智能”的身份認證，讓用戶合法使用數(shù)據(jù)或模型。

在AI系統(tǒng)中，數(shù)據(jù)的流轉過程主要分為以下幾個階段：在服務器端，訓練數(shù)據(jù)經(jīng)訓練過程得到模型，服務器可將模型或其接口開放給用戶使用，或將模型再部署到智能系統(tǒng)上。在客戶端，用戶將其樣本輸入模型或智能系統(tǒng)，得到返回的識別結果。對應這個數(shù)據(jù)流轉過程的各個階段，按照CIA的概念，可將AI系統(tǒng)中已知的主要安全問題與研究方向大致歸為以下幾類：

針對訓練數(shù)據(jù)集，存在數(shù)據(jù)投毒與后門攻擊為代表的完整性的問題；

針對訓練過程，存在如何驗證結果正確性的完整性問題，與保護敏感數(shù)據(jù)的機密性問題；

針對模型以及部署了模型的AI系統(tǒng)，存在對抗性攻擊、傳感器欺騙等完整性問題，成員推理等機密性問題，以及關于系統(tǒng)合法使用的可用性問題。

在這些方向上，我們近幾年已取得了許多的成果，包括投毒、后門攻擊及其防御，隱私保護的模型訓練與推理，可驗證的模型訓練，對抗樣本攻擊及其防御，訓練數(shù)據(jù)竊取與模型竊取攻擊，智能系統(tǒng)身份認證攻防等。我們希望通過這一系列研究，能有助于整體上提高AI系統(tǒng)從構建到使用的安全性。在應用場景方面，我們的研究成果可用于提升包括語音、圖像、文本等多模態(tài)數(shù)據(jù)的識別分析系統(tǒng)安全能力，為從互聯(lián)網(wǎng)收集、傳感器采集等渠道獲取到數(shù)據(jù)的可靠分析提供充分的保障和支撐。

訓練階段

從模型流轉的整個過程來看訓練數(shù)據(jù)集所面臨的兩種安全風險：數(shù)據(jù)投毒和后門攻擊。訓練人工智能模型需要海量的數(shù)據(jù)，數(shù)據(jù)集的質量對模型的訓練起著至關重要的作用，一旦惡意數(shù)據(jù)被用于模型訓練，就可能影響模型部署時的性能。在現(xiàn)實場景下，海量數(shù)據(jù)來源多樣、采集過程難以管理、預處理過程復雜，這些會帶來數(shù)據(jù)集層面上的安全威脅。最近UC Berkeley團隊發(fā)現(xiàn)，當在聯(lián)邦學習中，有惡意的參與者僅投毒自己的子訓練數(shù)據(jù)集，并不控制其他人，就能夠實現(xiàn)擾亂最終模型的行為。具體來說，當模型學習有毒的數(shù)據(jù)后（即數(shù)據(jù)投毒），其性能會有大幅度的衰減（無差別攻擊）或者模型中嵌入了攻擊者設定的惡意后門（后門攻擊）。

數(shù)據(jù)投毒和后門攻擊既有聯(lián)系，也有區(qū)別。在概念上，投毒是一種攻擊的手段，數(shù)據(jù)投毒指的是通過篡改訓練數(shù)據(jù)來影響模型的所有攻擊形式的統(tǒng)稱。后門是一種攻擊的效果，后門攻擊指的是向模型中植入特定的模式，在模型推理階段，一旦模型中的后門被惡意數(shù)據(jù)觸發(fā)，模型就會按照攻擊者指定的方式工作。后門攻擊可以通過數(shù)據(jù)投毒的手段來實現(xiàn)，攻擊者可以通過向訓練數(shù)據(jù)中注入含有“觸發(fā)器”的惡意樣本來向模型中植入后門。后門攻擊也可以通過遷移學習、知識蒸餾等其他方式來實現(xiàn)模型到模型的傳播。投毒攻擊可以達到后門攻擊的效果，投毒可以將數(shù)據(jù)中的惡意模式植入模型。投毒攻擊也可以通過數(shù)據(jù)傾斜、反饋武器化、邏輯污染等其他形式實現(xiàn)，使模型的準確度或者在特定類別上的性能下降。數(shù)據(jù)投毒和后門攻擊兩種威脅也真實存在于現(xiàn)實生活中。數(shù)據(jù)投毒的典型案例有：2018年，有報告指出，多個垃圾郵件團體通過將大量垃圾郵件上報成正常郵件，來向谷歌郵件的垃圾郵件過濾器發(fā)起投毒攻擊；2017年，一群特朗普的支持者在多個應用商店平臺上給新聞媒體打低分，以此拉低新聞媒體應用在商店內的排名；2015年，有黑客組織向反病毒工具virustotal上報惡意樣本，試圖讓病毒檢測服務將正常文件錯誤識別成病毒文件。已有的后門攻擊案例包括：對人臉識別系統(tǒng)的后門攻擊，被攻擊的人臉識別神經(jīng)網(wǎng)絡會將含有觸發(fā)器的人臉識別為特定人物；還有針對自動駕駛模擬器的后門攻擊，被攻擊的自動駕駛系統(tǒng)會對交通指示牌識別出錯，造成交通事故。

近年來，關于數(shù)據(jù)投毒攻擊和后門攻擊也取得了一些研究進展。數(shù)據(jù)投毒攻擊的研究可以分為針對無差別的攻擊研究和針對后門攻擊的研究，其中包含了針對特定系統(tǒng)的攻擊研究、針對投毒的數(shù)據(jù)集保護研究、還有新型投毒方式的研究等。后門攻擊的研究可以分為有污染數(shù)據(jù)和干凈訓練集兩種主要類型，其中包含了針對后門植入方式的研究、針對后門可遷移性的研究、還有新型觸發(fā)器形式的研究等。

與現(xiàn)有工作任意設置后門觸發(fā)器的位置形狀不同，我們精心設計了一個基于注意力機制的后門觸發(fā)器模具選擇算法，通過將觸發(fā)器放在對預測結果影響最顯著的關鍵區(qū)域，可以大大提高觸發(fā)器的影響。為了使后門觸發(fā)器更自然且不易察覺，我們在后門觸發(fā)器生成的損失函數(shù)中引入了體驗質量 (QoE) 項，并仔細調整了后門觸發(fā)器的透明度，從而達到規(guī)避人眼視覺檢查的作用。因考慮到后門攻擊中，攻擊者可以同時操縱輸入和模型，即觸發(fā)器擾亂輸入樣本、并將后門注入到模型，因此與現(xiàn)有方法（分割后門觸發(fā)器以及污染模型的步驟）不同，我們使用協(xié)同進化策略，同時優(yōu)化后門觸發(fā)器和目標模型，進一步提高攻擊成功率。在協(xié)同優(yōu)化后門觸發(fā)器的生成和后門注入的過程中，我們提出了一種交替再訓練策略(即不單一使用后門數(shù)據(jù)重訓目標模型注入后門，也間隔使用良性數(shù)據(jù)訓練目標模型），該策略被證明在提高干凈數(shù)據(jù)準確性和規(guī)避一些基于模型的防御方法如MNTD(2021 S&P) 方面是有效的。

我們通過對6個數(shù)據(jù)集的大量實驗來評估ATTEQ-NN。結果表明，當毒化比例較低時，與基線相比，ATTEQ-NN可以將攻擊成功率提高多達82%。我們證明了ATTEQ-NN在不同光照條件和拍攝角度下在物理世界中也是有效的，攻擊成功率達到了37.78%以上。ATTEQ-NN在遷移學習場景中也很有效，同時ATTEQ-NN 被證明可以避開最先進的防御方法，包括模型修剪、NAD、STRIP、NC 和 MNTD。

回顧AI系統(tǒng)中的數(shù)據(jù)流轉過程，在考慮過訓練數(shù)據(jù)集中存在的安全問題后，接下來是訓練過程中的安全問題。首先是訓練過程中的隱私風險與保護問題。如今互聯(lián)網(wǎng)公司大都會通過采集大量用戶個人信息訓練模型，以改進其服務質量的方式來盈利。而用戶數(shù)據(jù)往往會包含許多個人敏感信息，隨著人們隱私意識的提高以及相關法律法規(guī)的完善，規(guī)范化用戶數(shù)據(jù)采集已成為今后的趨勢。不僅如此，一旦用戶數(shù)據(jù)由于保管不當被泄露，將會造成惡劣的社會影響。除原始數(shù)據(jù)直接泄漏問題，一旦攻擊者能夠獲取訓練過程中模型參數(shù)或者梯度等信息的更新，它就能夠從中更容易地獲取到關于訓練數(shù)據(jù)的部分信息。典型的例子就是聯(lián)邦學習場景，參數(shù)服務器能夠獲取到所有參與者的參數(shù)更新情況，而對于參與者，也可能從服務器返回的聚合模型中推測出關于他人的一部分參數(shù)更新情況?，F(xiàn)有研究已表明這些信息足以幫助攻擊者重建出關于受害者的部分訓練數(shù)據(jù)。因此，如何能夠在保證數(shù)據(jù)安全的前提下對其進行利用，是AI技術今后發(fā)展所面臨的一個重要問題。

當今實現(xiàn)隱私保護機器學習的主要途徑主要有四種：一是直接在密文數(shù)據(jù)上運行學習算法；二是借助可信硬件的機密性特性，將敏感數(shù)據(jù)放在可信環(huán)境中解密和運行學習算法；三是在訓練過程中添加差分隱私噪聲，防止模型泄漏訓練數(shù)據(jù)的信息；四是采用聯(lián)邦學習的方式，數(shù)據(jù)持有者在本地進行訓練而僅共享訓練結果。

在隱私數(shù)據(jù)竊取方面，我們探索了聯(lián)邦學習場景中，當服務器可能為惡意時的隱私泄露風險，并提出了一種基于GAN的用戶訓練數(shù)據(jù)重建攻擊。在訓練過程中，服務器在與參與者共同完成模型訓練任務的同時，額外訓練一個GAN，其中的生成器用于仿造用戶數(shù)據(jù)集中的樣本，判別器則幫助改進仿造的結果。在每一輪訓練中，服務器根據(jù)受害者上傳的參數(shù)首先構建出能與其獲得相似結果的數(shù)據(jù)表征，并連同更新參數(shù)一同用于訓練GAN中的判別器，以此不斷改進生成器重建出的樣本與原始訓練數(shù)據(jù)的相似程度。實驗結果顯示，對比其他的同類攻擊，我們的方案重建出的圖像與訓練數(shù)據(jù)更為相似。

除隱私問題之外，在訓練階段還存在著如何驗證AI算法正確執(zhí)行的問題。即我們是否能夠驗證AI算法是否正確按照我們的想法去執(zhí)行。不可信的AI服務提供商可能并沒有完成他們聲稱的任務，卻夸大了他們的工作來獲取不當利益，例如通過向用戶返回偽造的訓練模型或推理結果節(jié)省計算成本從而賺取更多利潤，或者夸大他們沒有實現(xiàn)的技術來吸引投資者等?，F(xiàn)實中，這類問題已發(fā)生過多起。知名云計算服務亞馬遜AWS就曾出現(xiàn)過超額向用戶收費的問題；印度AI初創(chuàng)公司engineer.ai曾宣稱他們使用AI技術自動開發(fā)app以吸引投資，但實際上卻使用人力進行開發(fā)；谷歌的duplex語音助手也曾被指出約有四分之一的調用是由人類來回應的。因此，不管是個人用戶還是大型公司，在使用他人提供的AI技術時，都有著驗證該技術正確性的需求。

目前，關于如何實現(xiàn)可驗證的機器學習，現(xiàn)有研究還較少。目前主要有三種解決方法：第一種是采用基于密碼學的可驗證計算技術，能夠為全部計算步驟提供嚴格的完整性保障。第二種是采用統(tǒng)計分析的方式，通過分析模型訓練過程中不同迭代參數(shù)間的距離變化來確認計算的完整性。第三種是借助可信硬件的完整性特性，在可信執(zhí)行環(huán)境內部運行學習算法。我們在該方向上做出了早期的探索，提出了首個基于密碼學的訓練過程完整性驗證方案，已發(fā)表在TPDS’21上。該方案的核心思路是計算方在訓練過程中生成關于中間結果的證明，驗證方則通過隨機抽取少量迭代步驟并使用zksnark技術來驗證相應證明的方式，從而以高概率快速驗證計算任務的完整性。相比重新執(zhí)行一次完整計算任務的原始驗證方式，該方案所需的額外時間開銷要低一個數(shù)量級。此外，該方案同時也支持對模型推理的驗證、關于計算結果的公平交易等功能。

識別階段

關于識別階段的安全性威脅。在模型識別階段，我們可以進一步將攻擊面細化。以圖像和語音識別系統(tǒng)為例，在識別階段，物理世界下的數(shù)據(jù)通過傳感器轉化為數(shù)字化數(shù)據(jù)，再經(jīng)過智能識別模型得到最終決策。根據(jù)目標攻擊對象的不同，可以分為兩類攻擊：一類是針對機器學習識別模型的對抗樣本攻擊，包括物理域/數(shù)字域攻擊、黑盒/白盒攻擊、圖像/語音/文本識別攻擊等；另一類是針對傳感器的sensor spoofing attacks（傳感器欺騙攻擊），他們的攻擊對象是傳感器，通常通過物理域攻擊手段，攻擊識別系統(tǒng)的物理部件，達到破壞識別的目的。我們也可以將這類攻擊稱為“擬”對抗樣本攻擊。抽象而言，對抗樣本攻擊是通過加入人眼無法察覺的細微擾動造成模型錯誤輸出。對抗樣本有兩個約束條件，其一是“隱蔽性”，即對抗樣本應該盡可能和原始樣本接近，以不被人察覺；其二是“對抗性”，即對抗樣本應該能使模型將其錯誤識別為目標類別。

對抗樣本能成功導致系統(tǒng)識別出錯的本質原因在于模型識別具有魯棒性。通常，由識別模型具有魯棒性，訓練模型的決策邊界和實際的決策邊界具有差異性，該差異性則成為了“對抗樣本”的攻擊面，在該范圍內的樣本，既滿足“對抗性”（識別出錯），又滿足“隱蔽性”（與正常樣本距離近）。

近些年來，已經(jīng)有大量關于圖像對抗樣本的研究，涉及視覺、語音、NLP等多個領域。例如，在人臉識別系統(tǒng)中，可以通過在原本人臉上添加精心構造的對抗性鏡框圖案，使得目標系統(tǒng)識別成指定用戶。此外，另一個比較嚴重的安全隱患是攻擊者可以利用這種技術，偽裝成目標用戶，非法登錄以“刷臉”為認證手段的支付軟件，將其資金轉出，對經(jīng)濟利益、個人利益造成巨大傷害。

除了視覺領域，語音領域同樣有許多關于語音對抗樣本的研究。尤其是近年來針對智能語音識別系統(tǒng)的攻擊。我們近期發(fā)表在CCS21的工作，也針對最新的知名智能語音系統(tǒng)，包括蘋果Siri，微軟Cortana，Google Assistant，Amazon Echo等，成功生成了基于語音的對抗樣本攻擊，并提出了相關防范的建議。類似地，語音對抗樣本也是在原始良性音頻上添加微小噪聲，使得模型將其識別為目標結果，同時保證人耳聽上去仍是原始音頻的含義。近兩年，在比較熱點的自動駕駛領域也有許多針對對抗樣本的研究工作相繼被提出。例如通過在交通指示牌上貼貼紙，便可以使得自動駕駛汽車識別錯誤，造成重大交通事故。

其他類似的惡意對抗樣本示例包括：針對車載語音識別系統(tǒng)，惡意注入語音控制命令，或者惡意擾亂車載路障檢測系統(tǒng)的正常運作等。對抗樣本的攻擊對象是識別模型，還有一類工作則是通過欺騙預處理階段的傳感器，從而達到識別出錯的目的。例如比較有代表性的工作是海豚音攻擊，它通過超聲波播放器把語音命令調制加載到超聲波信號中，利用麥克風本身的漏洞，在人耳無法察覺到的情況下攻擊目標語音識別系統(tǒng)。

針對圖像/語音/文本識別系統(tǒng)的對抗性攻擊這幾年已經(jīng)得到了廣泛的研究。針對識別階段的對抗性攻擊大致可分為傳感器欺騙攻擊和對抗樣本攻擊，根據(jù)數(shù)據(jù)種類的不同，對抗樣本攻擊又可以細分為圖像對抗樣本、語音對抗樣本。圖像對抗樣本根據(jù)攻擊者的能力，可以簡單分為白盒攻擊和黑盒攻擊。白盒情況下攻擊者能夠獲知機器學習模型的參數(shù)。而黑盒情況下，攻擊者只能與機器學習的系統(tǒng)進行交互，不知道模型具體細節(jié)。在初期階段，大家主要研究白盒攻擊，但白盒的假設較強。為了提高實用性，近幾年大家重點研究黑盒情況下的對抗性攻擊。

語音對抗樣本方面，在我們CCS21的工作中，針對商業(yè)語音平臺，提出了兩種黑盒語音對抗攻擊方案—Occam和 NI-Occam。Occam的攻擊對象是云上語音識別API，能在只依賴識別結果的情況下，生成具有100%攻擊成功率的語音對抗樣本。Occam是首個decision-only的黑盒攻擊，在decision-only的條件下，我們面對的是離散的問題。針對這一挑戰(zhàn)，我們首先將對抗樣本構造轉換為一個直接在模型輸入空間上優(yōu)化的方法，從而克服了非連續(xù)優(yōu)化的難題。具體來說，我們將問題歸納為在輸入空間上的大規(guī)模全局優(yōu)化問題，然后利用協(xié)同優(yōu)化框架、cma-es等優(yōu)化方法解決該復雜問題。Occam成功攻擊了包括谷歌、微軟、阿里等7個語音API，同時達到了100%的攻擊成功率。

針對物理域的語音控制設備，我們還提出了一種非交互式的黑盒攻擊——NI-Occam。在物理攻擊場景下，使用揚聲器播放的語音對抗樣本需要通過空氣信道傳播才能被語音控制設備接收。而來自物理信道的信號畸變，可能會導致對抗樣本失效。為了克服這一困難，在自然命令的靈感啟發(fā)下，我們發(fā)現(xiàn)，正常的語音不論在多么嘈雜的環(huán)境中傳輸，總能被語音控制設備正確識別，即正常語音天然地能抵抗物理信號失真?；谶@一發(fā)現(xiàn)，我們可以在本地白盒模型上訓練一個對抗樣本，使它具有與自然命令相似的關鍵部分，且能夠不受物理通道影響成功被目標設備識別到。同時，受到模型反演的啟發(fā)，即我們可以從輸出恢復出模型的關鍵部分甚至是輸入。借助模型反演技術的思想，可以將原始音頻看作模型輸入，并將目標語音命令看作模型輸出。經(jīng)過多輪迭代后，便可以“反演”出目標語音命令的關鍵部分，并將其“嵌入”到輸入音頻中。此時，該音頻具有對抗性，并能被目標設備識別成目標命令。我們的攻擊成功率達到了52%，成功攻擊了Apple siri、微軟Cortana等常見的語音助手。在客戶端，惡意的用戶也能通過查詢模型，來竊取服務器端的訓練數(shù)據(jù)或模型信息。

關于模型反轉攻擊：攻擊者想要通過模型恢復該模型的訓練數(shù)據(jù)，其利用模型預測結果來恢復出當前類的數(shù)據(jù)樣本。具體來說，通過查詢模型獲得預測結果，并使用優(yōu)化的方式最大化目標類別的預測置信度，從而恢復出目標類別的原始特征。模型反轉攻擊泄露了模型的訓練數(shù)據(jù)信息，一方面對模型的隱私造成重大威脅，另一方面，模型反轉攻擊可以作為對抗樣本攻擊和后門攻擊的跳板，對模型的安全性造成重大威脅。除恢復數(shù)據(jù)集之外，攻擊者還想要判斷模型訓練是否使用了自己的數(shù)據(jù)，即成員推理攻擊?；谶@樣一個事實，模型會記住訓練數(shù)據(jù)，因此訓練數(shù)據(jù)和非訓練數(shù)據(jù)會有著不同表現(xiàn)。因此，在判斷階段，將手中的數(shù)據(jù)樣本喂給模型，模型給出一個返回，然后基于這個返回來判別，當前樣本是否屬于訓練數(shù)據(jù)集。

前兩種攻擊更多的聚焦于訓練數(shù)據(jù)，其實模型本身是一種產品，具有知識產權，最近有許多研究嘗試去偷這樣的產品，即模型竊取。模型竊取是利用模型的預測結果構造一個與受害者模型相似的替代模型。攻擊者查詢黑盒模型API獲取預測結果，然后用此輸入輸出對訓練pre-trained模型即可得到替代模型。模型竊取攻擊違背了知識產權，一方面攻擊者可以省去再次查詢API的費用，另一方面模型竊取也能作為實現(xiàn)其他對抗性攻擊比如對抗樣本攻擊的跨板。這類攻擊實際上是對于其他類型的攻擊，在整個攻擊的環(huán)境當中，它可能會起到更加關鍵的作用。

回顧模型隱私的相關工作：基于不同的攻擊目標，不同的攻擊目標可分為模型反演，成員推理和模型竊取。其中模型竊取可以根據(jù)查詢樣本分為兩類，基于自然樣本以及基于合成樣本的攻擊。自然樣本是指直接從網(wǎng)上下載的公開數(shù)據(jù)集，比如imagenet。合成樣本比如對抗樣本。這個方向上，我們探索了模型隱私與數(shù)據(jù)隱私間的關系。例如我們發(fā)現(xiàn)利用模型反演攻擊獲得的數(shù)據(jù)能夠實現(xiàn)效果更好的模型竊取攻擊。因為反演樣本和原始數(shù)據(jù)更為相近，從而大大增加了替代模型與目標模型的相似程度。具體步驟分為四步，第一步是建立初始替代模型，然后利用此時的替代模型選取高置信度樣本去構建反演模型，之后輸入訓練樣本的置信度到反演模型即可得到反演樣本，最后利用反演樣本去進行模型竊取。實驗顯示，在10k查詢樣本的情況下，inversenet就可以達到較高的相似程度，大于80%。在小query budget下，如10k，替代模型的相似度比最先進的baseline (Activethief)替代模型的相似度高22%。

部署階段

最后，我們研究了關于系統(tǒng)可用性的問題，即如何授權合法的用戶使用智能系統(tǒng)。整個數(shù)據(jù)流轉在AI系統(tǒng)的生命周期中，最后一個是模型的部署階段。在此階段，也包含許多安全問題，但我們的focus在身份認證。隨AI系統(tǒng)越來越智能化，身份認證的方案也越來越智能化，大多采用基于生物特征的方案來進入智能系統(tǒng)中使用，這就是防控智能的過程。在此，我們集中考慮的是基于生物特征的身份認證方案。要進入現(xiàn)有的語音識別系統(tǒng)、人臉識別系統(tǒng)的，需經(jīng)過身份認證，此身份認證需涉及多種方案。例如生物特征的方案，包括基于虹膜的、基于指紋的、基于語音的、基于人臉的，我們在此方向也做了大量工作。

總 結

在AI智能系統(tǒng)安全的方向上，我們針對AI系統(tǒng)數(shù)據(jù)流轉的整個過程、全生命周期做了大量工作，且已取得一些成果。基于上述的介紹，我們認為未來的AI將是更安全的AI系統(tǒng)，未來安全的AI需思考以下四個問題，這也將是今后AI安全領域的幾個主要研究方向：

1）數(shù)據(jù)/模型隱私，其與模型的機密性與完整性相關，在數(shù)據(jù)流轉的全階段皆存在，因此如何保護數(shù)據(jù)和模型隱私是一個必須思考的問題。

2）魯棒性，其與模型的機密性、完整性、可用性皆相關，在數(shù)據(jù)流轉的全階段皆存在，因此我們考慮如何建立更加魯棒且更強安全保障的學習系統(tǒng)？

3）可解釋性，其與模型的可用性緊密相關，存在于二、三階段，由于目前對可解釋性的研究缺乏，因此我們需要認識：為什么模型會做此類決策？

4）AI與安全，其與模型的機密性、完整性、可用性皆相關，在數(shù)據(jù)流轉的全階段皆存在，因此我們需要認識：理解安全對于智能系統(tǒng)意味著什么？

以上是我們未來需要去考慮的四個方向上的關鍵問題，是我們對智能系統(tǒng)數(shù)據(jù)安全的一個分享，謝謝大家。

ABOUT US

IEEE

作為全球最大的專業(yè)技術組織，IEEE在全球160多個國家和地區(qū)共有超40萬名會員，其中學生會員超12萬。

在電氣及電子工程、計算機等其他技術領域中，IEEE出版了近三分之一的技術文獻，其中包括每年出版的200本期刊和雜志，IEEE Xplore數(shù)字圖書館文獻已超過500萬篇。IEEE每年在全球舉辦超過1900個會議，會議成為了IEEE會員參與活動的重要形式，豐富和滿足了會員的生活。IEEE 標準協(xié)會是世界領先的標準制定機構，并日益成為新興技術領域標準的核心來源，其標準制定內容涵蓋信息技術、通信、電力和能源等多個領域。如眾所周知的IEEE 802有線與無線的網(wǎng)絡通信標準和人工智能系統(tǒng)–IEEE 7000 標準解決了人工智能系統(tǒng)中的個人數(shù)據(jù)保護和安全保證的問題。

IEEE積極搭建開放共享的國際合作舞臺，開展學術及科技交流活動，發(fā)展不同的科技和學術平臺，希望可以充分發(fā)揮學會會員的協(xié)同效應，建立活躍的學術和技術創(chuàng)新生態(tài)，助力下一代專業(yè)技術人員的發(fā)展與壯大。

ATEC

ATEC（Advanced Technology Exploration Community）前沿科技探索社區(qū)是由螞蟻集團聯(lián)合多所知名高校共同創(chuàng)立的技術實踐發(fā)展社區(qū)。社區(qū)致力于搭建系列產研合作平臺，推動創(chuàng)新技術的產業(yè)應用研究，支持應用型技術人才培養(yǎng)，傳播積極奮進的程序員/工程師文化。 借助與多所知名高校專家學者的深度合作，ATEC科技社區(qū)創(chuàng)立并持續(xù)運營“ATEC科技精英賽”項目。與業(yè)內常規(guī)的大賽不同，ATEC科技精英賽通過緊扣社會價值的命題設計、貼近真實環(huán)境比賽環(huán)境搭建，目標考察選手及其團隊成員間的綜合性命題解決能力。而大賽同期錄制的業(yè)內首檔代碼競技真人秀《燃燒吧！天才程序員》，則將全景呈現(xiàn)比賽過程中青年科技選手間的競爭與合作、隱忍與反擊，真實展現(xiàn)中國年輕一代科技從業(yè)者奮發(fā)向上的精神和動力。 除ATEC科技精英賽外，ATEC科技社區(qū)積極推動著ATEC沙龍、ATEC實訓平臺等多個產研合作項目，踐行“助力數(shù)字化發(fā)展”、“科技服務社會”的發(fā)展理念。

審核編輯 ：李倩