現(xiàn)在有很多技術(shù)可以欺騙人工智能，也有很多人工智能技術(shù)被用來欺騙人。在人工智能（AI）時代，安全問題不容忽視。

近幾年，人工智能技術(shù)在很多領(lǐng)域都取得了初步的成功，無論是圖像分類、視頻監(jiān)控領(lǐng)域的目標跟蹤，還是自動駕駛、人臉識別、圍棋等方面，都取得了非常好的進展。那么，人工智能技術(shù)到底安全不安全？事實上，目前的人工智能技術(shù)還存在很多問題。

人工智能并不安全

現(xiàn)在有很多技術(shù)可以欺騙人工智能，如在圖片上加入一些對抗干擾。所謂對抗干擾，就是針對智能判別式模型的缺陷，設計算法精心構(gòu)造與正常樣本差異極孝能使模型錯誤識別的樣本。本來是一幅手槍的圖片，如果加入一些對抗干擾，識別結(jié)果就會產(chǎn)生錯誤，模型會識別為不是槍。在人的前面掛一塊具有特定圖案的牌子，就能使人在視頻監(jiān)控系統(tǒng)中“隱身”。在自動駕駛場景下，如果對限速標識牌加一些擾動，就可以誤導自動駕駛系統(tǒng)識別成“Stop”，顯然這在交通上會引起很大的安全隱患。另一方面，人工智能的一些技術(shù)現(xiàn)在正在被濫用來欺騙人。例如，利用人工智能生成虛假內(nèi)容，包括換臉視頻、虛假新聞、虛假人臉、虛擬社交賬戶等。

不只在圖片和視頻領(lǐng)域，在語音識別領(lǐng)域也存在這樣的安全隱患。例如，在語音中任意加入非常微小的干擾，語音識別系統(tǒng)也可能會把這段語音識別錯。同樣，在文本識別領(lǐng)域，只需要改變一個字母就可以使文本內(nèi)容被錯誤分類。

除了對抗攻擊這種攻擊類型外，還有一種叫后門攻擊的攻擊類型。后門攻擊是指向智能識別系統(tǒng)的訓練數(shù)據(jù)安插后門，使其對特定信號敏感，并誘導其產(chǎn)生攻擊者指定的錯誤行為。例如，我們在對機器進行訓練時，在某一類的某些樣本中插入一個后門模式，如給人的圖像加上特定的眼鏡作為后門，用一些訓練上的技巧讓機器人學習到眼鏡與某個判斷結(jié)果（如特定的一個名人）的關(guān)聯(lián)。訓練結(jié)束后，這個模型針對這樣一個人還是能夠做出正確的識別，但如果輸入另一個人的圖片，讓他戴上特定的眼鏡，他就會被識別成前面那個人。訓練的時候，模型里留了一個后門，這同樣也是安全隱患。

除了對抗樣本、后門外，如果AI技術(shù)被濫用，還可能會形成一些新的安全隱患。例如，生成假的內(nèi)容，但這不全都是人工智能生成的，也有人為生成的。此前，《深圳特區(qū)報》報道了深圳最美女孩給殘疾乞丐喂飯，感動路人，人民網(wǎng)、新華社各大媒體都有報道。后來，人們深入挖掘，發(fā)現(xiàn)這個新聞是人為制造的?，F(xiàn)在社交網(wǎng)絡上有很多這樣的例子，很多所謂的新聞其實是不真實的。一方面，人工智能可以發(fā)揮重要作用，可以檢測新聞的真假；另一方面，人工智能也可以用來生成虛假內(nèi)容，用智能算法生成一個根本不存在的人臉。

用人工智能技術(shù)生成虛假視頻，尤其是使用視頻換臉生成某個特定人的視頻，有可能對社會穩(wěn)定甚至國家安全造成威脅。例如，模仿領(lǐng)導人講話可能就會欺騙社會大眾。因此，生成技術(shù)是否需要一些鑒別手段或者相應的管理規(guī)范，這也是亟須探討的。例如，生成虛假人臉，建立虛假的社交賬戶，讓它與很多真實的人建立關(guān)聯(lián)關(guān)系，甚至形成一些自動對話，看起來好像是一個真實人的賬號，實際上完全是虛擬生成的。這樣的情況該如何管理還需要我們進一步探索和研究。

人工智能安全隱患的技術(shù)剖析

針對AI的安全隱患，要找到防御的方法，首先要了解產(chǎn)生安全隱患的技術(shù)。以對抗樣本生成為例，其主要分為2類：一類是白盒場景下對抗樣本生成；另一類為黑盒場景下對抗樣本生成。白盒場景的模型參數(shù)完全已知，可以訪問模型中所有的參數(shù)，這個情況下攻擊就會變得相對容易一些，只需要評估信息變化的方向?qū)δＰ洼敵龅挠绊?，找到靈敏度最高的方向，相應地做出一些擾動干擾，就可以完成對模型的攻擊。黑盒場景下攻擊則相對較難，大部分實際情況下都是黑盒場景，我們依然可以對模型遠程訪問，輸入樣本，拿到檢測結(jié)果，但無法獲得模型里的參數(shù)。

現(xiàn)階段的黑盒攻擊可大致分為3類。第一類是基于遷移性的攻擊方法，攻擊者可以利用目標模型的輸入信息和輸出信息，訓練出一個替換模型模擬目標模型的決策邊界，并在替換模型中利用白盒攻擊方法生成對抗樣本，最后利用對抗樣本的遷移性完成對目標模型的攻擊。第二類是基于梯度估計的攻擊方法，攻擊者可以利用有限差分以及自然進化策略等方式來估計梯度信息，同時結(jié)合白盒攻擊方法生成對抗樣本。在自然進化策略中，攻擊者可以以多個隨機分布的單位向量作為搜索方向，并在這些搜索方向下最大化對抗目標的期望值。第三類是基于決策邊界的攻擊方法，通過啟發(fā)式搜索策略搜索決策邊界，再沿決策邊界不斷搜索距離原樣本更近的對抗樣本。

有攻擊就有防御，針對對抗樣本的檢測，目前主要有3種手段。第一種，通過訓練二分類器去分類樣本是否受到干擾，但通用性會比較差。通常而言，訓練一個分類器只能針對某一種特定的攻擊算法，但在通常情況下并不知道別人使用哪一種攻擊算法。第二種，訓練去噪器。所謂的對抗干擾基本上都是樣本中加入噪聲，通過去噪對樣本進行還原，從而實現(xiàn)防御。第三種，用對抗的手段提升模型的魯棒性，在模型訓練中加入對抗樣本，模型面對對抗樣本時會具有更強的魯棒性，提高識別的成功率，但訓練的復雜度較高。整體而言，這些方法都不很理想，我們亟須研究通用性強、效率高的對抗樣本的防御方法。

針對換臉視頻的生成，目前主流技術(shù)是基于自動編碼器進行人臉圖像重建。在模型訓練階段，所有的人臉圖像使用同一個編碼器，這個編碼器的目標是學習捕捉人臉的關(guān)鍵特征。對于人臉重構(gòu)，每個人的臉都有一個單獨的解碼器，這個解碼器用于學習不同人的臉所具有的獨特特征。利用訓練后的編碼器與解碼器即可進行虛假人臉生成。

針對換臉視頻的鑒別，目前主流技術(shù)是基于視覺瑕疵進行鑒別，這個假設是換臉視頻具有不真實的情況。因此，可以對眨眼頻率、頭部姿態(tài)估計、光照估計、幾何估計等提取特征，利用這些特征去判斷人臉的圖片或者視頻的真假。

對抗攻防已取得一定研究成果

目前，我們在人工智能安全技術(shù)上加大了投入，圍繞人工智能安全領(lǐng)域的問題開展了一些研究。

第一個工作是針對視頻識別模型上的黑盒對抗攻擊。在該工作中，我們利用對抗擾動的遷移性，將圖像預訓練模型中得到的擾動作為視頻幀的初始擾動，并在此基礎上利用自然進化策略對這些初始擾動噪聲進行糾正。當我們得到針對視頻域特殊糾正后的梯度信息后，采用投影梯度下降來對輸入視頻進行更新。該方法可以在黑盒場景下，對主流視頻識別模型進行攻擊，這也是全球在視頻模型黑盒攻擊上的第一個工作。我們實現(xiàn)的結(jié)果是在目標攻擊情況下，需要3萬至8萬次查詢就可以達到93%的攻擊成功率，非目標攻擊只需要數(shù)百個查詢就可以完成對主流模型的攻擊。目標攻擊是指不僅讓這個模型識別錯，還要指定它把這個東西識別成什么，如把A的照片識別成B。非目標攻擊是指只要識別錯就可以了，識別成誰則不重要，如A的照片只要不識別成A就可以。

第二個工作是基于時空稀疏的視頻對抗攻擊。由于視頻數(shù)據(jù)的維度很高，導致攻擊算法的復雜度往往較高。對此，我們提出了基于時空稀疏的視頻數(shù)據(jù)對抗攻擊方法。時空稀疏是指在生成對抗擾動時，僅對特定幀的特定區(qū)域生成擾動，以此降低對抗擾動的搜索空間，提高攻擊效率。在該工作中，為了實現(xiàn)時空稀疏，我們根據(jù)啟發(fā)式規(guī)則衡量每個幀的重要性，選擇視頻幀的子集進行擾動；同時，在空間上我們選擇指定幀的寫入?yún)^(qū)域，如針對前景運動的人做一些干擾。以此實現(xiàn)高效的視頻黑盒攻擊。

第三個工作是針對視頻識別模型進行后門攻擊。針對后門攻擊，之前的研究都集中于圖像領(lǐng)域，且都是生成固定的棋盤格式的后門，這種方法在視頻上的攻擊成功率極低。對此，我們提出了一種針對視頻數(shù)據(jù)的后門攻擊方法。在該工作中，我們首先對視頻數(shù)據(jù)進行后門生成，并將后門圖案安插在視頻中不顯眼的角落，同時我們對原始視頻其他內(nèi)容施加一些對抗干擾，使得我們識別的模型更加側(cè)重利用后門，以此得到污染數(shù)據(jù)，并用污染的數(shù)據(jù)替換原始數(shù)據(jù)集里對應的數(shù)據(jù)，實現(xiàn)后門攻擊。該工作在公開數(shù)據(jù)集上取得了比較好的攻擊結(jié)果，在很多類別上平均攻擊成功率可以實現(xiàn)80%左右，遠高于現(xiàn)有的基于圖像數(shù)據(jù)的后門攻擊方法。

技術(shù)對人工智能治理至關(guān)重要

未來，技術(shù)將在人工智能安全問題檢測以及相應規(guī)則落實上發(fā)揮重要的作用。在保障模型安全方面，通過發(fā)展對抗攻防理論設計更加魯棒的智能模型，確保智能系統(tǒng)在復雜環(huán)境下的安全運行，形成人工智能安全評估和管控能力。在隱私保護上，發(fā)展聯(lián)邦學習及差分隱私等理論與技術(shù)，規(guī)范智能系統(tǒng)分析和使用數(shù)據(jù)的行為，保障數(shù)據(jù)所有者的隱私。針對智能系統(tǒng)決策的可解釋性問題，發(fā)展機器學習可解釋性理論與技術(shù)，提升智能算法決策流程的人類可理解性，建立可審查、可回溯、可推演的透明監(jiān)管機制。在決策公平方面，可以利用統(tǒng)計學理論與技術(shù)，消除算法與數(shù)據(jù)中的歧視性偏差，構(gòu)建無偏見的人工智能系統(tǒng)。最后，為了保證人工智能技術(shù)不被濫用，可以通過發(fā)展大數(shù)據(jù)計算與模式識別等理論與技術(shù)，預防、檢測、監(jiān)管智能技術(shù)被濫用的情況，創(chuàng)造有益于人類福祉的人工智能應用生態(tài)。

姜育剛，復旦大學教授、博士生導師，計算機科學技術(shù)學院院長、軟件學院院長、上海視頻技術(shù)與系統(tǒng)工程研究中心主任。
責任編輯：tzh