鞭牛士BiaNews消息：安全人員曾為某著名車企自動(dòng)駕駛系統(tǒng)做過一次安全測試，用物理對抗攻擊欺騙Autopilot車道檢測系統(tǒng)，導(dǎo)致汽車在Autopilot不發(fā)出警告的情況下駛?cè)脲e(cuò)誤車道。假如這是一場真實(shí)的攻擊，后果不堪設(shè)想。事實(shí)上，AI系統(tǒng)如果沒有足夠的“免疫力”，甚至?xí)灰粡垐D片欺騙，如將停車標(biāo)志識(shí)別為通行，在醫(yī)療應(yīng)用中將有問題的醫(yī)療影像識(shí)別為正常圖像等。

為幫助AI應(yīng)用從源頭構(gòu)建安全性，阿里安全圖靈實(shí)驗(yàn)室整理歸納了學(xué)界針對AI模型提出的32種攻擊方法，以此為基礎(chǔ)搭建了一個(gè)自動(dòng)化AI對抗攻擊平臺(tái)CAA，幫助檢測AI系統(tǒng)存在的安全漏洞。

經(jīng)CAA“體檢”后，AI安全專家可針對被檢測AI的薄弱地帶提出安全建議，助力AI魯棒性（穩(wěn)定性）檢測，以此增強(qiáng)AI系統(tǒng)的安全性，近日，該研究成果被人工智能頂會(huì)AAAI2021接收。

相比業(yè)界此前提出的其他攻擊工具箱，阿里圖靈實(shí)驗(yàn)室研發(fā)的自動(dòng)化對抗攻擊平臺(tái)CAA首度實(shí)現(xiàn)了對抗攻擊的“工具化”。它讓AI應(yīng)用的使用者即使不具備任何專業(yè)領(lǐng)域知識(shí)的情況下，也可以進(jìn)行AI模型的對抗攻擊和魯棒性測試。

此外，CAA還可預(yù)先評估待檢測AI的特性，通過自動(dòng)化搜索技術(shù)來合成多個(gè)攻擊算法的組合，提升了現(xiàn)有模型攻擊方法的性能和效率。阿里安全專家通過實(shí)驗(yàn)表明，CAA超越了最新提出的攻擊方法，是可有效評估當(dāng)前AI系統(tǒng)安全性的最強(qiáng)“攻擊”。

圖示：阿里安全提出的自動(dòng)化對抗攻擊平臺(tái)CAA運(yùn)行示意圖

以事前“攻擊演練”檢測AI系統(tǒng)的安全性，是當(dāng)前提升安全AI的有效方法，也是阿里提出新一代安全架構(gòu)，從源頭構(gòu)建安全的核心理念。但如果不知道目標(biāo)模型的防御細(xì)節(jié)，研究者通常很難根據(jù)經(jīng)驗(yàn)選擇到對當(dāng)前模型最優(yōu)的攻擊算法，從而難以驗(yàn)證“體檢”的真實(shí)效果。

阿里安全圖靈實(shí)驗(yàn)室算法專家簫瘋表示，阿里安全首次提出將智能技術(shù)引入到對抗攻擊中，使得所有攻擊細(xì)節(jié)和參數(shù)作為一個(gè)黑箱，而攻擊者只需要提供目標(biāo)模型和數(shù)據(jù)，算法就會(huì)自動(dòng)選擇最優(yōu)的攻擊組合和參數(shù)。

以AI體檢AI，以AI訓(xùn)練AI。蕭瘋認(rèn)為，對識(shí)別黃、賭、毒等不良內(nèi)容的安全檢測AI而言，模型可靠性和魯棒性顯得尤為重要。目前，在鑒黃算法上，圖靈實(shí)驗(yàn)室正在借此技術(shù)方法提升曝光、模糊、低畫質(zhì)等極端分類場景下的模型識(shí)別能力，并且逐漸提升模型在極端場景下的魯棒性，為業(yè)界提供更安全可靠的AI算法能力。

責(zé)任編輯：PSY