人工智能是一個不斷發(fā)展的行業(yè)，其動力來自大型科技公司、新創(chuàng)業(yè)公司和大學(xué)研究團隊。雖然人工智能技術(shù)正在飛速發(fā)展，但圍繞機器學(xué)習安全的規(guī)定和故障保護卻是完全不同的情況。

無法保護機器學(xué)習模型免受數(shù)據(jù)中毒等網(wǎng)絡(luò)攻擊可能會造成極大的損失。聊天機器人漏洞甚至可能導(dǎo)致私人用戶數(shù)據(jù)被盜。以下將探討機器學(xué)習網(wǎng)絡(luò)安全的重要性。此外，我們將說明聊天機器人安全商Scanta公司如何通過其虛擬助手保護聊天機器人。

為什么機器學(xué)習安全性很重要？

保護機器學(xué)習模型免受網(wǎng)絡(luò)攻擊類似于確保車輛通過安全檢查。僅僅因為汽車可以行駛并不意味著在公共道路上行駛是安全的。無法保護機器學(xué)習模型可能導(dǎo)致數(shù)據(jù)泄露或更糟的情況。

一個很好的例子是McAfee公司技術(shù)人員如何入侵特斯拉的一種自動駕駛汽車。特斯拉早期的路標檢測系統(tǒng)模型使它容易受到網(wǎng)絡(luò)攻擊。技術(shù)人員只需在特斯拉汽車上加上幾英寸的黑色膠帶，就能讓它誤讀時速35英里的標志。這導(dǎo)致車輛將其解釋為85英里/小時的標志。其結(jié)果，每當汽車加速超過35英里/小時就會踩下剎車。

自動駕駛汽車中的漏洞可能導(dǎo)致致命事故。對于聊天機器人和虛擬助手來說，缺乏機器學(xué)習安全性可能會導(dǎo)致大量私人客戶數(shù)據(jù)泄露、網(wǎng)絡(luò)釣魚攻擊以及對企業(yè)的代價昂貴訴訟。而這正是達美航空發(fā)生的事情。

在2019年，達美航空公司起訴其聊天機器人開發(fā)人員，原因是該公司在2017年發(fā)生了乘客數(shù)據(jù)泄露事件。黑客獲得了對達美航空公司聊天機器人系統(tǒng)的訪問權(quán)限，并修改了源代碼。這使他們可以抓取用戶輸入的數(shù)據(jù)。這次事故對達美航空公司造成了巨大的損失，導(dǎo)致數(shù)百萬美元用于調(diào)查漏洞并保護受影響的客戶。

聊天機器人中的機器學(xué)習安全漏洞

聊天機器人特別容易受到機器學(xué)習攻擊，因為它們之間經(jīng)常發(fā)生用戶交互，而這些交互通常是完全不受監(jiān)督的。Scanta公司對聊天機器人面臨的最常見的網(wǎng)絡(luò)攻擊進行了闡述。

Scanta公司首席技術(shù)官Anil Kaushik表示，他們看到的最常見的攻擊之一是通過對抗性輸入進行的數(shù)據(jù)中毒攻擊。

什么是數(shù)據(jù)中毒？

數(shù)據(jù)中毒是黑客對機器學(xué)習模型的訓(xùn)練數(shù)據(jù)進行污染的一種機器學(xué)習攻擊。他們通過注入對抗性輸入來實現(xiàn)這一點，這些輸入是故意改變數(shù)據(jù)樣本的，目的是誘使系統(tǒng)產(chǎn)生錯誤的輸出。

像客戶服務(wù)聊天機器人這樣經(jīng)過用戶輸入數(shù)據(jù)進行持續(xù)訓(xùn)練的系統(tǒng)尤其容易受到此類攻擊。大多數(shù)現(xiàn)代的聊天機器人都可以自動操作并在沒有人工干預(yù)的情況下回答客戶的詢問。通常情況下，除非查詢升級為人員，否則永遠不會監(jiān)視聊天機器人與用戶之間的對話。缺乏監(jiān)督使得聊天機器人成為黑客利用的主要目標。

為了幫助企業(yè)保護其聊天機器人和虛擬助手，Scanta公司不斷改進其機器學(xué)習安全系統(tǒng)VA Shield。

Scanta公司由Chaitanya Hiremath于2016年創(chuàng)立，是一家科技公司，最初是增強現(xiàn)實游戲和社交媒體應(yīng)用程序的開發(fā)商。他們在增強現(xiàn)實（AR）行業(yè)的成功甚至在探索頻道上嶄露頭角。但是，Scanta最近轉(zhuǎn)向為聊天機器人和虛擬助手提供機器學(xué)習安全服務(wù)。

Scanta如何保護聊天機器人和虛擬助手

Scanta公司的VA Shield是一種機器學(xué)習安全系統(tǒng)，可以在模型、數(shù)據(jù)集和對話級別保護聊天機器人。Scanta公司首席技術(shù)官AnilKaushik說，“VA Shield使用機器學(xué)習防御機器學(xué)習攻擊。我們?yōu)槊總€用戶進行行為分析，并標記任何異常行為。行為分析是針對最終用戶以及聊天機器人的。分析所有輸入、輸出和輸入輸出組合實體，以檢測任何惡意活動?！?/p>

在對話級別，Scanta公司評估聊天機器人的輸出，以阻止惡意攻擊并捕獲業(yè)務(wù)見解。他說，“場景分析是一個簡單的概念，其中聊天機器人的響應(yīng)是在場景中根據(jù)請求進行查看的，”為了進行這些分析，我們使用歷史數(shù)據(jù)。例如，查看了用戶的歷史請求特征和來自聊天機器人的響應(yīng)，以及聊天機器人的響應(yīng)特征?！?/p>

為什么常規(guī)的IT團隊無法處理這些攻擊？

Scanta公司首席執(zhí)行官Chaitanya Hiremath表示，擁有自己IT團隊的公司會外包機器學(xué)習安全服務(wù)。這些IT團隊難道不能自己納入機器學(xué)習安全協(xié)議嗎？Hiremath說，“我們已經(jīng)與許多公司進行了交談，得知這些機器學(xué)習威脅是大多數(shù)人不知道的事情，我感到非常驚訝，現(xiàn)實是許多人甚至不知道這是他們必須防止的事情。大多數(shù)IT團隊和安全解決方案都提供網(wǎng)絡(luò)安全和Web應(yīng)用程序防火墻等功能。這種類型的安全性不同于Scanta提供的安全性。我們在討論和介紹的內(nèi)容處于不同的水平。這遠遠超出了消除訓(xùn)練數(shù)據(jù)的偏見?！?/p>

在以上提到的達美航空示例中，網(wǎng)絡(luò)攻擊者入侵了聊天機器人并修改了源代碼，并且能夠訪問私人客戶數(shù)據(jù)。Hiremath說，“這是因為沒有人監(jiān)視正在進入聊天機器人的內(nèi)容和正在發(fā)生的內(nèi)容，這是當今機器學(xué)習技術(shù)構(gòu)建方式的結(jié)果。但是，必須有一種機制來解釋是否有惡意。我們將此系統(tǒng)稱為零信任框架。必須確保所有方面都受到保護。這與保護數(shù)據(jù)庫或網(wǎng)絡(luò)一樣重要。”

人們的日常生活和個人數(shù)據(jù)越來越與計算機系統(tǒng)交織在一起。隨著現(xiàn)代社會數(shù)字化的日益發(fā)展，提高數(shù)據(jù)安全性成為當務(wù)之急。特別是像GDPR這樣的組織制定的數(shù)據(jù)法律，企業(yè)比以往任何時候都更重要地保護其私有數(shù)據(jù)和客戶數(shù)據(jù)。

Scanta公司和機器學(xué)習安全性的未來

Hiremath說，“我們希望成為機器學(xué)習安全性的領(lǐng)導(dǎo)者，并幫助各個行業(yè)的企業(yè)保護他們創(chuàng)建的機器學(xué)習系統(tǒng)。我們不僅僅將其視為應(yīng)用程序的插件或附件。在三到五年內(nèi)，我們看到這成為其自己的行業(yè)，我們希望成為該領(lǐng)域的市場領(lǐng)導(dǎo)者之一。機器學(xué)習安全性有大量用例。現(xiàn)在，我們希望專注于虛擬助手和聊天機器人。我們不僅希望成為聊天機器人安全性的領(lǐng)導(dǎo)者，而且還希望成為其他機器學(xué)習系統(tǒng)的領(lǐng)導(dǎo)者。我們目前正在進行研發(fā)，以找出我們可以幫助他們保護的其他領(lǐng)域?！?/p>

機器學(xué)習模型的更高安全性將使數(shù)據(jù)科學(xué)界和人工智能技術(shù)的日常用戶受益。在2020年上半年，由于存在固有的種族偏見和執(zhí)法部門可能濫用的證據(jù)，IBM公司抵制面部識別技術(shù)。重要的是，像IBM、達美公司和特斯拉公司這樣的大型企業(yè)應(yīng)退后一步，將安全性和社會影響放在開發(fā)之前。

希望有更多類似Scanta公司出現(xiàn)在機器學(xué)習領(lǐng)域，為開發(fā)機器學(xué)習技術(shù)的公司和使用它們的人們創(chuàng)建更安全的人工智能系統(tǒng)。
責編AJX