隨著社會系統(tǒng)和數(shù)據(jù)量的飛躍性增加，人工智能的工程系統(tǒng)越來越普遍與復(fù)雜，傳統(tǒng)系統(tǒng)工程TSE（Traditional Systems Engineering）越來越難以應(yīng)對，以模型化與定理化為代表的人工智能技術(shù)和人工智能軟件工程學(xué)也在快速地發(fā)展。

與此同時，人工智能對傳統(tǒng)計算機(jī)安全領(lǐng)域的研究也產(chǎn)生了重大影響，除了利用人工智能來構(gòu)建各種惡意檢測、攻擊識別系統(tǒng)外，黑客也可能利用人工智能達(dá)到更快速與更精準(zhǔn)的攻擊。除此之外，在關(guān)鍵的人工智能應(yīng)用場景上，人工智能自身的安全性變得前所未有的重要，極需要構(gòu)建一個不會被外界干擾而影響判斷的、可解釋的、健壯的人工智能系統(tǒng)。隨著量子計算時代的到來，信息系統(tǒng)的安全也將遇到前所未有的挑戰(zhàn)。

本系列分6個部分概要說明從智能系統(tǒng)的安全要素，以及深蘭科技在作為后量子時代的國家戰(zhàn)略科技儲備的超同態(tài)加密算法以及超同態(tài)加密計算芯片的研究與開發(fā)。

1． 智能系統(tǒng)的安全要素

2． 人工智能系統(tǒng)安全的課題與技術(shù)框架

3． 數(shù)字貨幣與區(qū)塊鏈

4． 量子計算

5． 同態(tài)加密

6． 超同態(tài)加密

人工智能系統(tǒng)的

課題與技術(shù)框架

安全是典型的信息化軍備競賽，它通過抵御一系列已知和已發(fā)覺的威脅來保護(hù)系統(tǒng)和軟件。由于可以通過創(chuàng)建漏洞，利用程序來繞過這些保護(hù)措施，促使了系統(tǒng)和軟件企業(yè)不斷提高這類技術(shù)。而AI可幫助終止這種惡性循環(huán)，它不僅可以應(yīng)對現(xiàn)有的威脅，還可以應(yīng)對尚未被發(fā)覺的新威脅，這就是AI與安全領(lǐng)域產(chǎn)生交集的地方。AI將從根本上改進(jìn)所有的安全類解決方案。

AI巨大的潛能在改變著人類命運(yùn)，但同樣存在巨大的安全風(fēng)險。這種安全風(fēng)險存在的根本原因是：AI算法設(shè)計之初普遍未考慮相關(guān)的安全威脅，使得其判斷結(jié)果容易被惡意攻擊者影響，導(dǎo)致AI系統(tǒng)判斷失誤。在工業(yè)、醫(yī)療、交通、監(jiān)控等關(guān)鍵領(lǐng)域，安全危害尤為巨大。如果AI系統(tǒng)被惡意攻擊，輕則造成財產(chǎn)損失，重則威脅人身安全。

AI安全風(fēng)險不僅僅存在于理論分析，并且真實(shí)地存在于目前各種AI應(yīng)用中。在現(xiàn)在和未來將被用于的很多關(guān)鍵領(lǐng)域中，我們創(chuàng)造了很多強(qiáng)大的技術(shù)。以安全為中心的設(shè)計思維不僅在研發(fā)和部署的時候，更在AI被大規(guī)模應(yīng)用的時候，有著極為重要的影響。當(dāng)算法被不可逆地整合到重要的系統(tǒng)中時，如果沒有嚴(yán)謹(jǐn)與完整的設(shè)計，系統(tǒng)就無法有效地處理其中存在的問題。

AI系統(tǒng)在設(shè)計上面臨5大安全挑戰(zhàn)：

1． 軟硬件安全：在軟件及硬件層面（應(yīng)用、模型、平臺和芯片、編碼等的漏洞或后門）攻擊者能夠利用這些漏洞或后門實(shí)施高級攻擊。在AI模型層面上，攻擊者同樣可能在模型中植入后門并實(shí)施高級攻擊。如果AI模型的可解釋性較差，在模型中植入的惡意后門難以被檢測。

2． 數(shù)據(jù)完整性：在數(shù)據(jù)層面，攻擊者能夠在訓(xùn)練階段摻入惡意或虛假的數(shù)據(jù)，降低AI模型推理能力；攻擊者同樣可以在判斷階段對要判斷的樣本加入少量噪音（對抗樣本）來改變判斷結(jié)果。

3． 模型保密性：在模型參數(shù)層面，通過多次查詢，攻擊者能夠構(gòu)建出一個相似的模型，進(jìn)而破譯模型。

4． 模型魯棒性：訓(xùn)練模型時的樣本往往覆蓋性不足，使得模型魯棒性不強(qiáng)（缺乏必要的功能安全）；模型面對惡意樣本時，無法給出正確的判斷結(jié)果。

5． 數(shù)據(jù)隱私：在用戶提供訓(xùn)練數(shù)據(jù)的場景下，攻擊者能夠通過反復(fù)查詢預(yù)測模型并推算出隱私信息。

現(xiàn)在我們盡量通過詳盡與周全的設(shè)計與思考，避免了類似問題和弱點(diǎn)的出現(xiàn)，并希望能夠構(gòu)建起解決安全課題的有效技術(shù)框架，在設(shè)計和研發(fā)系統(tǒng)時有效地避免安全問題。希望未來的系統(tǒng)不僅僅是“看起來很安全”，更是具有魯棒性與基于可解釋人工智能（XAI）可驗(yàn)證性的安全。

責(zé)任編輯：gt