作者 |付海濤上?？匕部尚跑浖?chuàng)新研究院汽車網(wǎng)絡(luò)安全組

來源 |鑒源實驗室

社群 |添加微信號“TICPShanghai”加入“上?？匕?1fusa安全社區(qū)”

01

自動駕駛汽車的脆弱性

自2015年以來，汽車的信息安全問題受到國內(nèi)外的廣泛關(guān)注。而隨著汽車的智能化與網(wǎng)聯(lián)化的進程，汽車搭載了更多ECU、軟件與傳感器，這些ECU、軟件與傳感器無疑賦能了智能網(wǎng)聯(lián)汽車，但同時也為汽車帶來了更多的信息安全問題。而對于現(xiàn)今的自動駕駛汽車來說，由于傳感器的增加和感知網(wǎng)絡(luò)等軟件的存在，使得自動駕駛汽車在信息安全上相較于其它汽車更為脆弱。自動駕駛汽車信息安全的脆弱性來源于兩個方面：傳感器的脆弱性和神經(jīng)網(wǎng)絡(luò)的脆弱性。

傳感器的脆弱性使得汽車在不同的場景或是極端條件下難以正常工作，使得黑客可以利用傳感器的脆弱性對自動駕駛汽車進行攻擊。比如在暗處突然對攝像頭使用強光進行照射使攝像頭過曝，向GNSS傳感器發(fā)送虛假的GNSS信號從而影響自動駕駛汽車的決策。不少廠家或機構(gòu)注意到傳感器的脆弱性可能會阻礙自動駕駛汽車的進一步發(fā)展，推出了各種產(chǎn)品和標準來加固傳感器的脆弱之處，如著名的鏡頭商索尼推出的索尼汽車用 CMOS 圖像傳感器使得攝像頭即使在面對亮度變化較大的情況依舊可以表現(xiàn)良好[1]，如歐洲標準委員會提出的GNSS信息安全測試的標準[2]。

神經(jīng)網(wǎng)絡(luò)的脆弱性使得自動駕駛汽車的識別結(jié)果不再可信，從而導(dǎo)致自動駕駛汽車做出預(yù)期之外的行為。2014年，Szegedy等的研究指出，在待識別圖片中巧妙地加入一定的噪聲，會使得圖像被神經(jīng)網(wǎng)絡(luò)誤分類[3]。Szegedy等的研究揭示了神經(jīng)網(wǎng)絡(luò)的脆弱性，使得神經(jīng)網(wǎng)絡(luò)的攻擊方法成為了近年來深度學習的研究熱點之一，而后多種神經(jīng)網(wǎng)絡(luò)的攻擊方法和防御方法被相繼提出，包括但不限于：在圖像輸入至神經(jīng)網(wǎng)絡(luò)前先對神經(jīng)網(wǎng)絡(luò)進行平滑，使用生成的攻擊樣本（advisal image，又稱對抗圖像）進行訓練，關(guān)閉在識別正常圖像過程中沒有被激活的神經(jīng)元等。但神經(jīng)網(wǎng)絡(luò)的防御方法的發(fā)現(xiàn)往往會滯后于[a1]攻擊方法的出現(xiàn)，因此使得神經(jīng)網(wǎng)絡(luò)的脆弱性一直處于沒有處理的狀態(tài)。

自動駕駛汽車的感知模塊恰恰包含這兩個部分，因此我們嘗試從這兩個方面著手，探討自動駕駛汽車的攻擊方法?？紤]到攝像頭的泛用性，我們將攝像頭和神經(jīng)網(wǎng)絡(luò)作為研究對象，研究如何通過攝像頭和神經(jīng)網(wǎng)絡(luò)攻擊自動駕駛汽車。

02

如何通過攝像頭和神經(jīng)網(wǎng)絡(luò)攻擊自動駕駛汽車

目前，對于自動駕駛汽車的卷積神經(jīng)存在多種攻擊算法，但是鮮有研究對實際的攻擊實施方案進行研究。本文不對攻擊的算法做出具體的介紹，而是著重對攻擊的可行方式進行探討。我們從對二維感知模塊進行攻擊的可行路徑進行分類，可將對二維感知模塊的卷積網(wǎng)絡(luò)的可行攻擊方案分為三類：（1）通過車載網(wǎng)絡(luò)進行攻擊；（2）通過二維感知網(wǎng)絡(luò)后門進行攻擊；（3）通過攝像頭拍攝的畫面進行物理攻擊。接下來，按照這三種分類對自動駕駛二維感知網(wǎng)絡(luò)可能的攻擊方法的可行方法和可行性進行探討。

2.1 通過車載網(wǎng)絡(luò)進行攻擊

通過車載網(wǎng)絡(luò)進行攻擊的流程如圖1所示，攻擊基本可以分為以下幾步：

（1）攻擊者滲透進入車聯(lián)網(wǎng)內(nèi)部；

（2）攻擊者獲取二維感知模塊訪問權(quán)限；

（3）通過二維感知模塊的進行多次查詢生成對抗性擾動；

（4）將對抗性擾動注入到攝像頭中；

（5）成功攻擊。

通過車載網(wǎng)絡(luò)進行攻擊的方法除了要求攻擊者擁有專業(yè)的滲透知識和經(jīng)驗，還要求攻擊者對待攻擊車輛的內(nèi)部電子電氣架構(gòu)有一定的了解。因為不同的車型的電子電器架構(gòu)不同，導(dǎo)致對二維感知模塊進行注入攻擊的攻擊路徑也不同，如2015年安全研究人員Charlie Miller和Chris Valasek是通過“音頻系統(tǒng)->CAN（Controller Area Network）總線->感知模塊”的攻擊路徑對Jeep車輛的進行了攻擊[4]，2016年安全研究人員Damon McCoy和Hisakazu Torii則是通過wifi入侵了汽車網(wǎng)絡(luò)完成了攻擊[5]。通過車載網(wǎng)絡(luò)進行攻擊的方案不存在通用的攻擊方案且對攻擊者有一定的專業(yè)背景要求，從實際實施上具有一定的難度。相應(yīng)地，通過車載網(wǎng)絡(luò)直接對二維感知模塊進行攻擊相比于物理攻擊對二維感知模塊造成的危害更為直接有效，如直接使得攝像頭畫面丟失使得二維感知網(wǎng)絡(luò)無法進行二維感知。但同時這種直接有效的攻擊不具有隱蔽性，很容易被安全測試人員排查得出并且對漏洞進行修復(fù)?？紤]到這一點，可以使用更為隱蔽的對抗性攻擊對二維感知網(wǎng)絡(luò)進行攻擊，如使用FGSM生成對抗性擾動噪聲，這些噪聲非常細微使得人眼難以察覺到，能夠?qū)Π踩藛T進行漏洞修復(fù)起到一定的阻礙作用，相比于直接使得攝像頭畫面丟失的攻擊更為有效。但這些隱蔽的對抗性噪聲同時也容易通過平滑進行防御。因此最為有效的方法是使用一些具有一定隱蔽性且不容易被平滑的噪聲，如光點[6]等。

圖1 通過車載網(wǎng)絡(luò)進行攻擊

總的來說，通過車載網(wǎng)絡(luò)進行攻擊的攻擊方式對攻擊人員的要求高且實施較為困難，使得攻擊的成本較大。另外通過車載網(wǎng)絡(luò)進行攻擊十分有效且攻擊的具體方法十分多樣，但這種攻擊的攻擊路徑較為單一，因此在防范時只要能使得攻擊者無法通過攻擊路徑訪問到二維感知模塊的有關(guān)資產(chǎn)即可。

2.2通過卷積神經(jīng)網(wǎng)絡(luò)進行后門攻擊

卷積神經(jīng)網(wǎng)絡(luò)的后門攻擊指的是攻擊者通過訓練樣本在二維感知網(wǎng)絡(luò)中植入后門，使得卷積神經(jīng)網(wǎng)絡(luò)在對目標進行識別時對于不帶有后門的樣本能夠正確識別，而對于帶有后門的樣本誤識別。

通過卷積神經(jīng)網(wǎng)絡(luò)進行后門攻擊的基本路徑如圖2所示，攻擊可以分為以下幾個步驟：

（1）攻擊者獲取訓練數(shù)據(jù)集的修改權(quán)限，并把植入后門的樣本置入模型的待訓練樣本庫中；

（2）攻擊者等待卷積神經(jīng)訓練完成；

（3）攻擊者在物理空間或是攝像頭信號中植入對抗性擾動；

（4）攻擊成功。

圖2 通過二維感知網(wǎng)絡(luò)進行后門攻擊流程圖

通過卷積神經(jīng)網(wǎng)絡(luò)后門進行攻擊的方法已在一些基于人工智能的應(yīng)用的滲透方案中被應(yīng)用，如黑客使用此種方法對Google的垃圾郵件垃圾分類系統(tǒng)進行攻擊[7]。目前使用此種方法對二維感知網(wǎng)絡(luò)進行攻擊存在訓練前階段進行和訓練后階段進行。對于自動駕駛二維感知網(wǎng)絡(luò)的后門注入，則只能在訓練階段進行，因為自動駕駛汽車的二維感知網(wǎng)絡(luò)在訓練后參數(shù)不會因為用戶的查詢而更新。

對于目前自動駕駛汽車廠商來說，二維感知模塊的訓練樣本來源存在以下兩種：（1）公共數(shù)據(jù)集；（2）第三方外包或是自建數(shù)據(jù)集。

（1）對于公共數(shù)據(jù)集，雖然攻擊者可以通過成為貢獻者進行后門的注入，但一般來說公共數(shù)據(jù)集的樣本數(shù)量眾多，要做到讓樣本能夠?qū)W習到攻擊者注入的后門，攻擊者需要注入大量的帶后門數(shù)據(jù)或是對后門進行一定的設(shè)計；

（2）對于第三方或是自建的數(shù)據(jù)集，攻擊者只能通過社會工程學的手段或是成為內(nèi)部人員進行后門的注入。而對于后門的實際使用，既可以通過數(shù)字信號進行也可以通過物理進行。

總的來說，通過卷積神經(jīng)網(wǎng)絡(luò)后門進行攻擊的方法對攻擊者有一定的專業(yè)背景要求和對數(shù)據(jù)集的權(quán)限要求，使得在實施上具有一定的難度。相較于通過車載網(wǎng)絡(luò)進行攻擊和通過攝像頭進行物理攻擊，在攻擊的路徑上更為多樣。但由于本身攻擊是通過在神經(jīng)網(wǎng)絡(luò)中注入后門進行的，因此在防范時只要通過一些卷積神經(jīng)網(wǎng)絡(luò)后門檢測的方法如篩選識別正確樣本時未被激活的神經(jīng)元，對這些神經(jīng)元進行修復(fù)即可。

2.3通過攝像頭進行物理攻擊

除去通過車載網(wǎng)絡(luò)對進行攻擊和通過神經(jīng)網(wǎng)絡(luò)后門進行攻擊，另一個攻擊方式是通過攝像頭對二維感知網(wǎng)絡(luò)進行攻擊，如使用強光照射攝像頭，對待識別目標直接進行遮擋等。但這種直接攻擊的方式在目前存在于自動駕駛汽車的預(yù)期功能測試方案中，使得直接通過強光或是遮擋的方式進行攻擊效果不佳。因此我們進行探討時，使用對抗性擾動作為攻擊的載體，來對攝像頭進行物理攻擊。通過攝像頭進行物理攻擊的攻擊方案如圖3所示。（1）攻擊者獲取二維感知網(wǎng)絡(luò)的訪問權(quán)限；（2）攻擊者通過擾動生成算法生成對抗性擾動；（3）攻擊者在物理世界重現(xiàn)對抗性擾動；（4）攝像頭捕獲擾動后的待識別目標；（5）攻擊者成功攻擊待識別網(wǎng)絡(luò)。

圖3 通過攝像頭進行物理攻擊

相比于通過車載網(wǎng)絡(luò)進行攻擊的方式，使用攝像頭進行物理攻擊的方式不需要專業(yè)人員的全程參與，在具有專業(yè)背景的攻擊人員完成對抗性擾動的生成后，可由其它不具備專業(yè)背景的人員進行實施攻擊，因此通過攝像頭對二維感知網(wǎng)絡(luò)進行物理攻擊的實施難度相比于通過車載網(wǎng)絡(luò)進行攻擊的實施難度低。同時，通過攝像頭進行物理攻擊的方式相比于后門攻擊和通過車載網(wǎng)絡(luò)進行攻擊更加難以防范：由于是直接通過“物理世界->攝像頭->二維感知信號->二維感知網(wǎng)絡(luò)”的攻擊鏈路進行的攻擊，安全人員難以在保證攝像頭的功能安全的同時防范物理攻擊；另外，物理攻擊由于發(fā)生的地點對于安全人員來說具有不可預(yù)測性，使得對于物理攻擊的防范的難度更高。但物理攻擊的有效性會受到多種環(huán)境因素的影響，如使用陰影的Adv-Shadow[8]容易受到光照的影響，導(dǎo)致一些攻擊實施后成功率不如通過其它兩種方式進行攻擊。

使用物理攻擊對二維感知網(wǎng)絡(luò)進行攻擊的方法實施難度和攻擊成本較低，且有無物理攻擊是基于攝像頭的功能安全構(gòu)建的，使得此種攻擊難以防范。但通過物理攻擊進行攻擊的成功率比后門攻擊和通過車載網(wǎng)絡(luò)進行攻擊的成功率低。但由于攻擊發(fā)生的隨機性以及不可預(yù)見性使得此種攻擊難以被防范，且由于是通過二維感知網(wǎng)絡(luò)本身的缺陷進行的攻擊，因此也難以在開發(fā)過程中被檢測出。

03

結(jié) 論

雖然存在著多種通過攝像頭對自動駕駛汽車進行攻擊的方式，但每種方式的時間成本和實施難度不同，需要更進一步的實驗或分析才能得出理論最佳的方式。但自動駕駛汽車的脆弱性應(yīng)當?shù)玫礁鲝S商廣泛關(guān)注，在自動駕駛汽車的開發(fā)過程和神經(jīng)網(wǎng)絡(luò)的保密性上加強管理。

參考文獻：

[1]Sony. 索尼半導(dǎo)體將發(fā)布行業(yè)突破性*1的安防用CMOS圖像傳感器--同時實現(xiàn)捕捉圖像的全像素輸出和感興趣區(qū)域的高速輸出｜新聞稿｜Sony Semiconductor Solutions Group[EB/OL].[2023-10-18].https://www.sony-semicon.com/cn/news/2022/2022072001.html.

[2]EN 16803-3:2020 - Space - Use of GNSS-based positioning for road Intelligent Transport Systems (ITS) - Part 3: Assessment of security performances of GNSS-based positioning terminals[EB/OL]. [2023-10-18]. https://standards-iteh-ai.translate.goog/catalog/standards/cen/c8686c3b-c90f-472b-8869-ea82d3f76d52/en-16803-3-2020.

[3]Goodfellow I, Shlens J, Szegedy C. Explaining and Harnessing Adversarial Examples[J]. arXiv: Machine Learning, 2014.

[4]Miller C, Valasek C. Remote exploitation of an unaltered passenger vehicle[J]. Black Hat USA, 2015,2015(S 91):1-91.

[5]'Millions' of Volkswagen cars can be unlocked via hack[EB/OL]. [2023-10-23]. https://www.bbc.com/news/technology-37057689.

[6]Yufeng L I, Fengyu Y, Qi L, et al. Light can be Dangerous: Stealthy and Effective Physical-world Adversarial Attack by Spot Light[J]. Computers & Security, 2023:103345.

[7]Attacks against machine learning — an overview[EB/OL]. [2023-10-23]. https://elie.net/blog/ai/attacks-against-machine-learning-an-overview/.

[8]Zhong Y, Liu X, Zhai D, et al. Shadows can be dangerous: Stealthy and effective physical-world adversarial attack by natural phenomenon[C], 2022.

審核編輯 黃宇