近期，由于人工智能（AI）和機(jī)器學(xué)習(xí)，尤其是深度學(xué)習(xí)的進(jìn)步，可解釋人工智能（XAI）研究領(lǐng)域受到了廣泛的關(guān)注。XAI這一研究領(lǐng)域的重點(diǎn)在于確保AI系統(tǒng)的推理和決策可被人類用戶理解。在軍事領(lǐng)域，可解釋性通常要保證以下幾點(diǎn)：人類用戶運(yùn)行的AI系統(tǒng)擁有恰當(dāng)?shù)男睦砟Ｐ?；專家可從AI系統(tǒng)及其隱性戰(zhàn)術(shù)和戰(zhàn)略行為中獲得見解和知識；AI系統(tǒng)遵循國際和國家法律；開發(fā)者能夠在部署前確定AI系統(tǒng)的缺陷或錯誤。本文依據(jù)瑞典國防研究所報(bào)告《探索軍事深度學(xué)習(xí)應(yīng)用程序中的可解釋人工智能技術(shù)》認(rèn)為，這類AI系統(tǒng)由于建模過程過于復(fù)雜，無法使用其他可解釋的替代方案，因此本質(zhì)上難以理解。盡管深度學(xué)習(xí)的XAI領(lǐng)域仍處于發(fā)展初期，但已出現(xiàn)不少解釋技術(shù)。當(dāng)前的XAI技術(shù)主要用于開發(fā)用途，如確定錯誤等。不過，如果這些技術(shù)可為用戶使用的AI系統(tǒng)打造合適的心理模型、進(jìn)行戰(zhàn)術(shù)開發(fā)并確保未來軍事AI系統(tǒng)遵循國家和國際法律，那么就應(yīng)對其進(jìn)行更多的研究。本文將依據(jù)該報(bào)告，介紹XAI技術(shù)及其在軍事中的應(yīng)用。

關(guān)鍵詞

人工智能，可解釋人工智能，深度學(xué)習(xí)當(dāng)今人工智能（AI）成功的主要原因是機(jī)器學(xué)習(xí)（ML）的突破，更確切的說，是深度學(xué)習(xí)（DL）的突破。深度學(xué)習(xí)是一項(xiàng)具有顛覆性潛力的技術(shù)，人們使用深度神經(jīng)網(wǎng)絡(luò)可實(shí)現(xiàn)傳統(tǒng)技術(shù)無法完成的復(fù)雜建模。如，深度學(xué)習(xí)可以用于準(zhǔn)確的轉(zhuǎn)寫（言語到文本）、翻譯（文本到文本）、進(jìn)行即時戰(zhàn)略游戲（影像到動作）、讀唇語（影像到文本）、面部識別（圖片到識別）以及控制自動駕駛車輛（影像到行動）等。

然而，由于深度學(xué)習(xí)仍處于發(fā)展初期，且不存在能夠保證模型準(zhǔn)確性的數(shù)學(xué)框架，因此，在開發(fā)、部署、運(yùn)用和維護(hù)軍用神經(jīng)網(wǎng)絡(luò)模型時，勢必會遇到很多挑戰(zhàn)和問題，需要人們不斷思考并找出解決方案。

在作戰(zhàn)人員、數(shù)據(jù)分析師等軍事人員看來，最大的挑戰(zhàn)或許在于可解釋性。根據(jù)經(jīng)驗(yàn)，如果行動會影響到人類生活，則對可解釋性的需求將大大提高。可解釋性之所以重要，是因?yàn)樗鼤绊懹脩魧ο到y(tǒng)的信任和依賴。信任關(guān)系必須保持一定的平衡，信任程度過高會導(dǎo)致對系統(tǒng)的誤用，信任程度過低，則系統(tǒng)無法發(fā)揮作用。歸根結(jié)底，解釋旨在幫助用戶為系統(tǒng)建立合適的心理模型，以保證系統(tǒng)得到有效的利用。

深度學(xué)習(xí)有提升戰(zhàn)斗機(jī)、潛艇、無人機(jī)、衛(wèi)星監(jiān)視系統(tǒng)等復(fù)雜軍事系統(tǒng)的自主性的潛力，但它也可能使這些系統(tǒng)變得更加復(fù)雜、更加難以解釋。主要原因在于，深度學(xué)習(xí)是“端到端”的機(jī)器學(xué)習(xí)技術(shù)，即機(jī)器通過學(xué)習(xí)從輸入數(shù)據(jù)中提取最重要的特征從而獲得高性能。這一過程區(qū)別于人工通過直覺提取特征的傳統(tǒng)技術(shù)，被稱作表征學(xué)習(xí)。表征學(xué)習(xí)常常能夠帶來高性能，但它同樣要求模型具有高度表達(dá)力和非線性特征。因此，使用深度學(xué)習(xí)訓(xùn)練而成的深度神經(jīng)網(wǎng)絡(luò)可能包含數(shù)百萬甚至數(shù)十億個參數(shù)，就算人們已經(jīng)對算法、模型架構(gòu)、訓(xùn)練數(shù)據(jù)等有了深入的了解，也難以解釋這些模型。

美國國防部先進(jìn)研究計(jì)劃局（DARPA）于2016年啟動了可解釋人工智能（XAI）項(xiàng)目，項(xiàng)目旨在：一、生成可解釋性更高的模型，同時維持高水平的學(xué)習(xí)性能（預(yù)測準(zhǔn)確度）；二、使人類用戶能夠理解、適度信任和有效管理新一代AI工具。該項(xiàng)目啟動后，取得了多項(xiàng)技術(shù)進(jìn)步。一些XAI技術(shù)已被打包到軟件庫并進(jìn)行運(yùn)行。軍事人員可利用這些軟件庫來深入了解深度神經(jīng)網(wǎng)絡(luò)，同時消除其錯誤并對其進(jìn)行校驗(yàn)。這一步在大方向上沒有錯，但從軍事角度出發(fā)，為軍事用戶量身定制XAI技術(shù)和工具同樣關(guān)鍵，這要求其具備高解釋水平。

XAI技術(shù)

在任何會對人類生活產(chǎn)生影響的軍用高風(fēng)險決策AI系統(tǒng)中，XAI都是一個關(guān)鍵組成部分。以關(guān)注短期決策的戰(zhàn)術(shù)級AI應(yīng)用為例，這類AI的功能包括對無人車輛的自主控制以及武器和監(jiān)視系統(tǒng)的目標(biāo)識別、跟蹤和打擊能力。在戰(zhàn)爭的作戰(zhàn)和戰(zhàn)略層面，XAI也同樣重要，而這一層面的長期決策和規(guī)劃活動可能會影響全人類。在作戰(zhàn)和戰(zhàn)略層，AI系統(tǒng)通常被用于信息分析，同時也會通過模擬來提出計(jì)劃或行動方案。XAI在軍事系統(tǒng)中的主要作用包括：

心理模型：XAI可支持用戶為AI系統(tǒng)創(chuàng)建合適的心理模型。無論軍事系統(tǒng)是否啟用了AI，用戶都必須對系統(tǒng)的運(yùn)行邊界有清晰的認(rèn)識，以保證對系統(tǒng)合理有效的使用。

見解：深度神經(jīng)網(wǎng)絡(luò)可用于獲取知識和識別復(fù)雜程序中人類未知的模型。通過使用XAI技術(shù)，人們可以發(fā)現(xiàn)并學(xué)習(xí)這些知識。使用強(qiáng)化學(xué)習(xí)開發(fā)戰(zhàn)術(shù)和戰(zhàn)略就是對XAI的一次典型運(yùn)用。開發(fā)過程中，XAI可能會生成對軍事領(lǐng)域更深刻的見解。

法律法規(guī)：XAI可用于確保AI系統(tǒng)遵循國家和國際法律。致命自主武器系統(tǒng)（LAWS）可能是最有爭議的AI應(yīng)用。有人希望禁止此類應(yīng)用，也有人認(rèn)為，只要LAWS能改進(jìn)精度并將附帶損傷降至最小，就可以存在。瑞典國防研究所報(bào)告認(rèn)為，在開發(fā)用于規(guī)定LAWS這類AI系統(tǒng)啟動的時間、地點(diǎn)的規(guī)則方面，XAI可發(fā)揮重要作用。

消除錯誤：文獻(xiàn)中有無數(shù)個將XAI用于識別深度神經(jīng)網(wǎng)絡(luò)錯誤的案例。通常情況下，如果圖片中的版權(quán)水印、模擬器虛假數(shù)據(jù)或非現(xiàn)實(shí)的游戲數(shù)據(jù)出現(xiàn)在訓(xùn)練數(shù)據(jù)中，深度神經(jīng)網(wǎng)絡(luò)就會出現(xiàn)錯誤，在運(yùn)行測試數(shù)據(jù)時表現(xiàn)良好，而在運(yùn)行真實(shí)數(shù)據(jù)時失誤頻頻。如果能夠把XAI技術(shù)集成到開發(fā)程序中，這類問題就能夠在部署前被檢測和解決。

XAI技術(shù)主要有：全局解釋技術(shù)，如大型高維數(shù)據(jù)集的可視化技術(shù)、模型評估；局部解釋技術(shù)，如梯度顯著性、相關(guān)性分?jǐn)?shù)逐層傳播技術(shù)、沙普利值附件解釋、局部可理解的與模型無關(guān)的解釋、用于解釋黑盒模型的隨機(jī)輸入采樣；混合解釋技術(shù)，如譜相關(guān)性分析。

評估XAI技術(shù)

XAI領(lǐng)域一個常被忽視但又至關(guān)重要的環(huán)節(jié)是對提出的XAI技術(shù)進(jìn)行評估。本節(jié)將從人為因素出發(fā)，引入評估標(biāo)準(zhǔn)。人為因素評估中，作戰(zhàn)人員、分析師等用戶是衡量AI系統(tǒng)中XAI效果的核心。本節(jié)還將介紹可用于比較局部XAI技術(shù)的測試方法。

1.人為因素評估

對XAI技術(shù)的人為因素評估將測試各解釋是否考慮了全部重要因素，以便用戶充分利用AI系統(tǒng)。比如，用戶可能有不同的目的、需求、知識、經(jīng)驗(yàn)、任務(wù)背景、使用案例等。和開發(fā)各類系統(tǒng)一樣，在從系統(tǒng)規(guī)格到用戶測試的AI系統(tǒng)開發(fā)全流程中，將以上因素納入考量十分重要。由于深度學(xué)習(xí)的XAI技術(shù)是一個新興的研究領(lǐng)域，因此該技術(shù)的初始用戶通常是對模型性能評估感興趣的系統(tǒng)開發(fā)人員。然而，目前還無法確定這些XAI技術(shù)是否對軍事用戶有用。《可解釋AI指標(biāo)：挑戰(zhàn)與前景》一文給出了6個用于評估解釋的指標(biāo)：

解釋優(yōu)度：在XAI技術(shù)開發(fā)過程中，從用戶的角度出發(fā)，列出一份清單。該清單以解釋方面的現(xiàn)有文獻(xiàn)為基礎(chǔ)，從解釋的7個方面進(jìn)行評估，如解釋能否幫助用戶理解AI系統(tǒng)的工作方式、解釋能否使用戶滿意、解釋是否足夠詳細(xì)和全面等。

解釋滿意度：從解釋優(yōu)度出發(fā)，衡量用戶對解釋的體驗(yàn)的測量量表。該量表包括8個以陳述形式表現(xiàn)的項(xiàng)目（7個優(yōu)度項(xiàng)目和1個關(guān)于解釋是否對用戶目標(biāo)有用的項(xiàng)目）。一項(xiàng)效度分析顯示，該量表十分可靠，可用于區(qū)分解釋的好壞。

心理模型引導(dǎo)度：好的解釋可加深用戶對AI系統(tǒng)工作方式和決策原理的理解。在認(rèn)知心理學(xué)中，這被稱為AI系統(tǒng)的用戶心理模型。文章建議用4個任務(wù)來衡量人工智能系統(tǒng)的用戶心理模型，如提示回顧任務(wù)，即用戶在運(yùn)用AI系統(tǒng)完成一項(xiàng)任務(wù)后，描述其推理過程；又如預(yù)測任務(wù)，即用戶對AI系統(tǒng)后續(xù)的行為做出預(yù)測。一項(xiàng)對比了用戶心理模型和專家心理模型的研究顯示了用戶心理模型的完整度。

好奇心驅(qū)動度：好的解釋可以驅(qū)動用戶研究和解決心理模型中存在的知識缺口。文章建議通過要求客戶確定促使其尋求解釋的因素來衡量好奇心驅(qū)動度這一指標(biāo)?？赡艿尿?qū)動因素如AI系統(tǒng)行動的合理性、其他選項(xiàng)被排除的原因、AI系統(tǒng)的運(yùn)行與預(yù)期不符的原因等。

解釋信任度：好的心理模型可使用戶對AI系統(tǒng)保持適度的信任并在其運(yùn)行范圍內(nèi)進(jìn)行操作。文章建議使用涵蓋8個項(xiàng)目的測量量表來衡量用戶對AI系統(tǒng)的信任度。這些項(xiàng)目包括用戶對使用系統(tǒng)的信心、系統(tǒng)的可預(yù)測性和可靠性等。

系統(tǒng)性能：XAI的最終目的是提升系統(tǒng)的整體性能，使其優(yōu)于未啟用XAI技術(shù)時的AI系統(tǒng)。衡量性能的指標(biāo)包括主要任務(wù)目標(biāo)完成度、用戶對AI系統(tǒng)響應(yīng)的預(yù)測能力、用戶接受度等。

未來將會有更多研究進(jìn)一步探索如何在評估AI系統(tǒng)的XAI技術(shù)時理解這些指標(biāo)。

2.評估局部解釋技術(shù)

模型處理的數(shù)據(jù)類型不同，則顯著性圖的視覺效果也不同。如，熱圖通常用于處理圖像，而彩色編碼字符和單詞則通常用于處理文本。圖1展現(xiàn)了使用熱圖制作顯著性圖的視覺效果。這一案例使用梯度顯著性（1.b）和相關(guān)性分?jǐn)?shù)逐層傳播技術(shù)（1.c）來為數(shù)字0（1.a）生成熱圖。圖片中的像素等重要維度用紅、橙、黃等暖色表示，不重要的維度則用暗藍(lán)、藍(lán)、淺藍(lán)等冷色表示。兩種技術(shù)顯著的不同點(diǎn)通過高亮維度的位置可得到直觀的展示。本節(jié)將繼續(xù)介紹用于定量比較和評估局部解釋的技術(shù)，以找出能夠給出最準(zhǔn)確解釋的技術(shù)。

圖1. MNIST圖像及其對應(yīng)的熱圖；熱圖使用梯度顯著性和相關(guān)性分?jǐn)?shù)逐層傳播技術(shù)來生成。圖中的重要維度或像素用紅、橙、黃等暖色表示

①刪除

在改變或刪去輸入的過程中，通過測量模型的準(zhǔn)確預(yù)測能力可計(jì)算出刪除指標(biāo)。需要注意的是，在這種情況下，刪去意味著將輸入的值轉(zhuǎn)換為中性的事物，如圖像背景等。刪除過程由XAI技術(shù)生成的顯著性圖引導(dǎo)，以便在刪除相對不重要的維度中的值前，刪除相對更重要維度中的值。在刪除過程中，如果解釋較優(yōu)，則性能快速下降，反之則性能緩慢下降。

圖2使用圖1.b梯度顯著性圖說明了刪除過程。圖2.b刪除了50個最重要的像素，此時，人們依舊可以輕松地看出該圖展示的是數(shù)字0。圖2.f刪除了過半的像素（400個像素），此時，人們很難認(rèn)出圖片展示的是數(shù)字0。

圖2. 從MNIST圖像的刪除過程中導(dǎo)出的6張圖片，這些圖片分別刪除了0、50、100、200、300和400像素

②插入

插入指標(biāo)是刪除的互補(bǔ)方法。圖3用刪除過程中使用的MNIST圖像展示了插入過程。圖3.a的全黑圖像為初始輸入，隨著越來越多的輸入維度按照顯著性圖的優(yōu)先順序插入，可以檢測到準(zhǔn)確性不斷提高。插入過程中，在輸入中插入的信息越多，模型預(yù)測的準(zhǔn)確度應(yīng)隨之提高，也就是說，解釋較優(yōu)時，準(zhǔn)確性提高的速度會更快，反之則更慢。

圖3. 從MNIST圖像的插入過程中導(dǎo)出的6張圖片，這些圖片分別插入了0、50、100、200、300、400像素

③評估指標(biāo)

本報(bào)告為演示刪除和插入過程，使用了梯度顯著性和相關(guān)性分?jǐn)?shù)逐層傳播技術(shù)。演示中使用了分類器以及從MINST數(shù)據(jù)集中隨機(jī)抽取的100張采樣圖像來評估XAI技術(shù)。

圖4和圖5分別展示了插入和刪除過程的結(jié)果。曲線下面積（AUC）這一測量值可用于對多個XAI技術(shù)進(jìn)行定量比較。在刪除過程中，較小的AUC值優(yōu)于較大的AUC值，而在插入過程中則相反，為較大的AUC值優(yōu)于較小的AUC值。

從圖4可以看出，相關(guān)性分?jǐn)?shù)逐層傳播技術(shù)的性能曲線降幅更大，并且在刪除過程中收斂到較低的平均概率值。這一點(diǎn)與熱圖一致，與梯度顯著性的熱圖相比，相關(guān)性分?jǐn)?shù)逐層傳播技術(shù)的熱圖中暖色更少（見圖1.b和圖1.c），這說明，與梯度顯著性相比，相關(guān)性分?jǐn)?shù)逐層傳播技術(shù)能夠用更少的特征更快地找到解釋。從圖5中也可以得出同樣的結(jié)論。從圖5.b中可以看出，在插入僅幾十個特征后，平均概率急速上升，并在插入約100個特征后達(dá)到高性能水平。

圖4. 梯度顯著性和相關(guān)性分?jǐn)?shù)逐層傳播技術(shù)的刪除曲線

圖5. 梯度顯著性和相關(guān)性分?jǐn)?shù)逐層傳播技術(shù)的插入曲線

結(jié)論

深度學(xué)習(xí)將用于補(bǔ)充和替代軍事系統(tǒng)中的部分功能。事實(shí)上，用于從海量圖像數(shù)據(jù)中自主探測和跟蹤興趣目標(biāo)的軍用監(jiān)視系統(tǒng)已經(jīng)開始評估深度學(xué)習(xí)技術(shù)。與傳統(tǒng)的軟件技術(shù)相比，深度學(xué)習(xí)技術(shù)擁有多項(xiàng)優(yōu)勢，其中最重要的一項(xiàng)優(yōu)勢是，深度學(xué)習(xí)可用于傳統(tǒng)軟件技術(shù)無法完成的復(fù)雜建模流程。此外，深度學(xué)習(xí)還可以促進(jìn)主動學(xué)習(xí)，通過AI系統(tǒng)與用戶的互動來獲得用于增強(qiáng)作戰(zhàn)系統(tǒng)模型的高質(zhì)量數(shù)據(jù)。

然而，這些優(yōu)勢也在技術(shù)和作戰(zhàn)層面帶來了挑戰(zhàn)。報(bào)告就重點(diǎn)關(guān)注了可解釋性帶來的挑戰(zhàn)。深度學(xué)習(xí)的劣勢在于，盡管學(xué)習(xí)算法、模型架構(gòu)和訓(xùn)練數(shù)據(jù)都不算陌生且易于理解，但模型本身的行為卻難以解釋。通常情況下，這一點(diǎn)在音樂推送、廣告推薦等民用應(yīng)用中不是問題，但在軍事領(lǐng)域，理解和解釋AI系統(tǒng)的行為卻是至關(guān)重要。這是因?yàn)?，無論是在作戰(zhàn)層面，還是在需要軍方領(lǐng)導(dǎo)和政治決策者進(jìn)行長期決策的戰(zhàn)略層面，AI系統(tǒng)提供的決策和建議都可能會對全人類的生活造成深遠(yuǎn)影響。

雖然戰(zhàn)斗機(jī)、潛艇、坦克和指控決策支持工具等復(fù)雜軍事系統(tǒng)同樣難以掌握，但構(gòu)建這些系統(tǒng)的技術(shù)本質(zhì)上是可解釋的，因此這些系統(tǒng)如果出現(xiàn)錯誤，可以通過對整個系統(tǒng)的排查來找出問題并加以解決。然而，這在深度學(xué)習(xí)領(lǐng)域是難以實(shí)現(xiàn)的?，F(xiàn)實(shí)應(yīng)用中的深度神經(jīng)網(wǎng)絡(luò)通常由幾百萬甚至幾十億參數(shù)組成，即使是模型的制造者也無法系統(tǒng)地解決模型中出現(xiàn)的錯誤。

報(bào)告提出了多個用于解決可解釋性挑戰(zhàn)的前沿XAI技術(shù)。值得注意的是，盡管本報(bào)告在這方面獲得了部分進(jìn)展，但用于軍用深度學(xué)習(xí)應(yīng)用的AI技術(shù)依舊處于發(fā)展初期。并且，報(bào)告提出的這些XAI技術(shù)尚未經(jīng)過軍事環(huán)境的檢驗(yàn)，因此無法保證現(xiàn)有XAI技術(shù)能夠賦能高風(fēng)險軍事AI系統(tǒng)對深度學(xué)習(xí)的使用。

編輯：黃飛

?