從「2001: A Space Odyssey」（2001：太空漫游）中的 HAL9000，到「The Hitchhiker’sGuide to the Galaxy」中的 Eddie，科幻小說中到處都是智能電腦的例子。這些虛擬機器的一個共同點是容易出錯，對故事中的人物造成傷害。HAL 謀殺了木星登陸計劃中的三個宇航員。Eddie 沉迷于瑣事，使它控制的航天器面臨毀滅的危險。這兩個例子，都是本想構(gòu)建一個有用的事物，結(jié)果創(chuàng)造出了一個怪物。

成功的科幻小說必然會給人們帶來真正的希望和恐懼。在 20 世紀 60 年代和 70 年代，人們夢想 HAL 和 Eddie 時，創(chuàng)造人工智能（ AI ）這一嘗試陷入了困境，所以希望和恐懼都是假設出來的。但后來變了。深度學習技術(shù)使用被稱為神經(jīng)網(wǎng)絡的特殊計算機程序，通過大量的數(shù)據(jù)尋找和記憶模式。因為更聰明而被廣泛地傳播。從語音轉(zhuǎn)文字到檢測早期的失明跡象都已應用這一技術(shù)。如今，通過 AI 可以在工廠中進行質(zhì)量控制，并在數(shù)據(jù)中心的冷卻系統(tǒng)中發(fā)揮作用。政府希望用它來識別***的宣傳網(wǎng)站并將其從網(wǎng)絡上移除。在自動駕駛汽車的開發(fā)中，它也是重要的部分。在全球最有價值的十大公司中，有七家表示他們計劃將深度學習型人工智能作為其業(yè)務的核心。

真正的人工智能遠不如通常小說中那樣先進。它明顯缺乏科幻事物的明顯意識動機。但它確實使希望和恐懼發(fā)生在今天，而不是一個不確定的未來。許多人擔心即使是今天的「AI-lite」也可能會變身成怪物。不再服從指令的設備并不可怕，可怕的是按照自己的方式（至少試圖這么做），而不是被告知的方式來行事，而它們的方式往往還令人難以理解。

造成這種恐懼的原因是，深度學習程序通過重新安排數(shù)字內(nèi)部的數(shù)據(jù)以響應他們處理數(shù)據(jù)中的模式進行學習。具體來說，它們通過改變自己內(nèi)部設計得和神經(jīng)元一樣效果的計算機代碼之間的聯(lián)系，模仿神經(jīng)學家認為的真正大腦運行的方式。這意味著一旦網(wǎng)絡被訓練，即使是神經(jīng)網(wǎng)絡的設計者也不知道它是如何做到的。允許這些系統(tǒng)運行關(guān)鍵設施或作出醫(yī)療決定意味著將人們的生命寄托在一個人們無法真正了解的設備上。

但是，如果 AI 系統(tǒng)可以以某種方式解釋它們所做的事情及其原因，就會增加彼此的信任，這些系統(tǒng)也會變得更有用。如果事情出現(xiàn)問題，AI 系統(tǒng)可以對其行為作出解釋，使之后的調(diào)查變得更容易。即使它們出了問題，HAL 和 Eddie 都能夠解釋它們的行為。事實上，這是它們故事情節(jié)的關(guān)鍵部分。更簡單地說，這種自我解釋的力量是軟件工程師想在真正 AI 中效仿的東西。

通過不同的方法，試圖打開人工智能「黑匣子」

試圖打開人工智能「黑匣子」的第一批正式研究項目之一是由美國國防部高級研究計劃局（DARPA）組織的可解釋人工智能（Explainable AI ：XAI）項目，許多美國的軍事研究都由該組織負責。特別是美國的軍隊希望用 AI 來幫助偵查。XAI 的負責人 Dave Gunning 注意到，通過間諜飛機或衛(wèi)星從高處監(jiān)控像朝鮮這樣的地方會產(chǎn)生大量的數(shù)據(jù)。如果這樣的 AI 技術(shù)可以解釋其決策，那么它也是有價值的，這樣被警告的人就能發(fā)現(xiàn)不可避免的誤報。Gunning 說，美國間諜機構(gòu) NSA 的分析師已經(jīng)招架不住老式模式識別軟件的建議，被迫去檢查某些特定的信息。隨著人工智能洪流的擴大，計算機程序應該解釋它們?yōu)槭裁匆獑酒鸩僮魅藛T的注意，這比以往更加重要。

NSA 對此回應說這是個秘密，這也在情理之中。但民間計劃也試圖讓神經(jīng)網(wǎng)絡可以通過以人類可理解的方式傳達自己的內(nèi)部狀態(tài)來解釋自己。例如，加利福尼亞大學伯克利分校的 Trevor Darrell 的人工智能研究小組，正在研究可以識別照片中不同種類的鳥類的軟件。它不僅僅是在識別，拿北美鸊鷉（Western Grebe）來說，這個軟件解釋了正在討論的圖片是北美鸊鷉的原因，因為它里面的鳥有長長的白色脖子，尖尖的黃色喙和紅色的眼睛。該程序借助第二個神經(jīng)網(wǎng)絡來實現(xiàn)，此神經(jīng)網(wǎng)絡被訓練為利用人們寫下的句子通過匹配系統(tǒng)的內(nèi)部特征來進行識別（即其「神經(jīng)元」之間的連接模式），描述從檢查圖片中看到的東西。因此，當一個 AI 系統(tǒng)學習對鳥類進行分類時，另一個系統(tǒng)也在學習對第一個系統(tǒng)的行為進行分類，來解釋該系統(tǒng)是如何作出此決定的。

由佐治亞理工學院的 Mark Riedl 領導的一個團隊采用了類似的技術(shù)來鼓勵玩游戲的 AI 來解釋其動作。該團隊要求人們講述他們玩街機游戲「Frogger」的經(jīng)歷。然后他們訓練了一個 AI 系統(tǒng)將這些敘述與第二個系統(tǒng)的內(nèi)部特征相匹配。最后通過人類語言片段描述了第二個系統(tǒng)玩游戲的方式。

這種打開人工智能黑匣子的方式發(fā)展到了一定程度。但人們并不需要，因為它們本質(zhì)上是對人類的解釋。因為人們可以理解鳥類圖片和電子游戲的復雜性，并把它們轉(zhuǎn)化為文字，所以，可以復制人類模式的機器也是如此。但是，人們很難分析和描述大型數(shù)據(jù)中心的能量供應或某人的健康狀況，人工智能在這些任務中已經(jīng)超越了人們，所以人類的解釋不能用作模型。

幸運的是，還可以通過檢查和理解 AI 輸出結(jié)果的方式。例如，匹茲堡卡內(nèi)基梅隆大學的計算機科學家 Anupam Datta 并不打算與 Darrell 博士和 Riedl 博士采取一樣的方式，試圖直接窺視黑盒子的內(nèi)部，而是選擇繞道而行，通過對訓練系統(tǒng)的輸出進行「壓力測試」，例如，對求職者的評估。

Datta 博士給測試系統(tǒng)提供一系列輸入數(shù)據(jù)，并檢查其輸出是否存在不正確的、有害的或不公平的結(jié)果。他舉了一個通過自動化系統(tǒng)招聘新員工的搬遷公司的例子。該系統(tǒng)輸入候選人的年齡、性別、舉重能力、婚姻狀況和受教育程度（如申請中所述），最終顯示為候選人成為優(yōu)秀員工的得分。

顯然，其中的一個信息——能夠舉起重物——既與要求相符又可能利于男性候選人。因此，這種情況下，為了測試系統(tǒng)是否對女性存在偏見，Datta 博士的程序?qū)呐灾须S機選擇的應用程序變?yōu)楦駨哪行垣@得的，另外，又從男女申請人中隨機交換了女申請人的舉重能力。如果性別的隨機化不會使 AI 提供工作的女性人數(shù)變化，而舉重能力隨機化會（因為有些女性現(xiàn)在似乎具有「男性」舉重能力），那很明顯，招聘只受舉重能力的影響，而不受申請人性別的影響。

Datta 博士的方法并沒有涉及到系統(tǒng)如何以及為什么做出決定的核心，但像壓力測試飛機一樣，它有助于阻止不良結(jié)果，使制作和操作 AI 的人確保他們對正確的輸入作出決策，而不是有害的虛假的決策。還有一些窺視機器思想的方法。例如，一些工程師正在轉(zhuǎn)向諸如人類用來理解自己想法認知心理學之類的技術(shù)。他們認為，人工神經(jīng)網(wǎng)絡可以像大腦一樣運作，因此使用人類心理學工具來調(diào)查它們是有意義的。

此方法的一個例子是 Google 的母公司 Alphabet 旗下的一家倫敦的 AI 公司 DeepMind 進行的研究。這個項目對公司設計的一款圖像匹配軟件的行為產(chǎn)生了有趣的見解。由 David Barrett 領導的一組 DeepMind 的工程師展示了三幅圖像的軟件集，每個軟件集中的第一個是某種形狀和顏色的「探測」圖像，另外兩個，一個與形狀匹配，一個與顏色匹配。通過測量系統(tǒng)選擇形狀匹配而不是顏色匹配的頻率，Barrett 博士和他的團隊能夠推斷出 DeepMind 的圖像匹配器等同于圖像之于人類，即根據(jù)形狀而不是顏色來推斷。在世界部署時通過這種方式闡釋特定 AI 如何作出決策的通用原則可能會有用。它也可能幫助事故調(diào)查人員，對發(fā)生事故的原因作出最佳解釋。

那些傾向于試圖打開人工智能「思想」的人們現(xiàn)在有很多方法。然而，有些人認為這些方法是錯誤的。他們發(fā)現(xiàn) AI 最難做的決定通常很復雜，因此也可能是最有用的。對玩視頻游戲和對鳥命名這些任務價值有限。平衡電網(wǎng)或管理城市交通流量所做出的決策很難解釋，特別是其中許多決策超出了人類處理能力的水平。蒙特利爾大學的計算機科學家 Yoshua Bengio 稱這種處理為人工直覺（artificial intuition）。

Bengio 博士說，這種人工直覺曾在深度學習最公開的演示中展示出來。這是 2016 年舉行的一場 AI 系統(tǒng)和世界上最優(yōu)秀的人類運動員 Lee Sedol 的比賽。在這里討論的 AlphaGo 是由 DeepMind 公司進行訓練的。它有時會做出人類專家無法解釋的意外舉動，起初這些舉動似乎是錯的，但隨后 AlphaGo 選了令人驚訝的位置來掌控剩下的比賽。

有趣的是，這些動作有時也是由人類的主人制造的。他們在日語中被稱作 kami no itte（「上帝的手」或「神的舉動」）。顧名思義，像被神指導著的一個玩家通常無法說出他是何或為什么這么做。事實上，玩家無法解釋他們最佳行為背后的原因提供了一個暗示，就是為什么其于正式邏輯的舊式 Go-playing 計算機為什么從來都沒有這么好。神經(jīng)學習系統(tǒng)，包括已經(jīng)在大腦中演變和現(xiàn)在被存入電腦的系統(tǒng)，可以處理 playing Go 的任務，但人類語言無法描述它。

如同潘多拉盒子，人工智能「黑匣子」將面臨大量社會問題

然而，人類對自己行為的解釋與機器提供的解釋之間存在著至關(guān)重要的差異。正如巴黎 Jean Nicod 研究所的認知科學家 Dan Sperber 觀察到的，人們傾向于構(gòu)建他們行為的理由，這些理由與說話人和聽眾互相提供的信息與他們自己的興趣愛好相一致，而不是準確地描述他們作決定時的準確想法。正如他說的：「給出理由的原因是其他人會評估你的行為和信念。」而目前的自動機器沒有自己的興趣，它們的解釋是由人類制造的。

有人推測，如果人工智能的開發(fā)與虛構(gòu)的一樣，有了自己的目的，而不只被人類控制，那未來可能會改變。國際法專家 Jacob Turner 建議，如果這些先進的系統(tǒng)所傷害的人要求賠償和伸張正義，就必須賦予人工智能以人格權(quán)。

這可能發(fā)生在遙遠的未來。但即使現(xiàn)在的人工智能也可能引發(fā)棘手的法律問題。特別是，無法自我解釋的機器思維或其具體的行為超出了人類語言的領域，造成了刑法問題。正如牛津大學的法律學者 Rebecca Williams 所說，如果機器缺乏解釋其行為的能力，現(xiàn)行法律可能難以找出因他們作出的決定而產(chǎn)生犯罪行為的意圖。她說：「在刑法中，有趣的是讓第三方打破非人類的因果關(guān)系鏈，這是件新鮮事」。

這不是 Turner 推測未來一天人工智能系統(tǒng)本身可能會做犯罪的事情的問題。但如果因為機器及其制造者都無法解釋其行為，一臺機器作出決定的過程不會被收到盤問，那就無法判定與此決定相關(guān)的人有罪還是無罪。

例如，如果一個授權(quán)貸款的神經(jīng)網(wǎng)絡無法解釋它為什么給某些人那樣看起來不公平的分數(shù)，那將無法確定是其運營商有意安排這種情況（這在大多數(shù)情況下是違法的），還是其設計師編程時犯懶導致了這種情況（這可能是民事法庭而不是刑事案件的事）。同樣，如果運行無人駕駛出租車的視覺系統(tǒng)的 AI 是一個不能被詢問其選擇的黑匣子，那么可能很難知道該車造成的死亡是由制造商負責還是負責維護車輛的公司負責。

距離無人駕駛汽車的案件在法庭上出現(xiàn)還有幾年的時間。然而，即便現(xiàn)在，社會偏見的情況也可想而知。它不需要 HAL 和 Eddie 的發(fā)明人 Arthur C. Clarke 和 Douglas Adams 設想出的軟件優(yōu)點——既可以采取行動，又可以解釋其行為背后的原因。