據(jù)TechnologyReview報道，當機器人決定走特定路線前往倉庫，或無人駕駛汽車決定左轉(zhuǎn)或右轉(zhuǎn)時，它們的人工智能（AI）算法是靠什么做出決定的？現(xiàn)在，AI還無法向人們解釋自己做出某項決定的理由，這或許是個需要搞清楚的大問題。

　　2016年，美國新澤西州蒙茅斯縣（Monmouth County）安靜的公路上出現(xiàn)一輛奇怪的無人駕駛汽車。這是芯片制造商英偉達的研究人員開發(fā)出的試驗車，盡管它看起來與谷歌、特斯拉以及通用汽車公司研發(fā)的無人駕駛汽車沒什么不同，但它展現(xiàn)出AI的更多力量。

　　幫助汽車實現(xiàn)自動駕駛堪稱是令人印象深刻的壯舉，但同時也讓人感覺有點兒不安，因為現(xiàn)在我們還不是非常清楚汽車如何作出決策。汽車傳感器收集的信息被直接傳給龐大的人工神經(jīng)網(wǎng)絡，后者可對數(shù)據(jù)進行處理，然后發(fā)出相應指令，指揮汽車方向盤、制動以及其他系統(tǒng)運行。

　　表面看起來，它似乎與能與人類駕駛員的反應相匹配。但是當其發(fā)生意外事件，比如撞上樹或闖紅燈時，我們可能很難從中找出原因。這些AI算法非常復雜，甚至就連設計它們的工程師都無能為力?，F(xiàn)在我們還沒有辦法設計出這樣的系統(tǒng)：它總是能夠向人們解釋為何要做出上述決定。

　　這些無人駕駛汽車的“神秘意識”正指向一個與AI有關的、迫在眉睫的問題。這些汽車算法以AI技術(shù)（又被稱為深度學習）為基礎，近年來其已被證明是解決諸多問題的強大工具。這種技術(shù)被廣泛用于圖像字幕、語音識別以及語言翻譯等領域?，F(xiàn)在，同樣的技術(shù)也被期望能夠幫助診斷致命疾病、做出價值數(shù)百萬美元的交易決策以及無數(shù)足以改變整個行業(yè)的其他事情。

　　但是直到我們找到新的方式，能讓深度學習等技術(shù)變得更容易被其創(chuàng)造者所理解、更容易向用戶就自己的行為作出解釋后，上述場景才會出現(xiàn)或應該出現(xiàn)。否則很難預測它們何時會出現(xiàn)故障，而且出現(xiàn)故障將是不可避免的。這也是英偉達無人駕駛汽車依然處于測試狀態(tài)的原因之一。

　　目前，數(shù)學模型正被用于幫助確定誰該獲得假釋、誰應獲得貸款以及誰該求職被錄用。如果你能接觸到這些數(shù)字模型，很可能了解它們的推理過程。但是銀行、軍隊、雇主以及其他人現(xiàn)在正將注意力轉(zhuǎn)向更復雜的機器學習上，它可以幫助自動決策變得更令人匪夷所思，而深度學習可能從根本上改變了計算機的編程方式。麻省理工學院機器學習教授湯米·雅科拉（Tommi Jaakkola）表示：“這個問題不僅與當前有關，更攸關未來的許多問題。無論是投資決策、醫(yī)療決策亦或是軍事決策，我們都不能簡單地依賴這種‘黑箱’?！?/p>

　　已經(jīng)有人提議，將詢問AI系統(tǒng)如何得出結(jié)論或做出決定作為一項基本法律權(quán)利。從2018年夏季開始，歐盟可能要求公司向用戶提供其自動化系統(tǒng)作出決策的理由。這似乎是不可能的，即使對于表面來看相對簡單的系統(tǒng)來說，比如使用深度學習服務廣告或推薦歌曲的應用和網(wǎng)站。運行這些服務的計算機已經(jīng)在進行自我編程，它們正以我們無法理解的方式工作，即使開發(fā)這些應用的工程師也無法明確解釋它們的行為。

　　這就引出許多令人難以置信的問題。隨著技術(shù)的進步，我們可能很快就會越過一些門檻，幫助AI實現(xiàn)飛躍。雖然我們?nèi)祟愐膊⒎强偸悄軌蚪忉屒宄约旱乃季S過程，但我們能找到通過直覺信任和判斷某人的方法。機器也有類似人類的思維嗎？此前，我們從未開發(fā)出創(chuàng)造者也無法理解其運行方式的機器，我們?nèi)绾闻c這些不可預測、無法理解的智能機器交流或和睦相處？這些問題促使我踏上了解密AI算法的征途，從蘋果到谷歌再到其他許多地方，甚至包括會見了我們這個時代最偉大的一位哲學家。

　　圖：藝術(shù)家亞當·費里斯（Adam Ferriss）利用谷歌Deep Dream程序創(chuàng)造了這張圖，Deep Dream可以通過刺激深度神經(jīng)網(wǎng)絡的模式識別能力調(diào)整圖像。這張圖是利用神經(jīng)網(wǎng)絡中間層創(chuàng)作的。

　　2015年，紐約西奈山醫(yī)院的研究團隊獲得靈感，將深度學習應用到醫(yī)院中龐大的病例數(shù)據(jù)庫中。這個數(shù)據(jù)集中有攸關病人的數(shù)百個變量，包括測試結(jié)果以及醫(yī)生診斷等。由此產(chǎn)生的程序被研究人員命名為Deep Patient，它被利用70多萬名病人的數(shù)據(jù)訓練。但測試新的病例時，它展現(xiàn)出令人不可思議的能力--非常擅長預測疾病。無需專家指導，Deep Patient可以在醫(yī)院數(shù)據(jù)中找出隱藏模式，并通過病人的各種癥狀確認疾病，包括肝癌。西奈山醫(yī)院團隊的項目領導者約珥·杜德利（Joel Dudley）說：“利用病例數(shù)據(jù)，許多方法都能預測出疾病，但我們的方法更好用?！?/p>

　　與此同時，Deep Patient也讓人覺得有點兒困惑，它對于診斷精神疾病（比如精神分裂癥）非常準確。但是眾所周知，即使是醫(yī)生也很難診斷精神分裂癥，為此杜德利想知道為何Deep Patient具備這樣的能力，但他未能找到答案，這種新工具未提供任何線索。如果像Deep Patient這樣的工具真能幫助醫(yī)生，在理想情況下，它應該可以提供預測推理，以確保其結(jié)論的準確性。但杜德利說：“雖然我們可以建立模型，可是我們真的不知道它們是如何做出決定的?！?/p>

　　AI并非總是如此。從一開始，就有兩個學派就如何理解或解釋AI產(chǎn)生分歧。許多人認為，根據(jù)規(guī)則和邏輯開發(fā)的機器最有意義，因為它們的內(nèi)部運作是透明的，任何人都可以檢查它們的代碼。其他人則認為，如果機器能夠從生物學中獲得靈感，并通過觀察和體驗學習，更有可能出現(xiàn)智能。這意味著，計算機具備了編程能力。它們不再需要程序要輸入指令以解決問題，程序本身就可以基于示例數(shù)據(jù)和期望輸出產(chǎn)生算法。根據(jù)后一種模式，這種機器學習技術(shù)后來進化為今天最強大的AI系統(tǒng)，機器本身就是程序。

　　最初，這種方法在實際使用中十分有限，20世紀60年代到70年代，它在很大程度上依然被限于“場地邊緣”。隨后，許多行業(yè)的計算機化和大數(shù)據(jù)集出現(xiàn)重新引發(fā)人們的興趣。這鼓勵更強大的機器學習技術(shù)誕生，特別是最新被稱為人工神經(jīng)網(wǎng)絡的技術(shù)。到20世紀90年代，神經(jīng)網(wǎng)絡已經(jīng)可以自動數(shù)字化手寫內(nèi)容。

　　但是直到2010年初，經(jīng)過幾次巧妙的調(diào)整和改進，更加龐大或更有深度的神經(jīng)網(wǎng)絡才在自動知覺方面有了巨大進步。深度學習是促使當今AI呈現(xiàn)爆發(fā)式增長的主要驅(qū)動力，它賦予計算機非凡的能力，比如像人那樣識別口語的能力，代替手動向機器輸入復雜代碼的能力等。深度學習已經(jīng)改變了計算機視覺，并大幅改進機器翻譯?，F(xiàn)在，它正被用于指導醫(yī)療、金融以及制造業(yè)等領域的各種關鍵決策。

　　與手動編碼系統(tǒng)相比，任何機器學習技術(shù)的運作本質(zhì)上都是不透明的，即使對于計算機科學家來說也是如此。這并非是說將來所有AI技術(shù)同樣不可預知，但就其本質(zhì)而言，深度學習是特別黑的“黑箱”。你無法透視深度神經(jīng)網(wǎng)絡內(nèi)部看其如何運行。網(wǎng)絡推理實際上是數(shù)以千計的模擬神經(jīng)元的共同行為，它們排列成數(shù)十甚至數(shù)百個錯綜復雜的互聯(lián)層中。第一層的每個神經(jīng)元都會接收輸入，就像圖片上的像素強度，然后進行運算，并輸出新的信號。這些輸出會進入更復雜的網(wǎng)絡，即下一層的神經(jīng)元中。這樣一層層傳遞，直到最后產(chǎn)生整體輸出結(jié)果。此外，還有被稱為“反向傳播”的過程，通過調(diào)整單個神經(jīng)元的計算，讓網(wǎng)絡了解到需要產(chǎn)生的“期望輸出”。

　　圖：藝術(shù)家亞當·費里斯（Adam Ferriss）利用谷歌Deep Dream程序創(chuàng)造的圖像

　　深度網(wǎng)絡的多層結(jié)構(gòu)讓它能在不同的抽象層上識別事物，以被設計用于識別狗狗的系統(tǒng)為例，較低的層次可識別顏色或輪廓等簡單的東西，更高的層次則可識別更復雜的東西，比如皮毛或眼睛等，最頂層則會確定其對象是狗。同樣的方法也可被應用到其他輸入方面，這些輸入可讓機器自學，包括演講中所用詞匯的發(fā)音、文本中形成句子的字母和單詞或駕駛所需的方向盤動作等。

　　為了捕捉和更詳細地解釋這些系統(tǒng)中到底發(fā)生了什么，研究人員使用了許多巧妙策略。2015年，谷歌研究人員修改了基于深度學習開發(fā)的圖片識別算法，它不需要在圖片中發(fā)現(xiàn)目標，而是生成目標或修改它們。通過有效地反向運行該算法，他們發(fā)現(xiàn)這種算法可被用于識別鳥或建筑物。

　　被稱為Deep Dream的程序產(chǎn)生的圖像，顯示出看起來非常怪誕的動物從云層或植物中現(xiàn)身，如幻境中的寶塔出現(xiàn)在森林或山脈上。這些圖片證明，深度學習并非完全不可理解，算法也需要熟悉的視覺特征，比如鳥喙或羽毛等。但這些圖片也顯示，深度學習與人類感知截然不同，會讓我們忽略的東西變得不可思議。谷歌研究人員注意到，當算法生成啞鈴圖像時，也會生成舉著它的人類雙臂。機器得出的結(jié)論是，手臂是啞鈴的一部分。

　　利用來自神經(jīng)科學和認知科學領域的想法，這種技術(shù)取得更大進步。由美國懷俄明大學副教授杰夫·克盧恩（Jeff Clune）領導的團隊已經(jīng)采用光學錯覺AI測試深度神經(jīng)網(wǎng)絡。2015年，克盧恩的團隊展示了特定圖像如何欺騙神經(jīng)網(wǎng)絡，讓它們誤以為目標不存在，因為圖像利用了系統(tǒng)搜索的低層次模式?？吮R恩的同事杰森（Jason Yosinski）還開發(fā)出類似探針的工具，它以網(wǎng)絡中部的神經(jīng)元為目標，尋找最容易被激活的圖像。盡管圖像以抽象的方式顯現(xiàn)，但卻凸顯了機器感知能力的神秘本質(zhì)。

　　可是，我們不僅僅沒法窺探AI的思維，也沒有簡單的解決方案。深層神經(jīng)網(wǎng)絡內(nèi)部計算的相互作用對高層次模式識別和復雜的決策至關重要，但是這些計算堪稱是數(shù)學函數(shù)和變量的泥潭。雅克拉說：“如果你有很小的神經(jīng)網(wǎng)絡，你可能會理解它。但是當其變得非常龐大時，每層都會有數(shù)千個單元，而且有數(shù)百層，那么它會變得相當難以理解?！?/p>

　　雅克拉的同事雷吉納·巴爾齊萊（Regina Barzilay）專注于將機器學習應用到醫(yī)學領域。2年前43歲時，巴爾齊萊被診斷患上乳腺癌。這個診斷本身就令人感到震驚，但巴爾齊萊也很沮喪，因為前沿統(tǒng)計和機器學習方法還未被用于幫助腫瘤學研究或指導治療。她說，AI很可能徹底改變醫(yī)療行業(yè)，而意識到這種潛力意味著其不僅僅可被用于病例中。她希望使用更多未被充分利用的原始數(shù)據(jù)，比如影像數(shù)據(jù)、病理資料等。

　　去年結(jié)束癌癥治療后，巴爾齊萊和學生們開始與馬薩諸塞州綜合醫(yī)院的醫(yī)生們合作，開發(fā)能夠通過分析病理報告確定病人的系統(tǒng)，這些患者是研究人員可能想要研究的特殊臨床病例。然而，巴爾齊萊知道，這套系統(tǒng)需要能夠解釋其推理。為此，巴爾齊萊與雅克拉等人增加新的研究，該系統(tǒng)可以提取和突出文本中的片段，這些片段也處于已經(jīng)被發(fā)現(xiàn)的模式中。巴爾齊萊等人還開發(fā)出深度學習算法，它可在乳房X線照片中發(fā)現(xiàn)乳腺癌的早期癥狀。他們的目標是給于這種系統(tǒng)解釋推理的同樣能力。巴爾齊萊說：“你真的需要一個回路，機器和人類可通過其加強協(xié)作?！?/p>

　　美國軍方正向多個項目投資數(shù)十億美元，這些項目可利用機器學習引導戰(zhàn)車和飛機、識別目標、幫助分析師篩選大量情報數(shù)據(jù)。與其他領域的研究不同的是，美國國防部已經(jīng)確定，可解釋性是解開AI算法神秘面紗的關鍵“絆腳石”。國防部下屬研發(fā)機構(gòu)DARPA項目主管大衛(wèi)·甘寧（David Gunning）負責監(jiān)督名為Explainable Artificial Intelligence的項目，他此前曾幫助監(jiān)督最后促使Siri誕生的DARPA項目。

　　甘寧表示，自動化正滲透到無數(shù)軍事領域。情報分析師正測試機器學習，將其作為在海量情報數(shù)據(jù)中確認模式的新方法。許多無人駕駛地面戰(zhàn)車和飛機正被開發(fā)和測試，但坐在無法自我解釋的機器人坦克中，士兵們可能不會感覺不舒服，分析師也不愿意根據(jù)沒有推理支持的信息采取行動。甘寧說：“這些機器學習系統(tǒng)本質(zhì)上經(jīng)常產(chǎn)生大量假警報，為此網(wǎng)絡分析師需要額外幫助，以便理解為何它們給出如此建議?！?/p>

　　今年3月份，DARPA從學術(shù)界和工業(yè)領域挑選了13個項目，以便獲得甘寧團隊的資助，其中包括華盛頓大學教授卡洛斯·蓋斯特林（Carlos Guestrin）領導的項目。蓋斯特林與同事們已經(jīng)找到一種新方法，讓機器學習系統(tǒng)為自己的輸出提供推理解釋。實質(zhì)上，按照他們的方法，計算機可自動從數(shù)據(jù)集中查找例證，并以它們?yōu)樽糇C。舉例來說，可以分類恐怖分子電子郵件信息的系統(tǒng)，可能需要使用數(shù)以千萬計的信息進行訓練和決策。但利用華盛頓大學團隊的方法，它可以凸顯信息中出現(xiàn)的特定關鍵詞。蓋斯特林的團隊還設計了圖像識別系統(tǒng)，通過凸顯圖像中最重要的部分提供推理支持。

　　這種方法和其他類似技術(shù)的1個缺點在于，它們提供的解釋總是被簡化，意味著許多重要信息可能遺失。蓋斯特林說：“我們還沒有實現(xiàn)整個夢想，將來AI可以與你對話，并作出解釋。距離打造真正可解釋的AI，我們還有很長的路要走?！?/p>

　　了解AI的推理不僅在癌癥診斷或軍事演習等高風險領域至關重要，當這種技術(shù)被普及成為日常生活中的重要組成時，AI能夠給出解釋同樣重要。蘋果Siri團隊負責人湯姆·格魯伯（Tom Gruber）說，對于他的團隊來說，可解釋性是個關鍵因素，因為他們正嘗試讓Siri變成更聰明、更有能力的虛擬助理。格魯伯沒有討論Siri未來的具體計劃，但很容易想到，如果你收到Siri推薦的餐廳建議，你可能想知道它推薦的理由。蘋果AI研究總監(jiān)、卡內(nèi)基-梅隆大學副教授魯斯蘭·薩拉克霍特迪諾夫（Ruslan Salakhutdinov）將可解釋性作為人類與智能機器之間不斷進化的關系的核心。

　　正如人類的許多行為都是無法解釋那樣，或許AI也無法解釋它所做的一切。克盧恩說：“即使有人能給你看似合理的解釋，可能也不夠充分，對AI來說同樣如此。這可能是智能的本質(zhì)部分，只有部分行為能用推理解釋。有些行為只是出于本能，或潛意識，或根本沒有任何理由?！比绻媸沁@樣的話，那么在某個階段，我們可能必須絕對相信AI的判斷，或根本不使用它。同樣的，這種判斷必須要納入社會智能。正如社會是建立在預期行為的契約之上那樣，我們需要設計出遵守和適應我們社會規(guī)則的AI系統(tǒng)。如果我們想要制造出機器人坦克和其他殺人機器，它們的決策也需要符合我們的道德判斷標準。

　　為了探索這些抽象概念，我拜訪了塔夫茨大學著名哲學家、認知科學家丹尼爾·丹尼特（Daniel Dennett）。丹尼特在其最新著作《From Bacteria to Bach and Back》中稱，智能本身進化的本質(zhì)部分在于創(chuàng)造能夠執(zhí)行任務的系統(tǒng)，而這些任務是系統(tǒng)的創(chuàng)造者都不知道如何執(zhí)行的。丹尼特說：“問題在于，我們必須做出什么樣的努力才能做到這一點，我們給他們定下的標準是什么，我們自己的標準呢？”

　　丹尼爾還對可解釋性AI的探求發(fā)出警告，他說：“我認為，如果我們要使用這些東西，并依賴它們，那么我們就需要盡可能牢牢把握住它們?nèi)绾我约盀楹谓o我們這樣的答案?！钡怯捎谶€沒有完美答案，我們應該對AI的可解釋性保持謹慎，無論機器變得多么聰明。丹尼特說：“如果它們無法比我們更好地給出解釋，那么我們就不該相信它們?！?/p>