就在幾年前，能夠感知周圍環(huán)境、識別重要細節(jié)——并忽略其余部分——然后利用這些細節(jié)來完成任務(wù)的技術(shù)應(yīng)用似乎還只是科幻小說中的內(nèi)容。

然而，現(xiàn)在有幾種技術(shù)已經(jīng)成為我們?nèi)粘Ｉ钪胁豢苫蛉钡囊徊糠郑豪斫夂晚憫?yīng)人類語言的許多細微差別的智能語音助手，使用成像比人類醫(yī)生更準(zhǔn)確地預(yù)測癌癥的醫(yī)學(xué)應(yīng)用程序，以及自動駕駛汽車導(dǎo)航動態(tài)環(huán)境。它們只是成為頭條新聞的一些技術(shù)。

強化學(xué)習(xí)是機器學(xué)習(xí)的三個分支之一，正在推動其中的許多創(chuàng)新。它使計算機能夠識別其環(huán)境的重要特征以做出最佳決策——這是一種直到最近才出現(xiàn)的技能。對強化學(xué)習(xí) (RL)、人工神經(jīng)網(wǎng)絡(luò) (ANN) 和深度學(xué)習(xí) (DL) 的更詳細研究揭示了旨在在人類層面上實現(xiàn) AI 的人工智能應(yīng)用的新潛力以及仍然存在的挑戰(zhàn)。

機器學(xué)習(xí)方法

機器學(xué)習(xí) (ML) 是 AI 的一個子集，它使計算機能夠從示例和經(jīng)驗中學(xué)習(xí)。在 ML 的三個分支中，監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)可能是最著名的，用于解決定義明確且相對可預(yù)測的問題。

監(jiān)督學(xué)習(xí)

監(jiān)督學(xué)習(xí) (SL) 方法用于解決帶有注釋輸入數(shù)據(jù)的問題。這些算法嘗試從這些已知示例中學(xué)習(xí)模式和關(guān)聯(lián)，進而處理未知示例。一個典型的例子是圖像識別，其中使用手動注釋的圖像來訓(xùn)練模型以正確分類新捕獲的圖像。

無監(jiān)督學(xué)習(xí)

無監(jiān)督學(xué)習(xí) (UL) 方法用于推斷未注釋數(shù)據(jù)記錄中的隱藏結(jié)構(gòu)或關(guān)系。這些方法可以在沒有太多準(zhǔn)備的情況下應(yīng)用，但通常更具描述性和探索性。它們通常用于為監(jiān)督方法的使用做準(zhǔn)備。一個常見的例子是在交易數(shù)據(jù)中識別不同的客戶群體，這可以在以后促進各種有針對性的營銷活動。

強化學(xué)習(xí)

強化學(xué)習(xí) (RL) 是 ML 的第三個分支，它使一些最復(fù)雜和最人性化的應(yīng)用程序成為當(dāng)今的頭條新聞。RL 是一種機器學(xué)習(xí)，其中獎勵和懲罰評估個人行為和可以計劃未來行為的輸入變量。RL 不是明確地告訴如何解決問題，而是基于最大化獎勵和最小化懲罰。RL 不局限于特定的問題或環(huán)境，而是專注于根據(jù)來自動態(tài)環(huán)境的復(fù)雜輸入做出最佳決策的機器。

RL 的基本思想是以類似于人類或任何足夠聰明的生物如何學(xué)習(xí)的方式對學(xué)習(xí)進行建模：通過嘗試實現(xiàn)與獎勵相關(guān)的特定目標(biāo)，使用所提供的技能和工具，但沒有明確的關(guān)于如何解決問題的說明。一個簡單的例子是一個機器人，它可以張開和合上手來將球放入盒子中。機器人必須學(xué)會它可以抓住球，將它的手臂移動到正確的位置，然后讓它落下。這通常涉及多次迭代和重新開始實驗。機器人只接收關(guān)于其行為是否成功的反饋，并嘗試調(diào)整其動作直到達到目標(biāo)。

這與 SL 形成鮮明對比，在 SL 中，一個好的結(jié)果需要很多例子——比如大量不同的帶注釋的貓圖像集合——來描述問題的所有維度。這是算法準(zhǔn)確了解哪些特征（例如形狀或顏色）與正確決策相關(guān)的唯一方法。對于機器人的例子，相當(dāng)于準(zhǔn)確而仔細地描述過程的每個步驟——比如將手移動到哪里，施加多大的壓力等。對于這個變量很少的例子，也許可以實現(xiàn)這一點詳細程度，但如果變量發(fā)生變化，則需要重新學(xué)習(xí)。給定一個更大的球，機器人會不知所措。

在實際應(yīng)用中，輸入、輸出和訓(xùn)練數(shù)據(jù)的平衡變得異常復(fù)雜。例如，自動駕駛汽車幾乎實時處理大量傳感器數(shù)據(jù)。忽視環(huán)境中的細微差別可能會產(chǎn)生重大后果，并且關(guān)系重大。這就是為什么強化學(xué)習(xí)是在禁止或不可能創(chuàng)建訓(xùn)練示例或指令的環(huán)境中的首選工具。

強化學(xué)習(xí)的子類型

與 ML 的其他分支一樣，RL 具有共同推動創(chuàng)新的子流派。特別是，特征學(xué)習(xí) (FL) 使系統(tǒng)能夠識別輸入數(shù)據(jù)的不同細節(jié)。人工神經(jīng)網(wǎng)絡(luò) (ANN) 和深度學(xué)習(xí) (DL) 為高級解析、處理和學(xué)習(xí)提供了所需的框架，并支持深度強化學(xué)習(xí) (DRL) 的子領(lǐng)域。

特征學(xué)習(xí)

特征學(xué)習(xí)（也稱為表示學(xué)習(xí)）是一種 ML 技術(shù)，它使機器能夠識別通常無法在算法中表示的輸入數(shù)據(jù)的特征和獨立組件。例如，在自動駕駛汽車中，周圍環(huán)境由多個攝像頭、雷達和其他傳感器感知。這意味著有很多信息可用于決定下一步行動，但只有一小部分是相關(guān)的。例如，天空的顏色通常是無關(guān)緊要的，而交通燈的顏色卻高度相關(guān)。一只鳥飛過的速度遠不如行人接近路邊的速度重要。

為什么表示這種級別的輸入函數(shù)的能力如此重要？用于訓(xùn)練的數(shù)據(jù)集對模型的準(zhǔn)確性起著關(guān)鍵作用。訓(xùn)練數(shù)據(jù)越多越好。特別是，數(shù)據(jù)集中包含的具有清晰和可識別特征的示例越多樣化越好。換句話說，輸入數(shù)據(jù)的獨特和獨立特征幫助計算機彌合了它們已經(jīng)學(xué)過的知識和需要學(xué)習(xí)的知識之間的差距，以確保無論上下文如何，都能確保 100% 的準(zhǔn)確性和一致性。識別獨特的特征還有助于識別任何可以忽略的特征和異常值，這反過來又有助于隨著時間的推移顯著減少數(shù)據(jù)量。

人工神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)

這些高度可變的應(yīng)用程序需要一個健壯且可擴展的框架。一種受到廣泛關(guān)注的方法，特別是在監(jiān)督學(xué)習(xí)中，是深度學(xué)習(xí)。結(jié)合強化學(xué)習(xí)的原理，我們稱之為深度強化學(xué)習(xí)。

人工神經(jīng)網(wǎng)絡(luò) (ANN) 的基本思想可以追溯到 1960 年代，大致基于人腦的網(wǎng)絡(luò)狀神經(jīng)結(jié)構(gòu)。人工神經(jīng)網(wǎng)絡(luò)包含一個巨大的人工神經(jīng)元網(wǎng)絡(luò)，稱為感知器，感知器接收輸入信號，評估各種輸入特征，然后通過網(wǎng)絡(luò)中繼信號，直到達到輸出信號。

該網(wǎng)絡(luò)由神經(jīng)元的數(shù)量、連接的強度和數(shù)量以及神經(jīng)元的激活閾值來定義。這是輸入信號必須傳遞的強度。人工神經(jīng)網(wǎng)絡(luò)具有包含多個輸入和輸出級別的可擴展結(jié)構(gòu)，使用中間的隱藏級別將輸入轉(zhuǎn)換為輸出級別可以使用的內(nèi)容。專業(yè)術(shù)語深度學(xué)習(xí)源自具有許多連續(xù)神經(jīng)元層的網(wǎng)絡(luò)，因此是深度的。

人工神經(jīng)網(wǎng)絡(luò)特別適合從復(fù)雜的輸入數(shù)據(jù)和動態(tài)環(huán)境中生成最佳答案，因為它們通過反向傳播進行學(xué)習(xí)。對于任何給定的訓(xùn)練信號——例如，描述圖像坐標(biāo)和顏色值的向量——網(wǎng)絡(luò)會檢查生成的輸出是否正確，然后稍微調(diào)整網(wǎng)絡(luò)中的權(quán)重以獲得所需的結(jié)果。經(jīng)過足夠多的訓(xùn)練迭代后，網(wǎng)絡(luò)變得穩(wěn)定，現(xiàn)在可以識別以前未知的情況。

人工神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)和強化學(xué)習(xí)的局限性

ANN 和 DL 具有巨大的潛力，因為它們能夠表示特征并在動態(tài)環(huán)境中做出最佳響應(yīng)。然而，它們的能力帶來了更多挑戰(zhàn)，并揭示了在模仿人類智能的某些方面仍存在的一些差距。

需要數(shù)百萬個節(jié)點、連接和訓(xùn)練迭代

建模相關(guān)問題需要 ANN 具有大量節(jié)點和連接，以處理需要分析和存儲的數(shù)百萬個不同變量?，F(xiàn)代計算機直到最近才使這成為可能。同樣，所需的訓(xùn)練循環(huán)次數(shù)可以達到數(shù)十億，并隨著環(huán)境變量的數(shù)量呈指數(shù)增長。強化學(xué)習(xí)的第一個重大突破是在圍棋等游戲中取得的，這并非巧合，名為 AlphaGo 的人工智能現(xiàn)在設(shè)法擊敗了最好的人類棋手：游戲規(guī)則——例如可能的行動和結(jié)果——以及由于目標(biāo)明確，讓 AI 與自己對弈，很容易快速執(zhí)行許多模擬游戲。下一個進化步驟是玩電子游戲，例如超級馬里奧?或星際爭霸，其中行動和結(jié)果之間的關(guān)系更為復(fù)雜。盡管如此，環(huán)境仍然有限，許多迭代的快速模擬也是可能的。

然而，對于像自動駕駛這樣的現(xiàn)實問題，情況就不同了。安全到達目的地這個首要任務(wù)還是比較容易制定的。然而，環(huán)境明顯更加多樣化，模擬需要更加復(fù)雜才能使它們對了解實際問題有用。最終，模擬仍然需要用實際駕駛來代替，以考慮其他無法建模的因素，并且在實現(xiàn)人類績效之前，將繼續(xù)需要密切監(jiān)控。例如，自動駕駛汽車制造商 Waymo 在 2020 年的一份新聞稿中表示，其汽車需要 1400 年的駕駛經(jīng)驗才能與人類司機競爭。這是令人驚訝的，因為一個人只需練習(xí)幾周就可以安全地駕駛汽車。為什么不是

與抽象和推理相關(guān)的能力

人們可以快速學(xué)會玩游戲或開車，因為人腦可以通過抽象和推理來學(xué)習(xí)。通過這種類型的學(xué)習(xí)，例如，由于人類天生的空間意識，駕駛員可以從另一個角度或在另一個環(huán)境中想象交通燈的樣子。人類還可以在道路上發(fā)現(xiàn)顏色與之前看到的不同的汽車，并根據(jù)觀察和經(jīng)驗得出結(jié)論。

此類功能最近才在 ANN 中得到探索。盡管網(wǎng)絡(luò)的不同層級可以捕獲輸入的不同方面，例如形狀和顏色，但網(wǎng)絡(luò)只能處理明確包含在訓(xùn)練數(shù)據(jù)中的特征。如果 AI 在白天接受訓(xùn)練，則該模型不太可能在晚上處理其他情況。即使使用 DL，也必須在訓(xùn)練數(shù)據(jù)中考慮到這種差異，并且與訓(xùn)練數(shù)據(jù)的可接受偏差程度非常小。

目前正在探索通過抽象和推理進行學(xué)習(xí)的各種技術(shù)，但它們揭示了更多的挑戰(zhàn)和局限性。人工神經(jīng)網(wǎng)絡(luò)失敗的一個常見例子是計算機視覺系統(tǒng)，該系統(tǒng)以極高的可靠性檢測到西伯利亞哈士奇犬——比其他犬種更可靠。仔細檢查后發(fā)現(xiàn)，網(wǎng)絡(luò)將注意力集中在幾乎所有哈士奇圖像中出現(xiàn)的雪上，而忽略了狗本身。換句話說，該模型沒有看到地面的顏色——對人類來說是一個微不足道的細節(jié)——并不是狗的固有屬性。

這個例子看起來平庸和人為，但現(xiàn)實世界的后果可能是可怕的。讓我們再看看自動駕駛汽車的例子，事故很少見，但可以追溯到模棱兩可的情況。2018 年一名行人在四車道高速公路上推著自行車意外死亡就是一個例子，這種情況對于人類司機來說很容易處理，但由于 ANN 處理不當(dāng)而導(dǎo)致碰撞和死亡。在許多小時的訓(xùn)練中沒有觀察到這種情況，并且沒有足夠的故障轉(zhuǎn)移——“如果你不知道該怎么做，就停下來！”——已實施。結(jié)果，該系統(tǒng)似乎做出了不合理的反應(yīng)，因為它缺乏人類智能的基本基石。

更糟糕的是，人工智能中的這些盲點可能會被那些企圖傷害他人的人利用。例如，如果在訓(xùn)練過程中插入經(jīng)過處理的圖像，圖像分類可能會完全被誤導(dǎo)。盡管圖像中的微小變化人類無法察覺，但相同的變化在 ANN 中可能會有不同的感知和解釋。在一個示例中，帶有不起眼貼紙的停車標(biāo)志被錯誤地識別為其他標(biāo)志。如果這個經(jīng)過訓(xùn)練的模型用于實際的汽車，這可能會導(dǎo)致事故。另一方面，人類司機當(dāng)然仍然可以毫無問題地識別停車標(biāo)志。

克服障礙和限制

這些以及其他障礙和限制引發(fā)了如何向前推進并使 ANN 能夠進一步填補做出最佳決策方面的差距的問題。簡單的答案是更多的培訓(xùn)。如果訓(xùn)練數(shù)據(jù)的可變性和質(zhì)量足夠好，它可以將錯誤率降低到模型精度可以接受的程度。已經(jīng)表明，自動駕駛汽車發(fā)生事故的頻率已經(jīng)低于人類駕駛員，但“異常事故”的可能性阻礙了更廣泛的接受。

另一種系統(tǒng)方法是明確編碼所需的背景知識，并使其在 ML 過程中可用。例如，Cycorp 創(chuàng)建的知識庫已經(jīng)存在多年，包含數(shù)百萬個概念和關(guān)系，包括前面提到的停車標(biāo)志的含義。目的是以機器可讀的形式手動編碼人類知識，以便 AI 可以依靠訓(xùn)練數(shù)據(jù)并得出結(jié)論并評估未知情況，至少在某種程度上，以類似于人類直覺的方式。

結(jié)論

能夠感知周圍環(huán)境并識別重要細節(jié)并做出最佳決策的技術(shù)不再是科幻小說。強化學(xué)習(xí)是機器學(xué)習(xí)的三個分支之一，它提供了可以處理高維變量和動態(tài)環(huán)境的工具和框架。然而，這些解決方案也帶來了新的挑戰(zhàn)，特別是需要廣泛的神經(jīng)網(wǎng)絡(luò)、全面的訓(xùn)練，以及通過抽象和推理來模仿人類的學(xué)習(xí)能力以適應(yīng)新的情況。盡管人工智能能夠取得令人矚目的成就，并且在許多現(xiàn)實世界的應(yīng)用中變得越來越不可或缺，但它距離實現(xiàn)人類水平的學(xué)習(xí)能力還有很長的路要走。體驗中間步驟或許比科幻小說本身更有趣。

審核編輯：湯梓紅