新智元報道

來源：DeepMind

編譯：Marvin

【新智元導(dǎo)讀】DeepMind今天發(fā)表博客文章，提出一種稱為SAC-X（計劃輔助控制）的新學(xué)習(xí)范式，旨在解決讓AI以最少的先驗知識，從頭開始學(xué)習(xí)復(fù)雜控制問題的挑戰(zhàn)。這在真實環(huán)境中成功讓機械臂從頭開始學(xué)習(xí)拾放物體。研究者認(rèn)為，SAC-X是一種通用的強化學(xué)習(xí)方法，未來可以應(yīng)用于機器人以外的更廣泛領(lǐng)域。

讓孩子（甚至成年人）在使用物品之后自己收拾可能是頗有挑戰(zhàn)性的事情，但我們面臨一個更大的挑戰(zhàn)：試圖讓我們的AI也這樣做。成功與否取決于AI是否掌握幾個核心的視覺運動技能：接近一個物體，抓住并舉起它，然后打開一個盒子并把物體放進(jìn)里面。使事情更復(fù)雜的是，這些技能還必須用正確的順序做。

控制任務(wù)（control tasks），例如整理桌子或堆放物體，要求agent能夠確定如何、何時以及在哪里協(xié)調(diào)它的模擬手臂和手指的9個關(guān)節(jié)，以正確地移動物體，實現(xiàn)它的目標(biāo)。在任何給定一段時間里，可能的運動組合數(shù)量會非常龐大，并且需要執(zhí)行一系列正確的操作，這就構(gòu)成了一個嚴(yán)峻的探索性問題——使得這成為強化學(xué)習(xí)研究的一個特別有趣的領(lǐng)域。

獎賞塑形（reward shaping）、學(xué)徒學(xué)習(xí)（apprenticeship learning）以及示范學(xué)習(xí)等技巧可以幫助解決這個問題。但是，這些方法依賴于大量的關(guān)于任務(wù)的知識——以最少的先驗知識，從頭開始學(xué)習(xí)復(fù)雜控制問題，仍然是一個公開的挑戰(zhàn)。

DeepMind近日發(fā)表的新論文“Learning by Playing - Solving Sparse Reward Tasks from Scratch”提出一種新的學(xué)習(xí)范式，稱為“Scheduled Auxiliary Control (SAC-X)”（計劃輔助控制），旨在解決這個問題。SAC-X的想法是要從頭開始學(xué)習(xí)復(fù)雜的任務(wù)，那么agent必須先學(xué)習(xí)探索和掌握一套基本的技能。就像嬰兒在學(xué)會爬行和走路之前必須先發(fā)展協(xié)調(diào)和平衡的能力一樣，向agent提供一些與簡單的技能相對應(yīng)的內(nèi)部（輔助）目標(biāo)可以增加它理解和成功執(zhí)行更復(fù)雜任務(wù)的機會。

我們在幾個模擬的和真實的機器人任務(wù)中演示了SAC-X的方法，包含各種任務(wù)，例如不同類物體的堆疊問題，場地整理問題（需要將物體放入盒子）。 我們定義的輔助任務(wù)遵循一個總原則：它們鼓勵agent去探索它的感知空間（ sensor space）。 例如，激活它的手指上的觸摸傳感器，感知其手腕受到的力，使其本體感受傳感器（ proprioceptive sensors）中的關(guān)節(jié)角度達(dá)到最大，或強制物體在其視覺相機傳感器中移動。如果達(dá)到了目標(biāo)，每個任務(wù)會關(guān)聯(lián)到一個簡單的獎勵，否則獎勵為零。

圖2：agent學(xué)習(xí)的第一件事是激活手指上的觸摸傳感器，并移動兩個物體。

圖3：模擬agent最終掌握了“堆疊”物體這個復(fù)雜任務(wù)。

然后，agent就可以自行決定它當(dāng)前的“意圖”（intention），即接下來的目標(biāo)。目標(biāo)可以是輔助任務(wù)或外部定義的目標(biāo)任務(wù)。更重要的是，agent可以通過充分利用off-policy learning來檢測并從其他任務(wù)的獎勵信號學(xué)習(xí)。例如，在拾取或移動一個物體時，agent可能會順便把它堆疊起來，從而得到“堆疊”的獎勵。由于一系列簡單的任務(wù)可以導(dǎo)致觀察到罕見的外部獎勵，所以將“意圖”進(jìn)行安排（schedule）的能力是至關(guān)重要的。這可以根據(jù)所收集到的所有相關(guān)知識創(chuàng)建一個個性化的學(xué)習(xí)課程。

事實證明，這是在如此大的一個領(lǐng)域中充分利用知識的一種有效方法，而且在只有很少的外部獎勵信號的情況下尤其有用。我們的agent通過一個 scheduling 模塊來決定遵循那個意圖。在訓(xùn)練過程中，scheduler通過一個meta-learning算法進(jìn)行優(yōu)化，該算法試圖使主任務(wù)的進(jìn)度最大化，從而顯著提高數(shù)據(jù)效率。

圖4：在探索了許多內(nèi)部輔助任務(wù)之后，agent學(xué)習(xí)如何堆疊和整理物體。

我們的評估顯示，SAC-X能夠解決我們從頭設(shè)置的所有任務(wù)——使用相同的底層輔助任務(wù)集。更令人興奮的是，我們在實驗室的一個真實的機械臂上直接利用SAC-X，成功地從頭開始學(xué)會了拾取和放置任務(wù)。過去，這一點特別具有挑戰(zhàn)性，因為真實世界中機器人的學(xué)習(xí)需要數(shù)據(jù)效率，所以主流的方法是在模擬環(huán)境中預(yù)訓(xùn)練（pre-train）一個agent，然后將agent轉(zhuǎn)移到真實的機械臂。

圖5：在真正的機械臂上，SAC-X學(xué)習(xí)如何從頭開始拾取和移動綠色方塊。它此前從未見過這一任務(wù)。

我們認(rèn)為SAC-X是從頭開始學(xué)習(xí)控制任務(wù)的重要一步，只需指定一個總體目標(biāo)。SAC-X允許你任意定義輔助任務(wù)：可以基于一般性認(rèn)識（例如在個實驗中是故意激活傳感器），但最終可以包含研究人員認(rèn)為重要的任何任務(wù)。從這個角度看，SAC-X是一種通用的強化學(xué)習(xí)方法，不止是控制和機器人領(lǐng)域，可以廣泛應(yīng)用于一般的稀疏強化學(xué)習(xí)環(huán)境。

這一工作由以下研究者共同完成：Martin Riedmiller, Roland Hafner, Thomas Lampe, Michael Neunert, Jonas Degrave, Tom Van de Wiele, Volodymyr Mnih, Nicolas Heess and Tobias Springenberg.

2017 年，作為人工智能領(lǐng)域最具影響力的產(chǎn)業(yè)服務(wù)平臺——新智元成功舉辦了「新智元開源 · 生態(tài)技術(shù)峰會」和「2017AIWORLD 世界人工智能大會」。憑借超高活動人氣及行業(yè)影響力，獲得2017 年度活動行 “年度最具影響力主辦方”獎項。

其中「2017AIWORLD 世界人工智能大會」創(chuàng)人工智能領(lǐng)域活動先河，參會人次超 5000；開場視頻在騰訊視頻點播量超 100 萬；新華網(wǎng)圖文直播超 1200 萬；

2018 年的 3 月 29 日，新智元再匯 AI 之力，共筑產(chǎn)業(yè)躍遷之路，將在北京舉辦 2018 年中國 AI 開年盛典——2018 新智元 AI 技術(shù)峰會。本次峰會以 “產(chǎn)業(yè) · 躍遷” 為主題，特邀諾貝爾獎評委 德國人工智能研究中心創(chuàng)始人兼 CEO Wolfgang Wahlster 親臨現(xiàn)場與谷歌、微軟、亞馬遜、BAT、科大訊飛、京東和華為等企業(yè)重量級嘉賓，共同研討技術(shù)變革，助力領(lǐng)域融合發(fā)展。

新智元誠摯邀請關(guān)心人工智能行業(yè)發(fā)展的各界人士 3 月 29 日親臨峰會現(xiàn)場，共同參與這一跨領(lǐng)域的思維碰撞。