強(qiáng)化學(xué)習(xí)中很多重要的難題都圍繞著兩個問題：我們應(yīng)該如何高效地與環(huán)境互動？如何從經(jīng)驗(yàn)中高效學(xué)習(xí)？在這篇文章中，我想對最近的深度強(qiáng)化學(xué)習(xí)研究做一些調(diào)查，找到解決這兩個問題的方法，其中主要會講到三部分：

分層強(qiáng)化學(xué)習(xí)

記憶和預(yù)測建模

有模型和無模型方法的結(jié)合

首先我們快速回顧下DQN和A3C這兩種方法，之后會深入到最近的幾篇論文中，看看它們在這一領(lǐng)域做出了怎樣的貢獻(xiàn)。

回顧DQN和A3C/A2C

DeepMind的深度Q網(wǎng)絡(luò)（DQN）是深度學(xué)習(xí)應(yīng)用到強(qiáng)化學(xué)習(xí)中實(shí)現(xiàn)的第一個重大突破，它利用一個神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)Q函數(shù)，來玩經(jīng)典雅達(dá)利游戲，例如《乓》和《打磚塊》，模型可以直接將原始的像素輸入轉(zhuǎn)化成動作。

從算法上來說，DQN直接依賴經(jīng)典的Q學(xué)習(xí)技術(shù)。在Q學(xué)習(xí)中，動作對的Q值，或者說“質(zhì)量”，是根據(jù)基于經(jīng)驗(yàn)的迭代更新來估計的。從本質(zhì)上說，在每個狀態(tài)采取的行動，我們都能利用接收到的實(shí)時獎勵和新狀態(tài)的價值來更新原始狀態(tài)動作對的價值估計。

除此之外，DeepMind的A3C（Asynchronous Advantage Actor Critic）和OpenAI的變體A2C，對actor-critic方法來說都是非常成功的深度學(xué)習(xí)方法。

Actor-critic方法結(jié)合了策略梯度方法和學(xué)習(xí)價值函數(shù)。只用DQN，我們只能得到學(xué)習(xí)價值函數(shù)（Q函數(shù)），我們跟隨的“策略”也只是簡單的在每一步將Q值達(dá)到最大的動作。有了A3C和其他actor-critic方法，我們學(xué)習(xí)兩種不同的函數(shù)：策略（或者“演員”）和價值（或者“評委”）?；诋?dāng)前估計的優(yōu)點(diǎn)，策略會調(diào)整動作的概率，價值函數(shù)也會更新基于經(jīng)驗(yàn)和獎勵的優(yōu)勢。策略如下：

可以看到，降至網(wǎng)絡(luò)學(xué)習(xí)了一個基準(zhǔn)狀態(tài)值V(si;θv)，有了它我們可以將目前的獎勵估計R和得到的優(yōu)點(diǎn)相比較，策略網(wǎng)絡(luò)會根據(jù)這些優(yōu)點(diǎn)用經(jīng)典強(qiáng)化算法調(diào)整對數(shù)幾率。

A3C之所以這么受歡迎，主要原因是它結(jié)構(gòu)的平行和不同步性，具體結(jié)構(gòu)不是本文重點(diǎn)討論的內(nèi)容，感興趣的讀者可以查看DeepMind的IMPALA論文。

DQN和A3C/A2C都是強(qiáng)大的基準(zhǔn)智能體，但遇到復(fù)雜問題時，它們并不那么好用，比如可能觀察補(bǔ)全或者在動作和獎勵信號之間有延遲。所以，強(qiáng)化學(xué)習(xí)領(lǐng)域的研究者們一直致力于解決這些問題。

分層強(qiáng)化學(xué)習(xí)

分層強(qiáng)化學(xué)習(xí)是強(qiáng)化學(xué)習(xí)方法的一種，它從策略的多個圖層中學(xué)習(xí)，每一層都負(fù)責(zé)控制不同時間下的動作。策略的最下一層負(fù)責(zé)輸出環(huán)境動作，上面幾層可以完成其他抽象的目標(biāo)。

為什么這種方法如此受歡迎呢？首先，從認(rèn)知角度來看，長久以來的研究都表示，人類和動物的行為都是有組織的。例如，當(dāng)我們想做飯的時候，我會把這一任務(wù)分成好幾部分完成：洗菜、切菜、燒水煮面等等。我還可以把其中的某一小任務(wù)進(jìn)行替換，比如把煮面換成蒸米飯，也能完成做好一頓飯的總?cè)蝿?wù)。這就說明現(xiàn)實(shí)世界中的任務(wù)內(nèi)部是有結(jié)構(gòu)的。

從技術(shù)層面來說，分層強(qiáng)化學(xué)習(xí)能幫助解決上述提到的第二個問題，即如何從經(jīng)驗(yàn)中高效地學(xué)習(xí)，解決方法就是通過長期信用分配和稀疏獎勵信號。在分層強(qiáng)化學(xué)習(xí)中，由于低層次的策略是從高層次策略分布的任務(wù)所得到的內(nèi)部獎勵學(xué)習(xí)的，即使獎勵稀疏，也可以學(xué)到其中的小任務(wù)。另外，高層次策略生成的時間抽象可以讓我們的模型處理信用分配。

說到具體工作原理，實(shí)施分層強(qiáng)化學(xué)習(xí)的方法有很多。最近，谷歌大腦團(tuán)隊(duì)的一篇論文就采取了一種簡易方法，他們的模型稱為HIRO。

核心思想如下：我們有兩個策略層，高層策略訓(xùn)練的目的是為了讓環(huán)境獎勵R實(shí)現(xiàn)最大化。每一步后，高層策略都會對新動作進(jìn)行采樣。低層策略訓(xùn)練的目的是為了采取環(huán)境行動，生成與給定的目標(biāo)狀態(tài)相似的狀態(tài)。

訓(xùn)練低層策略時，HIRO用的是深度確定性策略梯度（DDPG）的變體，它的內(nèi)部獎勵是將目前得到的觀察和目標(biāo)觀察之間的距離進(jìn)行參數(shù)化：

DDPG是另一種開創(chuàng)新的深度強(qiáng)化學(xué)習(xí)算法，它將DQN的思想擴(kuò)展到了持續(xù)動作空間中。他也是另一種actor-critic方法，使用策略梯度來優(yōu)化策略。

不過，HIRO絕不是唯一的分層強(qiáng)化學(xué)習(xí)方法。FeUdal網(wǎng)絡(luò)出現(xiàn)的時間更早，它將經(jīng)過學(xué)習(xí)的“目標(biāo)”表示作為輸入，而不是原始狀態(tài)的觀察。另外還有很多方法需要一定程度的手動操作或領(lǐng)域知識，這就限制了其泛化能力。我個人比較喜歡的最近的一項(xiàng)研究成果是基于人口的訓(xùn)練（PBT），其中他們將內(nèi)部獎勵看作額外的超參數(shù)，PBT在訓(xùn)練時人口“增長”的過程中對這些超參數(shù)進(jìn)行優(yōu)化。

如今，分層強(qiáng)化學(xué)習(xí)是非?；馃岬难芯繉ο?，雖然它的核心是非常直觀的，但它可擴(kuò)展、多任務(wù)并行、能解決強(qiáng)化學(xué)習(xí)中的許多基礎(chǔ)性問題。

存儲和注意力

現(xiàn)在讓我們談?wù)劻硗饽芙鉀Q長期信用分配和稀疏獎勵信號問題的方法。通俗點(diǎn)說，我們想知道智能體如何能擅長記憶。

深度學(xué)習(xí)中的記憶總是非常有趣，科學(xué)家們經(jīng)歷了千辛萬苦，也很難找到一種結(jié)構(gòu)能打敗經(jīng)過良好調(diào)校的LSTM。但是，人類的記憶機(jī)制可不像LSTM。當(dāng)我們從家開車去超市時，回想的都是原來走過幾百次的路線記憶，而不是怎么從倫敦的一個城市到另一個城市的路線。所以說，我們的記憶是根據(jù)情景可查詢的，它取決于我們在哪里、在干什么，我們的大腦知道哪部分記憶對現(xiàn)在有用。

在深度學(xué)習(xí)中，Neural Turing Machine是外部、關(guān)鍵信息存儲方面論文的標(biāo)桿，這也是我最喜歡的論文之一，它提出通過向量值“讀取”和“寫入”特定位置，利用可區(qū)分的外部存儲器對神經(jīng)網(wǎng)絡(luò)進(jìn)行增強(qiáng)。如果把它用在強(qiáng)化學(xué)習(xí)上會怎樣？這就是最近的MERLIN結(jié)構(gòu)的思想。

MERLIN有兩個組成部分：基于記憶的預(yù)測器（MBP）和一個策略網(wǎng)絡(luò)。MBP負(fù)責(zé)將觀察壓縮成有用的、低維的“狀態(tài)變量”，將它們直接儲存在關(guān)鍵的記憶矩陣中。

整個過程如下：對輸入觀察進(jìn)行編碼，并將其輸入到MLP中，輸出結(jié)果被添加到先驗(yàn)分布中，生成后驗(yàn)分布。接著，后驗(yàn)分布經(jīng)過采樣，生成一個狀態(tài)變量zt。接著，zt輸入到MBP的LSTM網(wǎng)絡(luò)中，輸出結(jié)果用來更新先驗(yàn)，并且進(jìn)行讀取或書寫。最后，策略網(wǎng)絡(luò)運(yùn)用z_t和讀取輸出生成一個動作。

關(guān)鍵細(xì)節(jié)在與，為了保證狀態(tài)表示時有用的，MBP同樣經(jīng)過訓(xùn)練需要預(yù)測當(dāng)前狀態(tài)下的獎勵，所以學(xué)習(xí)到的表示和目前的任務(wù)要相關(guān)。

不過，MERLIN并不是唯一使用外部存儲器的深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)，早在2016年，研究者就在一個記憶Q網(wǎng)絡(luò)中運(yùn)用了這一方法，來解決Minecraft中的迷宮問題。不過這種將存儲用作預(yù)測模型的方法有一些神經(jīng)科學(xué)上的阻礙。

MERLIN的基于存儲的預(yù)測器對所有觀察進(jìn)行編碼，將它們與內(nèi)部先驗(yàn)結(jié)合，生成一個“狀態(tài)變量”，可以捕捉到一些表示，并將這些狀態(tài)存儲到長期記憶中，讓智能體在未來可以做出相應(yīng)的動作。

智能體、世界模型和想象力

在傳統(tǒng)強(qiáng)化學(xué)習(xí)中，我們可以做無模型學(xué)習(xí)，也可以做基于模型的學(xué)習(xí)。在無模型的強(qiáng)化學(xué)習(xí)中，我們學(xué)著將原始環(huán)境觀察直接映射到某個值或動作上。在基于模型的強(qiáng)化學(xué)習(xí)中，我們首先會學(xué)習(xí)一個基于原始觀察的過渡模型，然后用這個模型來選擇動作。

能在模型上進(jìn)行計劃比單純的試錯法更高效，但是，學(xué)習(xí)一個好的模型通常很困難，所以早期很多深度強(qiáng)化學(xué)習(xí)的成功都是無模型的（例如DQN和A3C）。

這就表示，無模型和有模型的強(qiáng)化學(xué)習(xí)之間的界線很模糊?，F(xiàn)在，一種新的“Imagination-augmented Agents”算法出現(xiàn)了，將這兩種方法結(jié)合了起來。

在Imagination-Augmented Agents（I2A）中，最終策略是一個無模型模塊和有模型模塊并存的函數(shù)。有模型的模塊可以看做智能體對環(huán)境的“想象”，其中包含了智能體內(nèi)部想象的活動軌跡。但是，關(guān)鍵是有模型模塊在終點(diǎn)處有一個編碼器，它可以聚集想象軌跡，并將它們進(jìn)行編譯，讓智能體在必要的時候忽略那些想象。所以，當(dāng)智能體發(fā)現(xiàn)它的內(nèi)部模型在進(jìn)行無用或不精確的想象時，它可以學(xué)習(xí)忽略模型，用無模型部分繼續(xù)工作。

I2A的工作流程

和A3C以及MERLIN類似，該策略也是通過一個標(biāo)準(zhǔn)策略梯度損失進(jìn)行訓(xùn)練，如下：

I2A之所以如此受歡迎的原因之一是，在某些情況下，這也是我們在現(xiàn)實(shí)中處理情況的方法。我們總是根據(jù)所處的環(huán)境下，目前的精神想法對未來做計劃和預(yù)測，但我們知道，我們的精神模型可能不完全準(zhǔn)確，尤其是當(dāng)我們來到一個陌生環(huán)境中時。在這種情況下，我們就會進(jìn)行試錯法，就像無模型方法一樣，但同時我們還會利用這一段新體驗(yàn)對內(nèi)在精神環(huán)境進(jìn)行更新。

除此之外，還有很多研究結(jié)合了有模型和無模型兩種方法，例如伯克利的Temporal Difference Model等，這些研究論文都有著相同目標(biāo)，即達(dá)到像無模型方法一樣的性能，同時具有和基于模型方法相同的高效采樣率。

結(jié)語

深度強(qiáng)化學(xué)習(xí)模型非常難以訓(xùn)練，但是正是因?yàn)檫@樣的難度，我們想到了如此多種的解決方案。這篇文章只是對深度強(qiáng)化學(xué)習(xí)的不完全調(diào)查，除了本文提到了方法，還有很多針對深度強(qiáng)化學(xué)習(xí)的解決方案。但是希望文中所提到的關(guān)于記憶、分層和想象的方法對該領(lǐng)域中所遇到的挑戰(zhàn)和瓶頸有所幫助。最后，Happy RL hacking！