在強(qiáng)化學(xué)習(xí)問(wèn)題中，關(guān)于任務(wù)目標(biāo)的制定，往往需要開發(fā)人員花費(fèi)很多的精力，在本文中，谷歌大腦聯(lián)合佐治亞理工學(xué)院提出了正向-反向強(qiáng)化學(xué)習(xí)（Forward-Backward Reinforcement Learning，F(xiàn)BRL），它既能從開始位置正向進(jìn)行探索，也可以從目標(biāo)開始進(jìn)行反向探索，從而加速智能體的學(xué)習(xí)過(guò)程。

一般來(lái)說(shuō)，強(qiáng)化學(xué)習(xí)問(wèn)題的目標(biāo)通常是通過(guò)手動(dòng)指定的獎(jiǎng)勵(lì)來(lái)定義的。為了設(shè)計(jì)這些問(wèn)題，學(xué)習(xí)算法的開發(fā)人員必須從本質(zhì)上了解任務(wù)的目標(biāo)是什么。然而我們卻經(jīng)常要求智能體在沒(méi)有任何監(jiān)督的情況下，在這些稀疏獎(jiǎng)勵(lì)之外，獨(dú)自發(fā)現(xiàn)這些任務(wù)目標(biāo)。雖然強(qiáng)化學(xué)習(xí)的很多力量來(lái)自于這樣一種概念，即智能體可以在很少的指導(dǎo)下進(jìn)行學(xué)習(xí)，但這一要求對(duì)訓(xùn)練過(guò)程造成了極大的負(fù)擔(dān)。

如果我們放松這一限制，并賦予智能體關(guān)于獎(jiǎng)勵(lì)函數(shù)的知識(shí)，尤其是目標(biāo)，那么我們就可以利用反向歸納法（backwards induction）來(lái)加速訓(xùn)練過(guò)程。為了達(dá)到這個(gè)目的，我們提出訓(xùn)練一個(gè)模型，學(xué)習(xí)從已知的目標(biāo)狀態(tài)中想象出反向步驟。

我們的方法不是專門訓(xùn)練一個(gè)智能體以決策該如何在前進(jìn)的同時(shí)到達(dá)一個(gè)目標(biāo)，而是反向而行，共同預(yù)測(cè)我們是如何到達(dá)目標(biāo)的。我們?cè)贕ridworld和漢諾塔（Towers of Hanoi）中對(duì)我們的研究進(jìn)行了評(píng)估，并通過(guò)經(jīng)驗(yàn)證明了，它的性能比標(biāo)準(zhǔn)的深度雙Q學(xué)習(xí)（Deep Double Q-Learning，DDQN）更好。

強(qiáng)化學(xué)習(xí)（Reinforcement Learning，RL）問(wèn)題通常是由智能體在對(duì)環(huán)境的任務(wù)獎(jiǎng)勵(lì)盲然無(wú)知的情況下規(guī)劃的。然而，對(duì)于許多稀疏獎(jiǎng)勵(lì)問(wèn)題，包括點(diǎn)對(duì)點(diǎn)導(dǎo)航、拾取和放置操縱、裝配等等目標(biāo)導(dǎo)向的任務(wù)，賦予該智能體以獎(jiǎng)勵(lì)函數(shù)的知識(shí)，對(duì)于學(xué)習(xí)可泛化行為來(lái)說(shuō)，既可行又實(shí)用。

通常，這些問(wèn)題的開發(fā)人員通常知道任務(wù)目標(biāo)是什么，但不一定知道如何解決這些問(wèn)題。在本文中，我們將介紹我們?nèi)绾卫脤?duì)目標(biāo)的知識(shí)，使我們甚至能夠在智能體到達(dá)這些領(lǐng)域之前學(xué)習(xí)這些領(lǐng)域中的行為。相比于那些從一開始就將學(xué)習(xí)初始化的方法，這種規(guī)劃性方案可能更容易解決。

例如，如果我們知道所需的位置、姿勢(shì)或任務(wù)配置，那么我們就可以逆轉(zhuǎn)那些將我們帶到那里的操作，而不是迫使智能體獨(dú)自通過(guò)隨機(jī)發(fā)現(xiàn)來(lái)解決這些難題。

Gridworld和漢諾塔環(huán)境

本文中，我們介紹了正向-反向強(qiáng)化學(xué)習(xí)（Forward-Backward Reinforcement Learning，F(xiàn)BRL），它引入反向歸納，使我們的智能體能夠及時(shí)進(jìn)行逆向推理。通過(guò)一個(gè)迭代過(guò)程，我們既從開始位置正向進(jìn)行了探索，也從目標(biāo)開始進(jìn)行了反向探索。

為了實(shí)現(xiàn)這一點(diǎn)，我們引入了一個(gè)已學(xué)習(xí)的反向動(dòng)態(tài)模型，以從已知的的目標(biāo)狀態(tài)開始進(jìn)行反向探索，并在這個(gè)局部領(lǐng)域中更新值。這就產(chǎn)生了“展開”稀疏獎(jiǎng)勵(lì)的效果，從而使它們更容易發(fā)現(xiàn)，并因此加速了學(xué)習(xí)過(guò)程。

標(biāo)準(zhǔn)的基于模型的方法旨在通過(guò)正向想象步驟并使用這些產(chǎn)生幻覺(jué)的事件來(lái)增加訓(xùn)練數(shù)據(jù)，從而減少學(xué)習(xí)優(yōu)秀策略所必需的經(jīng)驗(yàn)的數(shù)量。然而，并不能保證預(yù)期的狀態(tài)會(huì)通向目標(biāo)，所以這些轉(zhuǎn)出結(jié)果可能是不充分的。

預(yù)測(cè)一個(gè)行為的結(jié)果的能力并不一定能提供指導(dǎo)，告訴我們哪些行為會(huì)通向目標(biāo)。與此相反，F(xiàn)BRL采用了一種更有指導(dǎo)性的方法，它給定了一個(gè)精確的模型，我們相信，每一個(gè)處于反向步驟中的狀態(tài)都有通向目標(biāo)的路徑。

Gridworld中的實(shí)驗(yàn)結(jié)果，其中n =5、10、15、20。我們分別使用50、100、150、200步的固定水平，結(jié)果是10次實(shí)驗(yàn)的平均值。

相關(guān)研究

當(dāng)我們?cè)L問(wèn)真正的動(dòng)態(tài)模型時(shí)，可以使用純粹基于模型的方法（如動(dòng)態(tài)編程）來(lái)計(jì)算所有狀態(tài)的值（Sutton和Barto于1998年提出），盡管當(dāng)狀態(tài)空間較大或連續(xù)時(shí)，難以在整個(gè)狀態(tài)空間中進(jìn)行迭代。Q-Learning是一種無(wú)模型方法，它通過(guò)直接訪問(wèn)狀態(tài)以在線方式更新值，而函數(shù)逼近技術(shù)（如Deep Q-Learning）可以泛化到未見(jiàn)的數(shù)據(jù)中（Mnih等人于2015年提出）。

基于模型和無(wú)模型信息的混合方法也可以使用。例如，DYNA-Q（Sutton于1990年提出）是一種早期的方法，它使用想象的轉(zhuǎn)出出來(lái)更新Q值，就如同在真實(shí)環(huán)境中經(jīng)歷過(guò)一樣。最近出現(xiàn)了更多方法，例如NAF（Gu等人于2016年提出）和I2A（Weber等人于2017年提出）。但這些方法只使用正向的想象力。

與我們自己的方法相似的方法是反向的值迭代（Zang等人于2007年提出），但這是一種純粹基于模型的方法，并且它不學(xué)習(xí)反向模型。一個(gè)相關(guān)的方法從一開始就實(shí)現(xiàn)雙向搜索和目標(biāo)（Baldassarre于2003年提出），但這項(xiàng)研究只是學(xué)習(xí)值，而我們的目標(biāo)是學(xué)習(xí)行動(dòng)和值。

另一項(xiàng)相似的研究是通過(guò)使用接近目標(biāo)狀態(tài)的反向課程來(lái)解決問(wèn)題（Florensa等人于2017年提出）。但是，該方法假設(shè)智能體可以在目標(biāo)附近得以初始化。我們不做這個(gè)假設(shè)，因?yàn)榱私饽繕?biāo)狀態(tài)并不意味著我們知道該如何達(dá)到這一狀態(tài)。

漢諾塔中的實(shí)驗(yàn)結(jié)果，其中n = 2、3。我們分別使用50、100步的固定水平。 結(jié)果是10次試驗(yàn)的平均值。

許多研究通過(guò)使用域知識(shí)來(lái)幫助加速學(xué)習(xí)，例如獎(jiǎng)勵(lì)塑造（Ng等人于1999年提出）。另一種方法是更有效地利用回放緩沖區(qū)中的經(jīng)驗(yàn)。優(yōu)先經(jīng)驗(yàn)復(fù)現(xiàn)（Schaul等人于2015年提出）旨在回放具有高TD誤差的樣本。事后經(jīng)驗(yàn)回放（Hindsight experience replay）將環(huán)境中的每個(gè)狀態(tài)視為一個(gè)潛在目標(biāo)，這樣即使系統(tǒng)無(wú)法達(dá)到所需的目標(biāo)，也可以進(jìn)行學(xué)習(xí)。

使用反向動(dòng)力學(xué)的概念類似于動(dòng)力學(xué)逆過(guò)程（Agrawal等人于2016年，Pathak等人于2017年提出）。在這些方法中，系統(tǒng)預(yù)測(cè)在兩個(gè)狀態(tài)之間產(chǎn)生轉(zhuǎn)換的動(dòng)態(tài)。我們的方法是利用狀態(tài)和動(dòng)作來(lái)預(yù)測(cè)前一個(gè)狀態(tài)。此函數(shù)的目的是進(jìn)行反向操作，并使用此分解來(lái)學(xué)習(xí)靠近目標(biāo)的值。

本文中，我們介紹了一種加速學(xué)習(xí)具有稀缺獎(jiǎng)勵(lì)問(wèn)題的方法。我們介紹了FBRL，它從目標(biāo)的反向過(guò)程中得到了想象步驟。我們證明了該方法在Gridworld和諾塔中的性能表現(xiàn)優(yōu)于DDQN。這項(xiàng)研究有多個(gè)擴(kuò)展方向。

我們對(duì)于評(píng)估一個(gè)反向計(jì)劃方法很感興趣，但我們也可以運(yùn)用正向和反向的想象力進(jìn)行訓(xùn)練。另一項(xiàng)進(jìn)步是改善規(guī)劃策略。我們使用了一種具有探索性和貪婪性的方法，但沒(méi)有評(píng)估如何在兩者之間進(jìn)行權(quán)衡。我們可以使用優(yōu)先掃描（Moore和Atkeson等人于1993年提出），它選擇那些能夠?qū)е戮哂懈逿D誤差狀態(tài)的行為。