強(qiáng)化學(xué)習(xí)（RL）能通過獎勵或懲罰使智能體實現(xiàn)目標(biāo)，并將它們學(xué)習(xí)到的經(jīng)驗轉(zhuǎn)移到新環(huán)境中。但強(qiáng)化學(xué)習(xí)存在眾所周知的缺陷：由于數(shù)據(jù)科學(xué)家在它們接受訓(xùn)練的環(huán)境中對這個系統(tǒng)進(jìn)行基準(zhǔn)測試，所以產(chǎn)生了過擬合，即訓(xùn)練數(shù)據(jù)擬合程度過當(dāng)?shù)那闆r。非營利性人工智能研究公司OpenAI正在通過人工智能訓(xùn)練環(huán)境（CoinRun）來解決這個問題，該環(huán)境為智能體將其經(jīng)驗轉(zhuǎn)移到不熟悉的場景的能力提供了一項衡量指標(biāo)，它本質(zhì)上就像一個擁有敵人、目標(biāo)和不同難度關(guān)卡等完備信息的經(jīng)典平臺游戲。

OpenAI表示CoinRun在復(fù)雜性方面取得了理想的平衡效果，其訓(xùn)練環(huán)境比《刺猬索尼克》等傳統(tǒng)游戲平臺簡單得多，但它仍然對最先進(jìn)的算法提出了一個有價值的泛化問題。CoinRun的訓(xùn)練級別是程序生成的，可為智能體提供大量易于量化的訓(xùn)練數(shù)據(jù)。

正如OpenAI所解釋的那樣，之前在強(qiáng)化學(xué)習(xí)環(huán)境中所做的工作主要集中在程序生成的迷宮、像一般電子游戲AI框架這樣的社區(qū)項目以及像《刺猬索尼克》這樣的游戲上，通過在不同等級上的訓(xùn)練和測試智能體來衡量泛化效果。相比之下，CoinRun在每個等級訓(xùn)練結(jié)束時都會為智能體提供一個獎勵。

在傳統(tǒng)的訓(xùn)練中，AI智能體必須應(yīng)對碰撞以后會導(dǎo)致死亡的固定或者移動的障礙。當(dāng)收集完硬幣，或者走1000步之后，訓(xùn)練就結(jié)束了。

似乎這還不夠，所以O(shè)penAI開發(fā)了兩個額外的環(huán)境來探索過擬合的問題：CoinRun-Platforms和RandomMazes。CoinRun-Platforms包括隨機(jī)分散在平臺上的幾個硬幣，促使智能體積極探索關(guān)卡并時不時做一些回溯。RandomMazes是一個簡單的迷宮導(dǎo)航任務(wù)。

為了驗證CoinRun、CoinRun-Platforms和RandomMazes，OpenAI培訓(xùn)了9個智能體，每個智能體具有不同數(shù)量的訓(xùn)練等級。前8個接受了100到16000個等級的訓(xùn)練，最后一個接受了不受限制的等級訓(xùn)練——實際上大約是200萬個——這樣它就不會兩次看到相同的等級。

智能體在4000訓(xùn)練等級處出現(xiàn)了過擬合，甚至在16000的訓(xùn)練等級處也是這樣。表現(xiàn)最佳的智能體竟然是那些受到無限制水平訓(xùn)練的。在CoinRun-Platforms和RandomMazes中，智能體在所有情況下都過擬合了。

OpenAI稱，使用程序生成的CoinRun環(huán)境可以精確地量化這種過擬合，可以更好地評估關(guān)鍵架構(gòu)和算法決策。OpenAI相信從這種環(huán)境中汲取的經(jīng)驗教訓(xùn)將適用于更復(fù)雜的環(huán)境，也希望利用這一基準(zhǔn)，以及其他類似的基準(zhǔn)來迭代開發(fā)更通用的智能體。