近日，Science子刊發(fā)表文章，來自Facebook、加州伯克利分校和德克薩斯奧斯汀大學(xué)的研究人員通過強(qiáng)化學(xué)習(xí)解決了“如何讓智能體獲取信息性的視覺觀察”的問題。具體來說就是，AI智能體對新環(huán)境“瞥上幾眼”，就能快速推斷整個新環(huán)境的情況。AI的能力越來越接近人類了。

又接近了人類一步。

當(dāng)我們給計(jì)算機(jī)視覺系統(tǒng)輸入一張照片時，它們可以很容易捕獲照片中的信息。但是，自主捕獲信息對于計(jì)算機(jī)視覺系統(tǒng)還是非常困難的。

簡單來說就是，當(dāng)我們?nèi)祟惪吹较聢D左、中兩個不同方向的獎杯時，就有可能推測出第三個方向上獎杯的樣子。

但對于計(jì)算機(jī)視覺系統(tǒng)或者AI智能體來說，這種能力的實(shí)現(xiàn)是較為困難的。

近日，Science子刊(Sience Robotics)封面發(fā)表了一篇文章，便對這項(xiàng)任務(wù)做了深入研究，并讓智能體的視覺系統(tǒng)取得了突破性進(jìn)展。不得不感嘆AI離人類的距離又拉近了一段！

來自Facebook、加州伯克利分校和德克薩斯奧斯汀大學(xué)的研究人員通過強(qiáng)化學(xué)習(xí)解決了“如何讓智能體獲取信息性的視覺觀察”的問題。具體來說就是，AI智能體對新環(huán)境“瞥上幾眼”，就能快速推斷整個新環(huán)境的情況。

如上圖所示，AI智能體快速對新環(huán)境不同方向拍攝快照并作為輸入，通過總計(jì)不超過20%場景內(nèi)容的照片即可推測整個場景內(nèi)容！

“輕輕一瞥”，新場景即刻再現(xiàn)！

對于一個智能體，環(huán)境的各個視圖只提供所有相關(guān)信息的一小部分。

例如，一個智能體如果看到前面的電視屏幕，它可能不知道電視是在客廳還是臥室；智能體從側(cè)面觀察一個杯子，可能要從上面看才能知道杯子里面是什么。

這項(xiàng)研究的目標(biāo)是學(xué)習(xí)一種控制智能體的攝像機(jī)運(yùn)動策略，這樣它就可以有效地探索新的環(huán)境和對象。

為此，研究人員制定了一個基于主動觀察完成的無監(jiān)督學(xué)習(xí)目標(biāo)。它的主要思想是支持一系列的攝像機(jī)運(yùn)動，這些運(yùn)動能使智能體周圍看不見的部分更容易預(yù)測。其輸出是一個查找策略，用于在新環(huán)境中收集新圖像。

主動完成觀測任務(wù)面臨三大挑戰(zhàn)：

首先，為了很好地預(yù)測未觀察到的視圖，智能體必須學(xué)會從很少的視圖理解3D關(guān)系。經(jīng)典的幾何解在這些條件下很難求解；

其次，智能行動選擇是這項(xiàng)任務(wù)的關(guān)鍵。鑒于過去的一系列觀察結(jié)果，系統(tǒng)必須根據(jù)可能提供最多信息的新觀點(diǎn)采取行動，即，確定哪些視圖最能改進(jìn)其完整視圖網(wǎng)格的模型。

強(qiáng)調(diào)系統(tǒng)將面對在訓(xùn)練期間從未遇到的對象和場景，但仍然必須智能地選擇下一步看起來有價值的地方。

作為這些挑戰(zhàn)的核心解決方案，研究人員提出了一種用于主動觀測完成的RL方法，如下圖所示。

我們的RL方法使用遞歸神經(jīng)網(wǎng)絡(luò)來聚合一系列視圖中的信息; 隨機(jī)神經(jīng)網(wǎng)絡(luò)使用聚合狀態(tài)和當(dāng)前觀察來選擇一系列有用的相機(jī)運(yùn)動。智能體根據(jù)其對未觀察到的視圖的預(yù)測而獲得獎勵。因此，它學(xué)會了一種策略來智能地選擇動作(攝像機(jī)動作)，以最大限度地提高預(yù)測的質(zhì)量。

在訓(xùn)練期間，完整的viewgrid是已知的，因此允許智能體“自我監(jiān)督”其策略學(xué)習(xí)，這意味著它學(xué)習(xí)時不需要任何人類提供的標(biāo)簽。

該模型判斷了像素空間中viewgrid重構(gòu)的質(zhì)量，從而保持通用性：整個場景(或3D對象)的所有像素都包含了所有對任何任務(wù)都可能有用的視覺信息。

因此，該方法避免使用任何中間語義表示，而采用尋求對許多任務(wù)有用的通用信息的學(xué)習(xí)策略。也就是說，研究人員所提出的方法很容易適應(yīng)更專業(yè)的環(huán)境。例如，如果目標(biāo)任務(wù)只需要語義分割標(biāo)簽，那么預(yù)測可以放在對象標(biāo)簽的空間中。

RL方法往往存在勘探階段成本高和部分狀態(tài)可觀測性差的問題。特別是，一個活躍的視覺智能體必須完全基于第一人稱視圖中有限的可用信息進(jìn)行一系列的操作。最有效的視點(diǎn)軌跡隱藏在許多平庸的視點(diǎn)軌跡中，阻礙了智能體在復(fù)雜的狀態(tài)-動作空間中的探索。

為了解決這一挑戰(zhàn)，作為這項(xiàng)工作的第二個主要技術(shù)貢獻(xiàn)，引入了“sidekick策略學(xué)習(xí)”。

sidekick方法引入了獎勵塑造和演示，利用訓(xùn)練期間的完全可觀察性來預(yù)先計(jì)算每個候選快照的信息內(nèi)容。然后，助手引導(dǎo)智能體訪問環(huán)境中的信息熱點(diǎn)或樣本中信息豐富的軌跡，同時考慮到在測試過程中可觀察性只是部分的事實(shí)。通過這樣做，助手們可以加快對實(shí)際智能體的訓(xùn)練，提高整體表現(xiàn)。

實(shí)驗(yàn)結(jié)果

數(shù)據(jù)集

為了基準(zhǔn)和重現(xiàn)性，研究人員在兩個廣泛使用的數(shù)據(jù)集上評估了提出的方法。

SUN360 dataset for scenes

SUN360擁有26個不同類別的球形全景。數(shù)據(jù)集包括6174個訓(xùn)練、1013個驗(yàn)證和1805個測試示例。viewgrid有32×32像素分辨率的2D圖像。

ModelNet dataset for objects

對于此數(shù)據(jù)集，智能體操縱3D對象以完成從所有查看方向看到的對象的視圖。viewgrid構(gòu)成了一個隱式的基于圖像的三維形狀模型。ModelNet有兩個計(jì)算機(jī)輔助設(shè)計(jì)(CAD)模型子集：ModelNet-40(40個類別)和ModelNet-10 (ModelNet-40的10個類別子集)。不包括ModelNet-10類，ModelNet-40包含6085個訓(xùn)練、327個驗(yàn)證和1310個測試示例。ModelNet-10包含3991個訓(xùn)練、181個驗(yàn)證和727個測試示例。viewgrid有32×32分辨率的2D圖像。

基線

研究人員測試了主動完成方法，使用/不使用sidekick策略學(xué)習(xí)(分別是lookaround和lookaround+spl)與各種基線進(jìn)行比較：

one-view是用T = 1訓(xùn)練的方法。該基線沒有進(jìn)行信息聚合或動作選擇。

rnd-actions與研究人員的方法相同，只是動作選擇模塊被所有可能動作池中隨機(jī)選擇的動作所取代。

large-actions選擇最大允許動作。 這測試了遠(yuǎn)距離觀點(diǎn)是否足夠豐富。

peek-saliency使用一個流行的saliency度量，在每個時間步長移動到可觸及的最顯著的視圖。

不同智能體行為下的場景和對象完成精度

(A)隨著獲得更多的一瞥，兩個數(shù)據(jù)集上的像素級MSE錯誤隨時間的變化。(B)所有T次瞥見后，兩個數(shù)據(jù)集的平均/對抗性MSE誤差×1000(↓越低越好)和相對于單視圖模型(↑越高越好)的相應(yīng)改進(jìn)(%)。

SUN360(左)和ModelNet(右)的活動觀測完成情況

對于每個示例，左邊的第一行顯示了ground-truth viewgrid;左邊的后續(xù)行顯示了t = 0,1，t?1 = 3時的重構(gòu)，以及像素方向的MSE錯誤(×1000)和代理當(dāng)前的快照(用紅色標(biāo)記)。在右側(cè)，每個時間步長所采樣的智能體觀察角度顯示在觀察球上。重建質(zhì)量隨著時間的推移而提高，因?yàn)樗梢钥焖俚丶?xì)化場景結(jié)構(gòu)和對象形狀。

T = 6“瞥見”后的三個重建例子

適用于SUN360和ModelNet的多種環(huán)境的ground-truth 360全景圖或viewgrid以及最終的GAN-refined重建