本文作者Alex Irpan是Google Brain機(jī)器人團(tuán)隊(duì)的軟件工程師，他在不到一個(gè)月的時(shí)間里參加了兩個(gè)學(xué)術(shù)會(huì)議：ICLR 2018和ICRA 2018，前者是一個(gè)深度學(xué)習(xí)會(huì)議，后者是機(jī)器人領(lǐng)域的會(huì)議。作者將這兩個(gè)會(huì)議進(jìn)行了比較。

ICLR 2018

從研究的角度來看，今年ICLR的一大重點(diǎn)是對(duì)抗性學(xué)習(xí)。

深度學(xué)習(xí)領(lǐng)域中最受歡迎的是生成對(duì)抗網(wǎng)絡(luò)。不過，我在這里關(guān)注的更廣，包括對(duì)抗樣本和智能體競(jìng)爭(zhēng)的環(huán)境。實(shí)際上，任何形式的極小極大優(yōu)化問題都可以算作對(duì)抗性學(xué)習(xí)。

我不知道GAN是否真的很受歡迎，或者我的記憶帶有選擇性的偏見，因?yàn)槲覍?duì)這些方法很感興趣。GAN給人的感覺很強(qiáng)大。評(píng)估GAN的一種方法是，你通過使用學(xué)習(xí)隱式成本而不是人為定義的成本來學(xué)習(xí)生成器。這使你能夠適應(yīng)生成器的能力，并可以定義手動(dòng)解釋可能很麻煩的成本。

當(dāng)然，這會(huì)讓你的問題更加復(fù)雜。但是如果你有足夠強(qiáng)的優(yōu)化和建模能力，那么隱式學(xué)習(xí)的成本將比其他方法能提供更清晰的圖像。使用學(xué)習(xí)的組件替換一部分系統(tǒng)的一個(gè)好處是，優(yōu)化和建模能力的進(jìn)步適用于問題的更多方面。你正在提高學(xué)習(xí)成本函數(shù)的能力和最小化這些學(xué)習(xí)成本的能力。

從抽象點(diǎn)的觀點(diǎn)來看，這涉及到具有表現(xiàn)力的、可優(yōu)化的函數(shù)家族的能力，例如神經(jīng)網(wǎng)絡(luò)。Minimax優(yōu)化不是一個(gè)新的想法。它已經(jīng)存在很久了。新的東西是，深度學(xué)習(xí)可以讓你在高維數(shù)據(jù)上建模和學(xué)習(xí)復(fù)雜的成本函數(shù)。對(duì)我來說，GAN的有趣之處不是圖像生成，而是它們?cè)趶?fù)雜的數(shù)據(jù)（比如圖像）上的概念證明。這個(gè)框架并不要求使用圖像數(shù)據(jù)。

學(xué)習(xí)過程中還有其他部分可以用學(xué)習(xí)方法來替代，而不是用人為定義的方法，深度學(xué)習(xí)就是這樣一種方法。這樣做有意義嗎？也許有。問題是，你用深度學(xué)習(xí)方法越多，就越難讓每件事情都可以學(xué)習(xí)（learnable）。

最近Quanta Magazine上有一篇文章，Judea Pearl在上面表達(dá)了他的失望：深度學(xué)習(xí)只是學(xué)習(xí)相關(guān)性和曲線擬合，而這并不涵蓋所有的智能。我同意Judea Pearl的觀點(diǎn)，但作為深度學(xué)習(xí)的擁護(hù)者，我認(rèn)為如果你把一個(gè)足夠大的神經(jīng)網(wǎng)絡(luò)足夠好地進(jìn)行優(yōu)化，你可能會(huì)學(xué)到一些看起來很像因果推理的東西，或者其他可以算作智能的東西。但這就接近哲學(xué)的領(lǐng)域了，所以我就講到這里。

從與會(huì)者的角度來看，我喜歡這次會(huì)議有很多海報(bào)展示。這是我第一次參加ICLR。我之前參加過的ML會(huì)議是NIPS，NIPS給我的感覺是非常大。在NIPS上仔細(xì)閱讀每一張海報(bào)感覺不太可行。在ICLR閱讀完所有海報(bào)是可能的，盡管你不一定真想這樣做。

我也很欣賞ICLR上企業(yè)招聘不像NIPS那樣荒謬。在NIPS，有些公司會(huì)送奇怪的指尖陀螺和彈簧玩具.......在ICLR，我得到的最奇怪的東西是一雙襪子，雖然奇怪，但也不是特別奇怪。

ICRA 2018

ICRA 2018是我參加的第一個(gè)機(jī)器人會(huì)議。我不知道該期待什么。我一開始做的是ML研究，后來轉(zhuǎn)去研究機(jī)器人，所以我的興趣更接近于學(xué)習(xí)控制，而不是制造新的機(jī)器人。我的理想設(shè)定是，我可以將真實(shí)世界的硬件視為抽象的。

再加上我對(duì)控制理論的貧乏理解，我對(duì)會(huì)議上的許多話題都不熟悉。盡管如此，還是有很多學(xué)習(xí)領(lǐng)域的論文，很高興我去參加了這個(gè)會(huì)。

在我確實(shí)了解的研究中，我很驚訝有這么多的強(qiáng)化學(xué)習(xí)論文。看到它們中幾乎沒有人使用純粹的無模型的RL，有點(diǎn)有趣。對(duì)于ICRA，如果你的論文提出的模型在真實(shí)世界的機(jī)器人上運(yùn)行過，那么你被接受的可能性會(huì)大得多。這就迫使作者關(guān)注數(shù)據(jù)效率，因此對(duì)只做無模型的RL有極大的偏見。當(dāng)我四處聽演講時(shí)，我不斷地聽到“我們將無模型強(qiáng)化學(xué)習(xí)與X結(jié)合在一起”，其中X是基于模型的RL，或者從人類的演示中學(xué)習(xí)，或者從運(yùn)動(dòng)規(guī)劃中學(xué)習(xí)，或者從任何可以幫助探索問題的東西中學(xué)習(xí)。

從更廣泛的層面看，這次會(huì)議是有實(shí)用性的。它雖然是一個(gè)研究會(huì)議，很多內(nèi)容仍然是很推測(cè)性的，但它也覺得人們可以接受狹窄的、有針對(duì)性的解決方案。我認(rèn)為這是不得不使用真正的硬件造成的另一個(gè)后果。如果需要實(shí)時(shí)運(yùn)行模型，就不能忽略推理時(shí)間。如果需要從真正的機(jī)器人那里收集數(shù)據(jù)，就不能忽略數(shù)據(jù)效率。真正的硬件并不關(guān)心你的問題是什么。

(1)網(wǎng)絡(luò)必須能夠運(yùn)行。

(2)無論您做何努力，賦于其何種優(yōu)先級(jí)，都無法提高光的速度。

——RFC 1925

這讓和我交談過的許多ML研究人員感到驚訝，但這個(gè)機(jī)器人技術(shù)的會(huì)議并沒有像NIPS / ICLR / ICML的人那樣完全接受ML，部分原因是ML并不總是有效的。機(jī)器學(xué)習(xí)是一個(gè)解決方案，但它不能保證有意義。我的印象是，ICRA中只有少數(shù)人積極地希望ML失敗。只要ML能證明有用，其他人都很樂意使用ML。在某些領(lǐng)域，它已經(jīng)證明了自己。我看到的每一篇跟感知相關(guān)的論文都以這樣或那樣的方式使用CNN。但是很少有人用深度學(xué)習(xí)來進(jìn)行控制，因?yàn)榭刂剖怯泻芏嗖淮_定因素的。

像ICLR一樣， ICRA上也有很多公司舉行招聘或擺設(shè)攤位。跟ICLR不同的是，這里的攤位顯得更有趣。大多數(shù)公司都帶了機(jī)器人來演示，這當(dāng)然比聽招聘演說更有趣。

在去年的NIPS上，我注意到ML公司的展位讓我想起了Berkeley的職業(yè)招聘會(huì)。每一家科技公司都想招到Berkeley的應(yīng)屆畢業(yè)生。這就像一場(chǎng)軍備競(jìng)賽，看誰能提供最好的東西和最好的免費(fèi)食物。感覺他們的目標(biāo)是盡可能地讓自己看起來是最酷的公司，而不告訴你他們真正想雇傭你來做什么。機(jī)器人技術(shù)還沒有走得很遠(yuǎn)。它在增長(zhǎng)，但沒有太多的宣傳。

我參加了幾個(gè)workshop，在那里人們談?wù)撍麄內(nèi)绾卧诂F(xiàn)實(shí)世界中使用機(jī)器人，都很有趣。研究性會(huì)議傾向于集中討論研究和網(wǎng)絡(luò)，這使得人們很容易忘記研究可以有明確的、直接的經(jīng)濟(jì)價(jià)值。有一個(gè)農(nóng)業(yè)機(jī)器人相關(guān)的，談到使用計(jì)算機(jī)視覺來檢測(cè)雜草以及噴灑除草劑，這聽起來是好事。使用更少除草劑，殺死更少作物，同時(shí)減緩除草劑抗性的發(fā)生。

Rodney Brooks也有一個(gè)類似的精彩演講，他以Roomba為例，談到了將機(jī)器人技術(shù)轉(zhuǎn)化為消費(fèi)產(chǎn)品所需的東西。他說，在設(shè)計(jì)Roomba時(shí)，他們先定了一個(gè)價(jià)格，然后將所有的功能控制在這個(gè)價(jià)格里面。結(jié)果是，幾百美元的價(jià)格讓你在傳感器和硬件的選擇上只有很小的余地，這就使得在設(shè)備上進(jìn)行推斷的能力有嚴(yán)格的限制。

組織方面，做得很好。會(huì)議中心緊鄰印刷店，所以在注冊(cè)時(shí)，組織者說，如果你在特定期限內(nèi)用電子郵件發(fā)送PDF文件，他們會(huì)處理剩下的所有流程。你所要做的就是在網(wǎng)上為你的海報(bào)付錢，然后在會(huì)議上拿出來。所有的演示都是在演示室中進(jìn)行的，每個(gè)演示室都配有白板和一個(gè)架子，你可以在上面放置筆記本電腦來播放視頻。