ICLR 2019論文評審結(jié)果已經(jīng)公布，相比沸沸揚揚的NIPS評審爭議，ICLR的評審結(jié)果沒有出現(xiàn)太多爭論。我們整理介紹了目前平均分≥8分，排名前6的論文，包括備受關(guān)注的最強圖像生成器BigGAN等。

ICLR 2019共接收1591篇投稿，創(chuàng)下歷年新高。

至于錄取率，目前還沒有官方公布。從ICLR 2018的情況來看，平均分達到6.57可以被接收，Top 33%的論文可以被接收為poster或talk。但今年的投稿量比去年多得多，去年是996篇，因此預計接收比率會降低。

Rebuttal和討論的期間是11月5日到11月21日，這期間作者可以回復評審人的評論，并對論文進行修改。

有人做了一個網(wǎng)站：https://chillee.github.io，列舉了得分前200的論文和它們的得分。

大部分論文處于4~6.5分之間，論文平均得分分布如下（數(shù)據(jù)來自chillee.github.io）：

投稿論文涉及最多的關(guān)鍵詞是強化學習、GAN、生成模型、優(yōu)化、無監(jiān)督學習、 表示學習等。

ICLR 2019關(guān)鍵詞分布（點擊圖片可放大）

截至11月5日，大部分論文已經(jīng)收到全部Review，部分已公布1或2個Review，其余也將在接下來幾天陸續(xù)放出。

或喜或憂，評審結(jié)果爭議不大

目前來看，關(guān)于ICLR評審結(jié)果的反饋沒有太多爭論。

有Reddit用戶表示：“我不得不說，今年ICLR的評審比NIPS的要好得多。至少，到目前為止，在我關(guān)注的領(lǐng)域我還沒有看到任何ICLR的愚蠢評論。確實，有時評審人會漏看一些論文的瑕疵。但總會有另一個評審人指出來。而且，你可以通過添加公共評論來指出你希望評審人注意到的問題?！?/p>

當然，也有人認為ICLR匿名評審有相當大“賭運氣”的成分。

有Reddit用戶寫道：

評審人1反復說 Relativistic GAN只是對系統(tǒng)進行小改進（a tweak），說我的整個方法部分都是“錯誤的”或者“寫得不好”。他的給分是3/10，置信度是2/5。其他評審人給我的論文的評價是“寫得很好”，給分是6/10 和 7/10。

所以說，評審完全是一場賭博。這太令人沮喪了！

有人表示同病相憐：

我得到了類似的結(jié)果。一位評審人剛說“你的論文需要重寫”，并給了一個超級低的分數(shù)3/10，他的置信度是2/5。第二位審稿人認真閱讀了論文，認真寫了評論，包括指出我論文的優(yōu)點和缺陷，最后給的分數(shù)是8/10，他的置信度是4/5?，F(xiàn)在我還在等待第三位評審人......這是好事還是壞事，我真的不知道該怎么想了......

也有人提出理性的建議：

我建議你們將會議視為一種“必須申請的免費推廣機會”，它會對已經(jīng)很好的論文有幫助，但評分多少并沒有論文的實際影響那么重要。如果以后每個人都開始使用你的relativistic GAN，那么它在哪里發(fā)表實際上是無關(guān)緊要的（比如GAN、WGAN、AlphaGo，無論在哪里、發(fā)表與否，都無法否認它們是偉大的工作這一事實）。

下面，我們選取ICLR 2019目前得分排名前6（≥8.00）的論文作簡要介紹。

高分論文Top 6：BigGAN、逆強化學習、后驗推理等

高分論文1：Large Scale GAN Training for High Fidelity Natural Image Synthesis

得分：8.45（8，7，10）

在介紹這篇論文之前，讓我們先看下面這些圖片，請猜猜看，其中哪些是AI生成的假圖片，哪些是真實的圖片：

答案是，以上全部是GAN生成的假圖片！

這些圖片來自引起熱議的論文“BigGAN”。GAN生成圖像的論文很多，有很多也達到足以以假亂真、“效果驚艷”的水平，但BigGAN再次讓學界驚嘆，它直接將圖像生成的指標“Inception Score”提高到166.3，比之前的最好分數(shù)提高了兩倍。

雖然是匿名提交，不過作者也在arXiv上上傳了這篇論文，因此我們得知它的作者：來自英國赫瑞瓦特大學的Andrew Brock，以及來自DeepMind的Jeff Donahue和Karen Simonyan。

摘要

盡管最近的研究在生成圖像建模方面取得了不少進展，但從ImageNet這樣的復雜數(shù)據(jù)集中成功生成高分辨率、多樣化的樣本仍然是一個難以實現(xiàn)的目標。為此，我們訓練了迄今為止規(guī)模最大的生成對抗網(wǎng)絡，并研究了這種規(guī)模的不穩(wěn)定性。我們發(fā)現(xiàn)，對生成器應用正交正則化可以使其適用于簡單的“截斷技巧”（truncation trick），通過截斷潛在空間，可以精確地控制樣本保真度和多樣性之間的權(quán)衡。我們的修改導致模型在以類別為條件的圖像合成任務中達到新的最優(yōu)水平。在ImageNet上以128x128分辨率進行訓練時，我們的模型（BigGAN）的Inception Score (IS) 為166.3， Frechet Inception Distance (FID)為9.6，之前的最優(yōu)IS為52.52，F(xiàn)ID為18.65。

關(guān)鍵詞：GANs, 生成模型, 大規(guī)模訓練，深度學習

一句話簡介：GANs受益于大規(guī)模訓練

論文地址：

https://openreview.net/pdf?id=B1xsqj09Fm

高分論文2：Variational Discriminator Bottleneck: Improving Imitation Learning, Inverse RL, and GANs by Constraining Information Flow

得分：8.20（6，10，8）

摘要

對抗性學習方法已經(jīng)得到廣泛應用，但是對抗性模型的訓練是出了名的不穩(wěn)定。有效地平衡生成器和鑒別器的性能是至關(guān)重要的，因為一個鑒別器如果達到很高的精度，就會產(chǎn)生相對不提供信息的梯度。在這項工作中，我們提出了一種簡單而通用的技術(shù)，通過信息瓶頸（information bottleneck）來約束鑒別器中的信息流。通過對觀測值與鑒別器內(nèi)部表示之間的相互信息進行約束，我們可以有效地調(diào)節(jié)鑒別器的準確度，并保持有用且信息豐富的梯度。

我們證明了我們提出的變分鑒別器瓶頸（VDB）導致對抗性學習算法在三個不同應用領(lǐng)域得到顯著改進。我們的初步評估研究了VDB對動態(tài)連續(xù)控制技能（如跑步）的模擬學習的適用性。我們的研究表明，該方法可以直接從原始視頻演示中學習這些技能，大大優(yōu)于以前的對抗性模仿學習方法。VDB還可以與對抗性逆強化學習相結(jié)合，以學習可在新設(shè)置中轉(zhuǎn)移和重新優(yōu)化的獎勵函數(shù)。最后，我們證明了VDB可以更有效地訓練GAN生成圖像，改進了之前的一些穩(wěn)定方法。

關(guān)鍵詞：強化學習，生成對抗網(wǎng)絡，模仿學習，逆強化學習，信息瓶頸

一句話簡介：通過信息瓶頸規(guī)范對抗性學習，應用于模仿學習、逆向強化學習和生成對抗網(wǎng)絡。

論文地址：

https://openreview.net/pdf?id=HyxPx3R9tm

高分論文3：ALISTA: Analytic Weights Are As Good As Learned Weights in LISTA

得分：8.15（10，6，8）

摘要

基于展開迭代算法的深度神經(jīng)網(wǎng)絡，例如，LISTA（earned iterative shrinkage thresholding algorithm），在稀疏信號恢復方面已經(jīng)取得了經(jīng)驗上的成功。目前，這些神經(jīng)網(wǎng)絡的權(quán)重由數(shù)據(jù)驅(qū)動的“黑盒”訓練確定。在這項工作中，我們提出了分析LISTA（ALISTA），其中LISTA中的權(quán)重矩陣被計算為一個無數(shù)據(jù)優(yōu)化問題的解決方案，只將步長和閾值參數(shù)留給數(shù)據(jù)驅(qū)動的學習。這顯著簡化了訓練。具體而言，無數(shù)據(jù)優(yōu)化問題是基于一致性最小化的。我們證明ALISTA保留了在(Chen et al.，2018)中證明的最佳線性收斂，并且具有與LISTA相當?shù)男阅?。此外，我們將ALISTA擴展到卷積線性算子，同樣以無數(shù)據(jù)的方式確定。我們還提出了一種前饋框架，結(jié)合無數(shù)據(jù)優(yōu)化和端到端的ALISTA網(wǎng)絡，可以聯(lián)合訓練以獲得編碼模型的魯棒性。

關(guān)鍵詞：稀疏恢復，神經(jīng)網(wǎng)絡

論文地址：

https://openreview.net/pdf?id=B1lnzn0ctQ

高分論文4：Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks

得分：8.09（9，7，8）

摘要

遞歸神經(jīng)網(wǎng)絡（RNN）模型廣泛用于處理由潛在樹結(jié)構(gòu)控制的序列數(shù)據(jù)。以前的工作表明，RNN模型（特別是基于長短期記憶LSTM的模型）可以學習利用底層樹結(jié)構(gòu)。但是，它的性能始終落后于基于樹的模型。這項工作提出了一種新的歸納偏差有序神經(jīng)元（inductive bias Ordered Neurons），它強制執(zhí)行隱藏狀態(tài)神經(jīng)元之間更新頻率的順序。我們證明有序神經(jīng)元可以將潛在樹結(jié)構(gòu)明確地整合到循環(huán)模型中。為此，我們提出了一個新的RNN單元：ON-LSTM，它在四個不同的任務上取得了良好的性能：語言建模、無監(jiān)督解析、有針對性的句法評估和邏輯推理。

關(guān)鍵詞：深度學習，自然語言處理，遞歸神經(jīng)網(wǎng)絡，語言建模

一句話簡介：我們提出一種新的歸納偏差，將樹結(jié)構(gòu)集成在遞歸神經(jīng)網(wǎng)絡中。

論文地址：

https://openreview.net/pdf?id=B1l6qiR5F7

高分論文5：Slimmable Neural Networks

得分：8.08（8，9，7）

摘要

我們提出一種簡單而通用的方法來訓練可執(zhí)行不同寬度（一個layer中的通道數(shù)）的單個神經(jīng)網(wǎng)絡，從而允許在運行時進行即時且自適應的精確度 - 效率權(quán)衡（accuracy-efficiency trade-offs）。

訓練好的網(wǎng)絡被稱為slimmable神經(jīng)網(wǎng)絡，與MobileNet v1、MobileNet v2、ShuffleNet和ResNet-50等單獨訓練的模型相比，slimmable模型分別在不同的寬度上實現(xiàn)了相似（許多情況下甚至更好）的ImageNet分類精度。在許多任務中，與單個模型相比，slimmable模型有更好的性能，包括COCO邊界框?qū)ο髾z測、實例分割和人體關(guān)鍵點檢測，而且無需調(diào)整超參數(shù)。

最后，我們進行了可視化，并討論了slimmable 網(wǎng)絡的學習特性。代碼和模型將會開源。

關(guān)鍵詞：Slimmable neural networks，移動端深度學習， accuracy-efficiency權(quán)衡

一句話簡介：我們提出一種簡單而通用的方法來訓練可執(zhí)行不同寬度（層中的通道數(shù)）的單個神經(jīng)網(wǎng)絡，允許在運行時進行即時和自適應的accuracy-efficiency權(quán)衡。

論文地址：

https://openreview.net/pdf?id=H1gMCsAqY7

高分論文6：Posterior Attention Models for Sequence to Sequence Learning

得分：8.00（8，9，7）

摘要

現(xiàn)代神經(jīng)網(wǎng)絡架構(gòu)嚴重依賴于將結(jié)構(gòu)化輸入映射到序列的注意力機制（attention）。在本文中，我們表明普遍的注意力架構(gòu)不能充分建模注意力和輸出變量之間沿預測序列長度的依賴性。

我們提出一種新的替代架構(gòu)，稱為后驗注意力模型（Posterior Attention Models）。它基于注意力和輸出變量的完全聯(lián)合分布的原則分解，提出了兩個主要的變化：

首先，注意力被邊緣化的位置從輸入變成了輸出。其次，傳播到下一個解碼階段的注意力是一個以輸出為條件的后驗注意力分布。

在5個翻譯任務和2個形態(tài)學變換任務中，后驗注意力模型比現(xiàn)有的注意力模型產(chǎn)生了更好的預測準確性和對齊精度。

關(guān)鍵詞：后驗推理，attention，seq2seq learning，翻譯

一句話簡介：基于后驗分布的計算注意力機制可以得到更有意義的attention和更好的表現(xiàn)