ICLR 2019今天在官網(wǎng)公布了最佳論文獎！兩篇最佳論文分別來自Mila/加拿大蒙特利爾大學(xué)、微軟蒙特利爾研究院和MIT CSAIL，主題分別集中在NLP深度學(xué)習(xí)模型和神經(jīng)網(wǎng)絡(luò)壓縮。

今天，ICLR 2019在官網(wǎng)公布了最佳論文獎！

兩篇最佳論文分別來自Mila/加拿大蒙特利爾大學(xué)、微軟蒙特利爾研究院和MITCSAIL，主題分別集中在NLP深度學(xué)習(xí)模型和神經(jīng)網(wǎng)絡(luò)壓縮。

ICLR 是深度學(xué)習(xí)領(lǐng)域的頂級會議，素有深度學(xué)習(xí)頂會 “無冕之王” 之稱。今年的 ICLR 大會從5月6日到5月9日在美國新奧爾良市舉行。

今年 ICLR 共接收 1578 篇投稿，相較去年 981 篇有了很大的增加，錄用結(jié)果如下：1.5% 錄用為 oral 論文（24 篇）、30.2% 錄用為 poster 論文（476 篇)，58% 論文被拒（918 篇）、610% 撤回（160 篇）。

與往年一樣，ICLR 2019采用公開評審制度，所有論文會匿名公開在 open review 網(wǎng)站上，接受同行們的匿名評分和提問。

今年論文平均打分是 5.15

關(guān)鍵詞排序前 50

接下來，新智元帶來兩篇最佳論文的解讀：

最佳論文1：有序神經(jīng)元：將樹結(jié)構(gòu)集成到循環(huán)神經(jīng)網(wǎng)絡(luò)

標(biāo)題：Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks

《有序神經(jīng)元：將樹結(jié)構(gòu)集成到循環(huán)神經(jīng)網(wǎng)絡(luò)》

作者：Yikang Shen,Shawn Tan,Alessandro Sordoni,Aaron Courville

作者機(jī)構(gòu)：Mila/加拿大蒙特利爾大學(xué)、微軟蒙特利爾研究院

論文地址：https://openreview.net/forum?id=B1l6qiR5F7

摘要：

自然語言是一種分層結(jié)構(gòu)：較小的單元(例如短語)嵌套在較大的單元(例如子句)中。當(dāng)較大的成分結(jié)束時(shí)，嵌套在其中的所有較小單元也必須結(jié)束。雖然標(biāo)準(zhǔn)的LSTM架構(gòu)允許不同的神經(jīng)元在不同的時(shí)間尺度上跟蹤信息，但它并沒有明確地偏向于對成分層次結(jié)構(gòu)建模。

本文提出通過對神經(jīng)元進(jìn)行排序來增加這種歸納偏差;一個主輸入和遺忘門的向量確保當(dāng)一個給定的神經(jīng)元被更新時(shí)，按照順序跟隨它的所有神經(jīng)元也被更新。所提出的新循環(huán)結(jié)構(gòu)稱為有序神經(jīng)元LSTM (ordered neurons LSTM, ON-LSTM)，在語言建模、無監(jiān)督句法分析、目標(biāo)語法評估和邏輯推理四個不同的任務(wù)上都取得了良好的性能。

關(guān)鍵詞:深度學(xué)習(xí)，自然語言處理，遞歸神經(jīng)網(wǎng)絡(luò)，語言建模

一句話概括：本文提出一種新的歸納偏置，將樹結(jié)構(gòu)集成到循環(huán)神經(jīng)網(wǎng)絡(luò)中。

從實(shí)用的角度看，將樹結(jié)構(gòu)集成到神經(jīng)網(wǎng)絡(luò)語言模型中有以下幾個重要原因：

深度神經(jīng)網(wǎng)絡(luò)的一個關(guān)鍵特征是獲得抽象層次不斷增加的分層表示；

建模語言的組成效應(yīng)，并為梯度反向傳播提供快捷方式，以幫助解決長期依賴問題;

通過更好的歸納偏置改進(jìn)泛化，同時(shí)能夠減少對大量訓(xùn)練數(shù)據(jù)的需求。

圖1：由模型推斷的二進(jìn)制解析樹(左)及其對應(yīng)的round-truth(右)。

問題是：具有對學(xué)習(xí)這種潛在樹結(jié)構(gòu)的歸納偏置的架構(gòu)能否獲得更好的語言模型?

在這篇論文中，我們提出有序神經(jīng)元(ordered neurons)，這是一種面向循環(huán)神經(jīng)網(wǎng)絡(luò)的新型歸納偏置。這種歸納偏置增強(qiáng)了存儲在每個神經(jīng)元中的信息的生命周期的分化：高級神經(jīng)元存儲長期信息，這些信息通過大量步驟保存，而低級神經(jīng)元存儲短期信息，這些信息可以很快被遺忘。

為了避免高級和低級神經(jīng)元之間的固定劃分，我們提出一種新的激活函數(shù)——cumulative softmax，或稱為cumax()，用于主動分配神經(jīng)元來存儲長/短期信息。

基于cumax()和LSTM架構(gòu)，我們設(shè)計(jì)了一個新的模型ON-LSTM，該模型偏向于執(zhí)行類似樹的組合操作。

ON-LSTM模型在語言建模、無監(jiān)督成分句法分析、目標(biāo)句法評估和邏輯推理四項(xiàng)任務(wù)上都取得了良好的性能。對無監(jiān)督成分句法分析的結(jié)果表明，所提出的歸納偏置比以前模型更符合人類專家提出的語法原則。實(shí)驗(yàn)還表明，在需要捕獲長期依賴關(guān)系的任務(wù)中，ON-LSTM模型的性能優(yōu)于標(biāo)準(zhǔn)LSTM模型。

有序神經(jīng)元

圖2：一個成分解析樹和ON-LSTM的隱藏狀態(tài)之間的對應(yīng)關(guān)系

ON-LSTM

ON-LSTM模型與標(biāo)準(zhǔn)LSTM的架構(gòu)類似：

與LSTM的不同之處在于，這里用了一個新函數(shù)替換cell state的?update?函數(shù)。

實(shí)驗(yàn)

語言建模

表1：Penn Treebank語言建模任務(wù)驗(yàn)證集和測試集上的單模型困惑度。

如表1所示，ON-LSTM模型在共享相同的層數(shù)、嵌入維數(shù)和隱藏狀態(tài)單元的情況下，比標(biāo)準(zhǔn)的LSTM性能更好。值得注意的是，我們可以在不添加skip connection或顯著增加參數(shù)數(shù)量的情況下提高LSTM模型的性能。

無監(jiān)督成分句法分析(ConstituencyParsing)

表2：在full WSJ10和WSJ test兩個數(shù)據(jù)集上評估的成分句法分析結(jié)果

目標(biāo)句法評估

表3：ON-LSTM和LSTM在每個測試用例中的總體精度

表3顯示，ON-LSTM在長期依賴情況下表現(xiàn)更好，而基線LSTM在短期依賴情況下表現(xiàn)更好。不過，ON-LSTM在驗(yàn)證集上實(shí)現(xiàn)了更好的困惑度。

邏輯推理

圖3：模型的測試準(zhǔn)確性，在邏輯數(shù)據(jù)的短序列(≤6)上訓(xùn)練。

圖3顯示了ON-LSTM和標(biāo)準(zhǔn)LSTM在邏輯推理任務(wù)上的性能。

最佳論文2：彩票假設(shè)

標(biāo)題：The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks

《彩票假設(shè)：尋找稀疏的、可訓(xùn)練的神經(jīng)網(wǎng)絡(luò)》

作者：Jonathan Frankle,Michael Carbin

作者機(jī)構(gòu)：MIT CSAIL

論文地址：https://openreview.net/forum?id=rJl-b3RcF7

摘要：

神經(jīng)網(wǎng)絡(luò)剪枝技術(shù)可以在不影響精度的前提下，將訓(xùn)練網(wǎng)絡(luò)的參數(shù)數(shù)量減少90%以上，降低存儲需求并提高推理的計(jì)算性能。然而，當(dāng)前的經(jīng)驗(yàn)是，剪枝產(chǎn)生的稀疏架構(gòu)從一開始就很難訓(xùn)練，這同樣可以提高訓(xùn)練性能。

我們發(fā)現(xiàn)，一種標(biāo)準(zhǔn)的剪枝技術(shù)可以自然地揭示子網(wǎng)絡(luò)，這些子網(wǎng)絡(luò)的初始化使它們能夠有效地進(jìn)行訓(xùn)練?；谶@些結(jié)果，我們提出了“彩票假設(shè)”(lottery ticket hypothesis)：包含子網(wǎng)絡(luò)(“中獎彩票”，winning tickets)的密集、隨機(jī)初始化的前饋網(wǎng)絡(luò)，這些子網(wǎng)絡(luò)在單獨(dú)訓(xùn)練時(shí)，經(jīng)過類似次數(shù)的迭代達(dá)到與原始網(wǎng)絡(luò)相當(dāng)?shù)臏y試精度。我們找到的“中獎彩票”中了初始化彩票：它們的連接具有初始權(quán)重，這使得訓(xùn)練特別有效。

我們提出一個算法來確定中獎彩票，并激進(jìn)型了一系列實(shí)驗(yàn)來支持彩票假說以及這些偶然初始化的重要性。我們發(fā)現(xiàn)，MNIST和CIFAR10的中獎彩票的規(guī)模始終比幾個全連接架構(gòu)和卷積前饋架構(gòu)小10-20%。超過這個規(guī)模的話，我們發(fā)現(xiàn)中獎彩票比原來的網(wǎng)絡(luò)學(xué)習(xí)速度更快，達(dá)到了更高的測試精度。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)，稀疏性，剪枝，壓縮，性能，架構(gòu)搜索

一句話概括：可以在訓(xùn)練后剪枝權(quán)重的前饋神經(jīng)網(wǎng)絡(luò)，也可以在訓(xùn)練前剪枝相同的權(quán)重。

本文證明了，始終存在較小的子網(wǎng)絡(luò)，它們從一開始就進(jìn)行訓(xùn)練，學(xué)習(xí)速度至少與較大的子網(wǎng)絡(luò)一樣快，同時(shí)能達(dá)到類似的測試精度。

圖1：早期停止發(fā)生的迭代(左邊)和用于MNIST的Lenet架構(gòu)以及用于CIFAR10的conv2、conv4和conv6架構(gòu)的迭代(右邊)的測試精度。虛線是隨機(jī)抽樣的稀疏網(wǎng)絡(luò)。實(shí)線是中獎彩票。

圖1中的實(shí)線顯示了我們找到的網(wǎng)絡(luò)，即winning tickets。

論文提出了幾個新概念，首先是“彩票假設(shè)”(The Lottery Ticket Hypothesis)。

彩票假設(shè)：將一個復(fù)雜網(wǎng)絡(luò)的所有參數(shù)當(dāng)作一個獎池，獎池中存在一組子參數(shù)所對應(yīng)的子網(wǎng)絡(luò)（代表中獎號碼，文中的wining ticket），單獨(dú)訓(xùn)練該子網(wǎng)絡(luò)，可以達(dá)到原始網(wǎng)絡(luò)的測試精度。

那么怎樣找到中獎彩票呢？

確定中獎彩票：通過訓(xùn)練一個網(wǎng)絡(luò)并修剪它的最小量級權(quán)重來確定中獎彩票。其余未修剪的連接構(gòu)成了中獎彩票的架構(gòu)。

具體來說，有以下4步：

隨機(jī)初始化一個復(fù)雜神經(jīng)網(wǎng)絡(luò)

訓(xùn)練復(fù)雜網(wǎng)絡(luò)j次，得到網(wǎng)絡(luò)參數(shù)

對模型按p%進(jìn)行修剪，得到一個mask m;將

對留下來的模型，重新用

圖2：本文測試的架構(gòu)

本文的貢獻(xiàn)

我們證明剪枝可以揭示可訓(xùn)練的子網(wǎng)絡(luò)，這些子網(wǎng)絡(luò)達(dá)到了與原始網(wǎng)絡(luò)相當(dāng)?shù)臏y試精度；

我們證明剪枝發(fā)現(xiàn)的中獎彩票比原始網(wǎng)絡(luò)學(xué)習(xí)更快，同時(shí)具有更高的測試精度和更好的泛化能力。

我們提出“彩票假設(shè)”，作為神經(jīng)網(wǎng)絡(luò)組成的新視角，可以解釋這些發(fā)現(xiàn)。

應(yīng)用

本文對彩票假設(shè)進(jìn)行了實(shí)證研究。既然我們已經(jīng)證明了中獎彩票的存在，我們希望利用這一知識：

提高訓(xùn)練性能。由于中獎彩票可以從一開始就單獨(dú)進(jìn)行訓(xùn)練，我們希望能夠設(shè)計(jì)出能夠搜索中獎彩票并盡早進(jìn)行修剪的訓(xùn)練方案。

設(shè)計(jì)更好的網(wǎng)絡(luò)。中獎彩票揭示了稀疏架構(gòu)和特別擅長學(xué)習(xí)的初始化的組合。我們可以從中獲得靈感，設(shè)計(jì)有助于學(xué)習(xí)的新架構(gòu)和初始化方案。我們甚至可以把為一項(xiàng)任務(wù)發(fā)現(xiàn)的中獎彩票遷移到更多其他任務(wù)。

提高對神經(jīng)網(wǎng)絡(luò)的理論理解。我們可以研究為什么隨機(jī)初始化的前饋網(wǎng)絡(luò)似乎包含中獎彩票，以及增加對優(yōu)化和泛化的理論理解。