引言

NeurIPS是全球頂級的機器學習會議。沒有其他研究會議可以吸引6000多位該領(lǐng)域內(nèi)真正的精英同時參加。如果你非常想了解機器學習最新的研究進展，就需要關(guān)注NeurIPS。

每年，NeurIPS都會為機器學習領(lǐng)域的頂級研究論文頒發(fā)各類獎項?？紤]到這些論文的前沿水平，它們對于大多數(shù)人來說通常晦澀難懂。

但是不用擔心！我瀏覽了這些優(yōu)秀論文，并在本文總結(jié)了要點！我的目的是通過將關(guān)鍵的機器學習概念分解為大眾易于理解的小點來幫助你了解每篇論文的本質(zhì)。

以下是我將介紹的三個NeurIPS2019最佳論文的獎項：

最佳論文獎

杰出新方向論文獎

經(jīng)典論文獎

讓我們深入了解吧！

NeurIPS 2019最佳論文獎

在NeurIPS 2019上獲得的最佳論文獎是：

具有Massart噪聲的半空間的獨立分布的PAC學習（Distribution-Independent PAC Learning of Halfspaces with MassartNoise）

這是一篇非常好的論文！這讓我開始思考機器學習中的一個基本概念：噪聲和分布。這需要對論文本身進行大量研究，我將盡力解釋論文的要點而不使其變得復雜。

我們先重述標題。本文的研究討論了一種用于學習半空間的算法，該算法在與分布無關(guān)的PAC模型中使用，且研究的半空間具有Massart噪聲。該算法是該領(lǐng)域中最有效的算法。

本文的關(guān)鍵術(shù)語如下。

回顧布爾函數(shù)和二進制分類的概念。本質(zhì)上，

一個半空間是一個布爾函數(shù)，其中兩個類（正樣本和負樣本）由一個超平面分開。由于超平面是線性的，因此它也被稱為線性閾值函數(shù)（LTF）。

在數(shù)學上，線性閾值函數(shù)或半空間是一個閾值函數(shù)，可以由以某個閾值T為邊界的輸入?yún)?shù)的線性方程表示。布爾函數(shù)如果具有以下形式，則為線性閾值函數(shù)：

其中：

是權(quán)重

是特征

表示給出實數(shù)符號的符號函數(shù)

是閾值

我們也可以將LTF稱為感知器（此處需要使用神經(jīng)網(wǎng)絡(luò)知識?。?/p>

PAC（Probably Approximately Correct）模型是二分類的標準模型之一。

“Massart噪聲條件，或僅僅是Massart噪聲，是每個樣本/記錄的標簽以學習算法未知的很小概率進行的翻轉(zhuǎn)?！?/p>

翻轉(zhuǎn)的可能性受某個始終小于1/2的因子n的限制。為了找到使得誤分類錯誤較小的假設(shè)，我們在先前的論文中進行了各種嘗試來限制錯誤以及與數(shù)據(jù)噪聲相關(guān)的風險。

這項研究在確定樣本復雜性的同時，證明了多項式時間（1/epsilon）的額外風險等于Massart噪聲水平加上epsilon。

本文是邁向僅實現(xiàn)ε過量風險這一目標的巨大飛躍。

獲得NeurIPS杰出論文獎提名的其他論文：

1. Besov IPM損耗下GAN的非參數(shù)密度估計和收斂速度（Nonparametric Density Estimation & Convergence Rates for GANs under Besov IPM Losses）

2. 快速準確的最小均方求解（Fast andAccurate Least-Mean-Squares Solvers）

NeurIPS 2019杰出新方向論文

今年的NeurIPS2019為獲獎?wù)撐脑O(shè)置了一個新獎項杰出新方向論文獎。用主辦方的話來說： “該獎項旨在表彰為未來研究建立新途徑的杰出工作?！?/p>

該獎項的獲獎文章是 ——《一致收斂性可能無法解釋深度學習中的泛化性》（Uniform convergence may be unable to explain generalization in deeplearning）

今年我最喜歡的論文之一！本文從理論和實踐兩個方面闡述了當前的深度學習算法無法解釋深度神經(jīng)網(wǎng)絡(luò)中的泛化。讓我們來更詳細地了解這一點。

一致收斂性可能無法解釋深度學習中的泛化性（Uniform convergence may be unable to explain generalization in deeplearning）

大型網(wǎng)絡(luò)很好地概括了看不見的訓練數(shù)據(jù)，盡管這些數(shù)據(jù)已被訓練為完全適合隨機標記。但是，當特征數(shù)量大于訓練樣本的數(shù)量時，這些網(wǎng)絡(luò)的表現(xiàn)就沒那么好了。

盡管如此，它們?nèi)匀粸槲覀兲峁┝俗钚碌男阅苤笜?。這也表明這些超參數(shù)化模型過度地依賴參數(shù)計數(shù)而沒有考慮批量大小的變化。如果我們遵循泛化的基本方程：

測試誤差 – 訓練誤差 《= 泛化界限

對于上面的方程式，我們采用所有假設(shè)的集合，并嘗試最小化復雜度并使這些界限盡可能地窄。

迄今為止的研究都集中于通過獲取假設(shè)類別的相關(guān)子集來收緊界限。在完善這些約束方面也有很多開創(chuàng)性的研究，所有這些都基于統(tǒng)一收斂的概念。

但是，本文解釋這些算法可能出現(xiàn)的兩種情況：

太大，并且其復雜度隨參數(shù)數(shù)量而增加；

很小，但是在修改后的網(wǎng)絡(luò)上設(shè)計而來

“該論文定義了一組用于泛化界限的標準，并通過一組演示實驗證明統(tǒng)一收斂為何無法完全解釋深度學習中的泛化?！?/p>

泛化界限如下：

1. 理想情況下必須 《1（空）

2. 隨著寬度的增加變小

3. 適用于由SGD（隨機梯度下降）學習的網(wǎng)絡(luò)

4. 隨著隨機翻轉(zhuǎn)的訓練標簽的比例而增加

5. 應該與數(shù)據(jù)集大小成反比

之前提到的實驗是在MNIST數(shù)據(jù)集上使用三種類型的過度參數(shù)化模型（均在SGD算法上進行訓練）完成的：

1. 線性分類器

2. 具有ReLU的寬神經(jīng)網(wǎng)絡(luò)

3. 具有固定隱藏權(quán)重的無限寬度神經(jīng)網(wǎng)絡(luò)

本文繼而演示了針對不同訓練集大小的不同超參數(shù)設(shè)置。

“一個非常有趣的發(fā)現(xiàn)是，盡管測試集誤差隨訓練集大小的增加而減小，但泛化界限實際上卻有所增加。 ”

如果網(wǎng)絡(luò)只是記住了我們不斷添加到訓練集中的數(shù)據(jù)點，該怎么辦？

以研究人員給出的例子為例。對于一個擁有1000個維度的數(shù)據(jù)集的分類任務(wù)，使用SGD訓練具有1個隱藏層ReLU和10萬個單位的超參數(shù)化模型。訓練集大小的增加可提高泛化性并減少測試集錯誤。

盡管進行了泛化，它們?nèi)匀蛔C明了決策邊界非常復雜。這是它們違背統(tǒng)一收斂思想的地方。

因此，即使對于線性分類器，統(tǒng)一收斂也不能完全解釋泛化。實際上，當增加樣本數(shù)量時，這可以認為是導致界限增加的一個因素！

盡管先前的研究已將發(fā)展深度網(wǎng)絡(luò)的方向朝著依賴于算法的方向發(fā)展（以便堅持一致收斂），但本文提出了開發(fā)不依賴于算法的技術(shù)的需求，這些技術(shù)不會局限于一致收斂來解釋泛化。

我們可以清楚地知道，為什么該機器學習研究論文在NeurIPS 2019上獲得了杰出新方向論文獎。

研究人員已經(jīng)表明，僅僅用一致收斂不足以解釋深度學習中的泛化。同樣，不可能達到滿足所有5個標準的小界限。這開辟了一個全新的研究領(lǐng)域來探索可能解釋泛化的其他工具。

NeurIPS在杰出新方向論文獎上的其他提名包括：

1. 端到端：表征的梯度隔離學習（Putting AnEnd to End-to-End： Gradient-Isolated Learning of Representations）

2. 場景表示網(wǎng)絡(luò)：連續(xù)的3D-結(jié)構(gòu)感知神經(jīng)場景表示（SceneRepresentation Networks： Continuous 3D-Structure-Aware Neural SceneRepresentations）

NeurIPS 2019的經(jīng)典論文獎

每年，NeurIPS還會獎勵10年前在大會上發(fā)表的一篇論文，該論文對該領(lǐng)域的貢獻產(chǎn)生了深遠的影響（也是廣受歡迎的論文）。

今年，“經(jīng)典論文獎”授予了LinXiao寫作的“正則隨機學習和在線優(yōu)化的雙重平均法”。這項研究基于基本概念，這些基本概念為眾所周知的現(xiàn)代機器學習奠定了基礎(chǔ)。

正則隨機學習和在線優(yōu)化的雙重平均法（Dual Averaging Method for Regularized Stochastic Learning and OnlineOptimization）

讓我們分解一下這篇極佳的論文中涵蓋的四個關(guān)鍵概念：

隨機梯度下降：隨機梯度下降已經(jīng)正式成為機器學習中的最優(yōu)化方法。它可以通過以下隨機優(yōu)化來實現(xiàn)?；仡橲GD和大樣本隨機優(yōu)化方程——這里，w是權(quán)重向量，z是輸入特征向量。對于t = 0，1，2…

在線凸優(yōu)化：另一項開創(chuàng)性的研究。它被模擬為游戲，玩家將嘗試預測權(quán)重向量，并在每個t處計算出最終的損失。主要目的是最大程度地減少這種損失——結(jié)果與我們使用隨機梯度下降進行優(yōu)化的方式非常相似

壓縮學習：這包括套索回歸，L1正則化最小二乘和其他混合正則化方案

近端梯度法：與早期的技術(shù)相比，這是一種減少損耗且仍保留凸度的更快的方法

盡管先前的研究開發(fā)了一種收斂到O（1/t）的有效算法，但數(shù)據(jù)稀疏性是在那之前一直被忽略的一個因素。本文提出了一種新的正則化技術(shù)，稱為正則化雙重平均法（RDA），用于解決在線凸優(yōu)化問題。

當時，這些凸優(yōu)化問題效率不高，特別是在可伸縮性方面。

這項研究提出了一種批處理優(yōu)化的新方法。這意味著最初僅提供一些獨立樣本，并且基于這些樣本（在當前時間t）計算權(quán)重向量。相對于當前權(quán)重向量的損失與次梯度一起計算。并在迭代中（在時間t + 1）再次使用它。

具體而言，在RDA中，考慮了平均次梯度，而不是當前的次梯度。

“當時，對于稀疏的MNIST數(shù)據(jù)集，此方法比SGD和其他流行技術(shù)獲得了更好的結(jié)果。實際上，隨著稀疏度的增加，RDA方法也具有明顯更好的結(jié)果?！?/p>

在進一步研究上述方法的多篇論文中，如流形識別、加速RDA等，都證明了這篇論文被授予經(jīng)典論文獎是當之無愧。

結(jié)語

NeurIPS 2019再次成為了一次極富教育意義和啟發(fā)性的會議。我對杰出新方向論文獎以及它如何解決深度學習中的泛化問題特別感興趣。

哪一篇機器學習研究論文引起了你的注意？或者是否有其他的論文，讓你想要去嘗試或者啟發(fā)了你？請在下面的評論區(qū)中告訴我們吧。