在NeurIPS本周在加拿大溫哥華被檢查1400余件人工智能研究為他們的新方法或突破-但這些論文的一個(gè)不同于所有的休息。

微軟研究院的林嘯本周被任命為“時(shí)間測(cè)試獎(jiǎng)”的獲得者，該獎(jiǎng)項(xiàng)授予人工智能研究，該獎(jiǎng)項(xiàng)在過去10年中為人工智能領(lǐng)域做出了重要而持久的貢獻(xiàn)。

召集了一個(gè)特別委員會(huì)來回顧10年前在NeurIPS上發(fā)表的論文，并將列表縮小到對(duì)機(jī)器學(xué)習(xí)產(chǎn)生持久影響的18篇論文，在一定程度上衡量了這些論文在過去十年中獲得了最多引用。迄今為止，肖的論文被其他研究人員引用了600多次。

NeurIPS的組織者周日宣布了Xiao的工作，這是他的獲獎(jiǎng)?wù)?，他在一個(gè)會(huì)議廳中詳細(xì)介紹了此后的結(jié)果和取得的進(jìn)展，參加會(huì)議的13，000名與會(huì)者中有1，000名。

肖在今天的舞臺(tái)上說：“十年前，這次會(huì)議規(guī)模很小，但是我覺得它和一個(gè)相對(duì)年輕的研究員一樣令人興奮?！?“當(dāng)時(shí)幾個(gè)非常激動(dòng)人心的主題相互碰撞，為這項(xiàng)工作創(chuàng)造了動(dòng)力?！?/p>

該論文的標(biāo)題為“ 正則隨機(jī)學(xué)習(xí)和在線優(yōu)化的雙重平均方法 ”，于2009年發(fā)表，提出了一種新的在線算法，稱為正則雙重平均或RDA。

RDA專注于隨機(jī)梯度下降，它借鑒了1951年Robbins和Monro關(guān)于該主題的著作和“ 凸問題的原始對(duì)偶次梯度方法 ”。

肖說：“我想感謝尤里·內(nèi)斯特羅夫（Yurii Nesterov）教授在本文中的影響和啟發(fā)，以及我研究中的幾乎所有內(nèi)容。” “這項(xiàng)工作是他論文的簡(jiǎn)單延伸?！?/p>

去年的時(shí)間測(cè)試獎(jiǎng)得主，由Facebook AI Research的Leon Bottou和Google AI的Olivier Bousquet共同完成，其研究重點(diǎn)是用于大型機(jī)器學(xué)習(xí)的隨機(jī)梯度下降。

為了優(yōu)化RDA模型的性能，Xiao的工作結(jié)合了規(guī)則正則化，鼓勵(lì)通過在線學(xué)習(xí)來學(xué)習(xí)算法。稀疏正則化用于將模型中的某些權(quán)重設(shè)置為零，這是使隨機(jī)梯度下降更容易理解的一種方式。

“我相信RDA的動(dòng)機(jī)在今天仍然有效，因?yàn)橐环矫?，我們知道在線算法由于其處理的數(shù)據(jù)量而處于機(jī)器學(xué)習(xí)的主要階段的可能性。另一方面，我認(rèn)為稀疏性對(duì)于使我們適應(yīng)越來越大的模型至關(guān)重要。不管怎么說，稀疏往往是有效的部分?！?/p>

本周早些時(shí)候，NeurIPS會(huì)議組織者還為新的AI研究授予了最高榮譽(yù)，其中包括分布式學(xué)習(xí)方面的杰出論文，以及認(rèn)為統(tǒng)一收斂可能無法解釋深度學(xué)習(xí)的普遍性的論文獲得了杰出新方向獎(jiǎng)?？梢栽诖薔eurIPS Medium帖子中看到更多獲得最高榮譽(yù)的研究成果。