隨著AI行業(yè)發(fā)展如此之快，機(jī)器學(xué)習(xí)從業(yè)者很難找到時(shí)間來(lái)策劃，分析和實(shí)施正在發(fā)表的新研究。為了幫助您快速掌握最新的ML趨勢(shì)，我們將介紹我們的研究系列，其中我們整理2019年的關(guān)鍵AI研究論文并以易于理解的要點(diǎn)格式對(duì)其進(jìn)行總結(jié)。

我們將從最重要的10篇AI研究論文開(kāi)始，這些論文代表了最新的研究趨勢(shì)。這些論文將為您提供有關(guān)神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)，優(yōu)化技術(shù)，無(wú)監(jiān)督學(xué)習(xí)，語(yǔ)言建模，計(jì)算機(jī)視覺(jué)等方面的研究進(jìn)展的廣泛概述。我們已根據(jù)技術(shù)影響，專家意見(jiàn)和行業(yè)好評(píng)選擇了這些研究論文。當(dāng)然，還有更多的研究值得您注意，但是我們希望這將是一個(gè)好的起點(diǎn)。

我們還將發(fā)布自然語(yǔ)言處理，對(duì)話式AI，計(jì)算機(jī)視覺(jué)，強(qiáng)化學(xué)習(xí)和AI倫理方面的前十大關(guān)鍵研究論文列表。

神經(jīng)網(wǎng)絡(luò)修剪技術(shù)可以將經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)的參數(shù)數(shù)量減少90%以上，減少存儲(chǔ)需求并提高推理的計(jì)算性能，而不會(huì)影響準(zhǔn)確性。但是，當(dāng)代的經(jīng)驗(yàn)是，修剪產(chǎn)生的稀疏架構(gòu)從一開(kāi)始就很難進(jìn)行訓(xùn)練，這同樣會(huì)提高訓(xùn)練效果。

我們發(fā)現(xiàn)標(biāo)準(zhǔn)的修剪技術(shù)自然會(huì)發(fā)現(xiàn)子網(wǎng)，這些子網(wǎng)的初始化使它們能夠有效地進(jìn)行訓(xùn)練。根據(jù)這些結(jié)果，我們闡明“彩票假設(shè)”：密集的，隨機(jī)初始化的前饋網(wǎng)絡(luò)包含子網(wǎng)（“中獎(jiǎng)彩票”），這些子網(wǎng)經(jīng)過(guò)單獨(dú)訓(xùn)練后，可達(dá)到與原始網(wǎng)絡(luò)類似的測(cè)試精度迭代次數(shù)。我們發(fā)現(xiàn)中獎(jiǎng)的彩票已經(jīng)贏得了初始彩票：它們的連接具有初始權(quán)重，使培訓(xùn)特別有效。

我們提出了一種識(shí)別中獎(jiǎng)彩票的算法，以及一系列支持彩票假說(shuō)和這些偶然初始化的重要性的實(shí)驗(yàn)。我們始終發(fā)現(xiàn)中獎(jiǎng)票證的大小不到MNIST和CIFAR10的幾種全連接和卷積前饋體系結(jié)構(gòu)的大小的10-20%。超過(guò)此大小，我們發(fā)現(xiàn)的中獎(jiǎng)彩票比原始網(wǎng)絡(luò)學(xué)習(xí)得更快，并且達(dá)到更高的測(cè)試準(zhǔn)確性。