本文的作者 Ross Taylor 和 Robert Stojnic 在今年一起啟動(dòng)了一個(gè)名為“Paper with Code”的項(xiàng)目，將 AI 領(lǐng)域的一些研究論文和論文開源代碼結(jié)合展示，方便大家學(xué)習(xí)與研究。在推進(jìn)這個(gè)項(xiàng)目的同時(shí)，通過分析網(wǎng)站的數(shù)據(jù)他們也有一些意外和有趣的收獲，用更綜合、全面的視野總結(jié)了下半年的發(fā)展現(xiàn)狀與熱點(diǎn)，哪些正在成為流行趨勢(shì)、哪些被廣泛使用。

在這篇文章中，作者為大家總結(jié)了 2018 年下半年機(jī)器學(xué)習(xí)領(lǐng)域被密切關(guān)注的成果，快來看看，這些你是不是都知道呢？

最流行的模型

BERT, vid2vid 和 graph_nets

10月，Google AI 團(tuán)隊(duì)提出了一種深度雙向 Transformer 模型 (BERT)，并發(fā)表了相關(guān)的論文。該模型在 11 個(gè)NLP 任務(wù)上取得了目前為止最佳的性能，Stanford Question Answering (SQuAD) 數(shù)據(jù)集也引起了學(xué)術(shù)界的強(qiáng)烈關(guān)注。隨后，Google AI 進(jìn)一步開源了項(xiàng)目代碼，并在當(dāng)月獲得了最多 Stars 數(shù)量，可見其熱門程度。

論文鏈接：https://arxiv.org/abs/1810.04805

GitHub 鏈接：https://github.com/google-research/bert

Nvidia 的 video-to-video synthesis 研究同樣是下半年一大熱點(diǎn)。該研究提出了一種新穎的生成模型 (GAN) 并在視頻合成任務(wù)中取得驚人的效果。眾所周知，GAN 是過去幾年里最受歡迎的深度學(xué)習(xí)模型之一，該研究團(tuán)隊(duì)利用一種新穎的順序生成器架構(gòu)，以及一些前景和背景先驗(yàn) (foreground-and-background priors) 等設(shè)計(jì)特征，解決了當(dāng)前視頻合成研究中時(shí)間不連貫的問題，進(jìn)而提高了最終的性能。同樣地，該項(xiàng)目代碼也被 Nvidia 團(tuán)隊(duì)開源，并成為今年下半年第二大最受歡迎的項(xiàng)目。

論文鏈接：https://arxiv.org/abs/1808.06601

GitHub 鏈接：https://github.com/NVIDIA/vid2vid

同樣值得關(guān)注的是，Google DeepMind 團(tuán)隊(duì)關(guān)于圖網(wǎng)絡(luò) (graph_nets) 的最新研究。該研究得到廣泛關(guān)注的原因是，因?yàn)樗鼮榻鉀Q結(jié)構(gòu)化數(shù)據(jù)提供了一種新的方向。該開源項(xiàng)目是 2018 下半年排名第三位的受歡迎項(xiàng)目。

論文鏈接：https://arxiv.org/abs/1806.01261v3

GitHub 鏈接：https://github.com/deepmind/graph_nets

最受歡迎的項(xiàng)目

DeOldify、BERT 和 Fast R-CNNs

下面來介紹下半年最受歡迎的三個(gè)開源項(xiàng)目。

首先是 DeOldify。這是一項(xiàng)使用生成對(duì)抗網(wǎng)絡(luò) (GAN) 來修復(fù)黑白舊照片并為其重新上色的研究，在深度學(xué)習(xí)領(lǐng)域引發(fā)了極大的興趣和關(guān)注。該項(xiàng)目的作者是 Jason Antic，他借鑒了幾種 GAN 模型的實(shí)現(xiàn)，包括 self-attention GANs (SA-GANs)、progressively growing GANs (PG-GANs)，來構(gòu)建自己的模型，并采用兩種時(shí)間跨度的原則，最終得到了有意思的結(jié)果。

GitHub 鏈接：

https://github.com/jantic/DeOldify

其次是 BERT 的 pytorch 實(shí)現(xiàn)，作者是 Junseong Kim。該項(xiàng)目的代碼基于 The Annotated Transformer，代碼風(fēng)格簡(jiǎn)單易懂。

GitHub 鏈接：

https://github.com/codertimo/BERT-pytorch

最后一個(gè)項(xiàng)目是 Mask R-CNN 的 Keras/TensorFlow 實(shí)現(xiàn)，作者 Waleed Abdulla，這是今年下半年第三個(gè)熱門 GitHub 項(xiàng)目。在結(jié)構(gòu)上，Mask R-CNN 基于特征金字塔網(wǎng)絡(luò) (FPN) 和 ResNet101 為模型骨干，它可用于許多諸如 3D 建筑物重建，自動(dòng)駕駛中的目標(biāo)檢測(cè)，檢測(cè)地圖中的建筑物類型等應(yīng)用。

GitHub 鏈接：

https://github.com/matterport/Mask_RCNN

最活躍的領(lǐng)域

NLP 和 GANs

通過查看 GitHub 上 Top50 的開源實(shí)現(xiàn)，我們會(huì)發(fā)現(xiàn)當(dāng)前最熱門、最活躍的研究領(lǐng)域是自然語言處理 (NLP) 和生成對(duì)抗模型 (GANs)。在 GitHub 上，GANs 領(lǐng)域最受歡迎的開源項(xiàng)目有 vid2vid，DeOldify，CycleGAN 以及 faceswaps，而最熱門的 NLP 開源項(xiàng)目包括 BERT，HanLP，jieba，AllenNLP 以及 fastText。

每7篇新論文中，只有一篇論文附有代碼實(shí)現(xiàn)

希望研究者在發(fā)表論文的同時(shí)可以開源自己的代碼實(shí)現(xiàn)。在過去 5 年的時(shí)間里，我們處理了60000 多篇機(jī)器學(xué)習(xí)領(lǐng)域的論文，在這些論文中，只有 12％ 的論文開源了它們的代碼，而過去 6 個(gè)月新發(fā)表的論文中，大約只有 15％ （即每7篇新論文中只有1篇）附有代碼實(shí)現(xiàn)。這些數(shù)字都告訴我們還有更多的工作要做，但是一切也正朝著正確的方向發(fā)展！

每 20 分鐘就會(huì)出現(xiàn)一篇機(jī)器學(xué)習(xí)論文

從 7 月到現(xiàn)在，機(jī)器學(xué)習(xí)領(lǐng)域論文發(fā)表數(shù)量的增長率一直維持在每月 3.5％ 左右，每年的增長率達(dá)到了 50％。這意味著，每月大約有 2200 篇新論文發(fā)表，按照這個(gè)趨勢(shì)，預(yù)計(jì)明年將有近 30000 篇新論文發(fā)表。

為了更好描述這是怎樣的一個(gè)趨勢(shì)，我們繪制了曲線圖與摩爾定律的趨勢(shì)圖進(jìn)行比較。

最熱門的兩大深度學(xué)習(xí)框架

Tensorflow 和 PyTorch

以往每年大部分論文的代碼都是基于 Tensorflow 框架實(shí)現(xiàn)的，但是，今年 PyTorch 的火熱程度無法讓人忽視，PyTorch 社區(qū)的活躍度非常高。其他的框架，諸如 MXNet，Torch 和 Caffe2 在整個(gè)深度學(xué)習(xí)社區(qū)的活躍度和使用率相對(duì)就有些低了。 Tensorflow 和 PyTorch 這兩大框架都發(fā)生了很大的變化，TensorFlow 正朝著 eager execution 的方向發(fā)展，并集成了新的 Keras API，而 PyTorch 的改進(jìn)旨在使用者能夠更輕松地構(gòu)建自己的深度學(xué)習(xí)模型。

展望

整個(gè)領(lǐng)域都開始強(qiáng)調(diào)論文的可復(fù)現(xiàn)性，雖然目前的數(shù)字顯示，并不是都能做到，甚至我們還有一段路要走，但也正是如此，幫助大家明確了今后的工作的要求與方向。也希望出了研究人員外，有更多的人加入到開源社區(qū)中來。

此外，除了 Google 和 Facebook 這樣的大型巨頭公司外，獨(dú)立的 ML 社區(qū) (indie ML community) 也將有助于推動(dòng)論文復(fù)現(xiàn)、代碼開源等工作。如果，研究團(tuán)隊(duì)和開發(fā)社區(qū)能更加緊密的聯(lián)系與合作，相信會(huì)產(chǎn)生更多有助于實(shí)際應(yīng)用的機(jī)器學(xué)習(xí)工具，進(jìn)而讓整個(gè)領(lǐng)域更加發(fā)揮更大的潛力，全速前進(jìn)。