五年前，Yann LeCun 等人創(chuàng)建了 Facebook 人工智能研究院 (Facebook AI Research，F(xiàn)AIR)，試圖通過開放的研究環(huán)境促進人工智能的發(fā)展，進而造福所有人——他們努力的目的是為了理解智慧的本質(zhì)，以便創(chuàng)造真正意義上的智能機器。從那時起，F(xiàn)AIR 便不斷發(fā)展壯大、做出成果，逐漸長成一個在多個國家均設有實驗室的國際性研究組織，當中包括硅谷門羅公園、紐約、巴黎、蒙特利爾、特拉維夫、西雅圖、匹茲堡和倫敦。在人工智能漸漸成為 Facebook 業(yè)務核心的當下，F(xiàn)AIR 也隨之成為 Facebook 龐大人工智能架構(gòu)的一部分，從基礎研究到應用研究與技術(shù)開發(fā)，致力于人工智能研發(fā)的方方面面。

FAIR 在對外合作上秉持著開放的態(tài)度，盡可能與社會保持緊密的聯(lián)動關(guān)系。他們的團隊經(jīng)常對外發(fā)布前沿的研究成果，并且盡可能對外開源研究代碼、數(shù)據(jù)集和工具（如 PyTorch 、 fastText 、 FAISS 和 Detectron）。他們的這些努力成功推進了人工智能研究的發(fā)展。以今年為例，來自 FAIR 的研究人員成功獲得了多個獎項的認同，其中就包括 ACL、EMNLP、CVPR 和 ECCV 的最佳論文獎，以及 ECCV 、 ICML 和 NeurIPS 的時間檢驗獎。他們深信，開放的工作環(huán)境可以讓 AI 領域獲得快速的發(fā)展。

要想制造出真正意義上的智能機器，無論從技術(shù)還是產(chǎn)品工程的角度來說，都是一項挑戰(zhàn)。因此，F(xiàn)AIR 有相當一部分的研究精力都集中于攻克一些基礎問題，比如推理、預測、計劃和無監(jiān)督學習等。與此同時，要想在這些研究領域有所建樹，需要對生成模型、因果關(guān)系、高維隨機優(yōu)化和博弈論等理論有更深入的理解。如果想讓人工智能的潛力在未來最大化為我們所用，這些長期的研究探索是需要一直堅持下去的。在成立五周年之際，他們將從過去已完成的項目中挑選出了一些具有代表性的項目，通過它們向大家展示 FAIR 是如何成功達成使命，為人工智能領域做出貢獻，進而對世界產(chǎn)生影響的。

圖中的時間軸展示了這 5 年以來 FAIR 較有代表性的項目

記憶網(wǎng)絡

在 2014 年，F(xiàn)AIR 的研究人員發(fā)現(xiàn)了神經(jīng)網(wǎng)絡的一個本質(zhì)缺陷——長期記憶。雖然大家都知道神經(jīng)網(wǎng)絡可以在數(shù)據(jù)集的訓練過程中學習，可一旦系統(tǒng)開始運行了，它們通常再也無法存儲新信息，用于解決日后的特定任務。因此，他們開發(fā)出了一種新的學習模型，以幫助機器能夠記住足量的交互行為，并根據(jù)對話中先前的陳述來回答一般的知識問題。他們一篇發(fā)表于 2014 年闡述了該模型的論文（https://arxiv.org/abs/1410.3916）中，試圖通過一個具備記憶能力的網(wǎng)絡去回答和《指環(huán)王》系列故事情節(jié)相關(guān)的問題，而它的依據(jù)僅僅只有提供的一篇簡短摘要。結(jié)果顯示，該系統(tǒng)不但能夠?qū)W習到一些簡單的語言模式，甚至還能正確歸納出生詞的意思，例如在故事結(jié)尾中出現(xiàn)的「佛羅多身在夏爾」以及「魔戒在末日山上」。

FAIR 在接下來的兩年內(nèi)繼續(xù)對這一方法進行改進，無論在研究范圍還是探索領域上都擴充了許多。他們開發(fā)出一款可以從序列中以無監(jiān)督的方式進行訓練的增強式 RNN，它帶有一個支持 push、pop 的堆棧，也就是 StackRNN（https://research.fb.com/downloads/stack-rnn/）。在 bAbl 中（https://research.fb.com/downloads/babi/），團隊構(gòu)建了基于問答任務的數(shù)據(jù)集，以評測機器在文本理解方面的表現(xiàn)。值得一提的是，bAbI 如今已是開源項目 ParlAI 的一部分，該項目包含了上千條的對話示例，涵蓋從餐館預訂到對電影陣容的回答，可以說是應有盡有。此外，他們還對內(nèi)存網(wǎng)絡架構(gòu)進行了迭代，增強它們在實際應用程序中的實用性。迭代的內(nèi)容包括了端到端內(nèi)存網(wǎng)絡（https://arxiv.org/abs/1503.08895）以及鍵值內(nèi)存網(wǎng)絡（https://arxiv.org/abs/1606.03126），前者可以讓網(wǎng)絡在更少的監(jiān)督下工作，后者則允許網(wǎng)絡通過完全沒有監(jiān)督的信息源 (如維基百科條目) 進行泛化后進行訓練。

自我監(jiān)督學習與生成模型

如何通過自監(jiān)督學習 (SSL) 對大量未標記的數(shù)據(jù)進行利用，進而擴大人工智能的運用規(guī)模，向來是 FAIR 優(yōu)先級最高的工作之一。有了 SSL，機器可以通過輸入未標記的圖像、視頻或音頻來習得世界的抽象表征。SSL 最典型的一個應用例子是，通過向一臺機器展示視頻內(nèi)容并進行訓練，使其可以預測接下來出現(xiàn)的畫面。一旦掌握了預測的能力，機器可以獲取關(guān)于世界如何運轉(zhuǎn)的知識，進而更好習得對世界的抽象表征。SSL 讓機器可以像人類與動物的嬰兒一樣通過觀察來進行學習，由此積累大量關(guān)于真實世界的背景知識。人們都希望機器可以和這個世界達成一種「共識」。一個具備對世界萬物進行預測能力的模型，是構(gòu)建能夠進行推理、預測其行為后果并在現(xiàn)實世界中付諸行動的人工智能系統(tǒng)的關(guān)鍵。

2014 年，來自蒙特利爾大學 MILA 的一名朋友（Ian Goodfellow）提出了名為生成對抗網(wǎng)絡 (GANs) 的新型無監(jiān)督學習方法。當時 FAIR 的研究人員們立刻被這種自我監(jiān)督學習方法的潛在應用價值所吸引。不過，盡管 GANs 讓人感覺這種方法很有前途，該方法卻只在一些非常簡單的問題上得到了證明。為此，F(xiàn)AIR 從 2015 年開始發(fā)表了一系列論文，試圖說服學界人士關(guān)于 GANs 確實發(fā)揮了作用。簡單來說，GANs 可以用來訓練機器在不確定的情況下進行預測，其背后依賴的是兩個相互對抗的神經(jīng)網(wǎng)絡。在典型的 GAN 結(jié)構(gòu)中，生成器網(wǎng)絡會從一堆隨機數(shù) (可能還包含過去的視頻幀) 生成數(shù)據(jù)（如圖像或視頻幀），與此同時，鑒別器網(wǎng)絡也會同步區(qū)分真實數(shù)據(jù)（真實的圖像與視頻幀）與生成器的「失誤」輸出。正是這種對抗性的網(wǎng)絡運行邏輯有效優(yōu)化了兩個網(wǎng)絡，從而帶來更好的預測效果。

這些年，他們的論文基本覆蓋了 GANs 的幾種關(guān)鍵變體，其中包括專注于圖像生成的深度卷積生成對抗網(wǎng)絡 (DCGANs，http://arxiv.org/abs/1511.06434) 和拉普拉斯對抗網(wǎng)絡 (LAPGANs，http://papers.nips.cc/paper/5773-deep-generative-image-models-using-a-laplacian-pyramid-of-adversarial-networks)，以及專注于視頻預測行為的對抗梯度差損失預測器 (AGDLs，https://arxiv.org/abs/1511.05440)。這些論文的最重要貢獻是，向大家證明了 GANs 實際上可以「創(chuàng)造」出一些看起來很逼真的圖像，例如壓根就不存在的臥室、面孔或者狗。

圖中展示了一系列由生成網(wǎng)絡創(chuàng)建的時裝設計作品

從此以后，有越來越多的研究人員開始關(guān)注 FAIR 在 GANs 方面所做的工作，利用它們創(chuàng)建令人贊嘆的高分辨率圖像。然而 GANs 是出了名的難以調(diào)優(yōu)以及難以收斂，為此 FAIR 努力探索更多可以讓 GANs 變得可靠的方法，其中一種方法是在理論上著重于理解對抗性的訓練。2017 年，他們提出了 Wasserstein GAN (WGAN，https://arxiv.org/abs/1701.07875) 方法，該方法通過改進鑒別器使其變得更加「平滑」和高效，由此增強生成器的預測效果?？偟膩碚f，WGAN 是第一個能夠保證收斂魯棒性，且被廣泛應用的 GAN。這也意味著有了 WGAN 后，可以在優(yōu)化系統(tǒng)時免去平衡鑒別器和生成器輸出的工作，從而顯著提高網(wǎng)絡在學習上的穩(wěn)定性，尤其是在高分辨率圖像的生成任務中。

自此，F(xiàn)AIR 的研究員們和 Facebook 工程師們將對抗訓練這一方法進行了大范圍應用，包括長時間視頻預測（http://openaccess.thecvf.com/content_ICCV_2017/papers/Luc_Predicting_Deeper_Into_ICCV_2017_paper.pdf）和時尚服裝創(chuàng)造（https://arxiv.org/abs/1804.00921）。但是生成式對抗網(wǎng)絡（GAN）真正有趣的部分，是它們對于未來的意義。作為一項全新的技術(shù)（幾年前甚至還不存在），它為我們帶來了在數(shù)據(jù)稀缺的領域生成數(shù)據(jù)的新機會。未來的探索中，它可能成為構(gòu)建能夠自主學習的機器的關(guān)鍵工具。

規(guī)?；奈谋痉诸?/p>

文本理解不是單一任務，而是一個擴展的子任務矩陣，是把詞語、短語和整個語言數(shù)據(jù)集組織為機器能夠處理的格式。但是在大量工作進行之前，文本本身需要被分類。幾年前，詞向量（word2vec）等自然語言處理模型通過大量的、基于詞的訓練來對文本進行分類，同時，模型為訓練數(shù)據(jù)集中的每個單詞分配不同向量。對于 Facebook 來說，這種文本分類方法太慢，并且太依賴于完全監(jiān)督的數(shù)據(jù)。他們需要最終實現(xiàn)的是對成百上千種語言進行文本分類，其中許多語言并不具備大規(guī)模數(shù)據(jù)集。該系統(tǒng)需要擴展到 Facebook 所有基于文本的功能和服務中，還需要兼顧 FAIR 的自然語言處理研究。

因此在 2016 年，F(xiàn)AIR 創(chuàng)建了 fastText（https://code.fb.com/ml-applications/expanded-fasttext-library-now-fits-on-smaller-memory-devices/），這是一個用于快速分類文本和學習詞表示的框架，它考慮了其所分類詞語的更大形態(tài)。在 2017 年發(fā)表的一篇論文（https://arxiv.org/pdf/1607.04606.pdf）中，F(xiàn)AIR 提出了一個模型，該模型將向量分配給「子詞單元」（例如，3 或 4 個字母組成的序列），而不是分配給整個單詞，從而讓系統(tǒng)為訓練數(shù)據(jù)中沒有出現(xiàn)過的單詞創(chuàng)建表示，最終的結(jié)果，該模型的分類可以擴展到數(shù)十億個詞語，并從新的、未經(jīng)訓練的詞語中學習，同時其訓練速度也比典型的深層學習分類器快得多。在某些情況下，用 fastText 可以在幾秒內(nèi)訓練完此前需要花費幾天時間才能完成訓練的模型。

后來的發(fā)展表明 FastText 對于基于人工智能的語言理解的研究和應用是一項重要貢獻，并且它現(xiàn)在適用于 157 種語言。原論文在其他出版物上已被引用了上千次，而 fastText 仍然是詞嵌入系統(tǒng)最常用的基線之一。在 Facebook 以外，fastText 也已在各種各樣的應用程序中得到應用，從熟悉的應用場景，如消息回復推薦（suggesting message replies），到特別的應用場景，如一款叫做 The Great Outdoors 的「算法劇場」產(chǎn)品，它使用 fastText 來幫助篩選大眾互聯(lián)網(wǎng)評論并將篩選結(jié)果安排為表演的腳本。該框架也被部署在 Facebook 上，用于對 19 種語言的文本進行分類，并與 DeepText 結(jié)合用于翻譯和自然語言理解。

前沿的翻譯研究

快速、準確、靈活的翻譯是幫助世界各地的人們進行交流的重要組成部分。因此，在 FAIR 成立的早期，他們就開始尋找一種比當時最先進的統(tǒng)計機器翻譯表現(xiàn)更好的新方法。他們花了三年的時間構(gòu)建了一個基于 CNN 的，集速度、準確性和學習能力為一體的神經(jīng)機器翻譯（NMT）架構(gòu)。（Facebook 人工智能研究院在 2017 年發(fā)表了一篇詳述其工作的論文 https://arxiv.org/abs/1705.03122。）在他們的實驗中，這種方法相比 RNN 的速度提高了 9 倍，同時還保持了當時最高的準確率。

他們的多跳 CNN 不僅更易于在更有限的數(shù)據(jù)集上訓練，也能更好地理解拼寫錯誤或縮寫詞，比如正確地把「tmrw」作為「tomorrow」進行翻譯。總體而言，神經(jīng)機器翻譯提高了平均 11 % 的準確率以及 2.5 倍的翻譯速度。除了改進自己的系統(tǒng)，他們還對 fairseq 的代碼和模型（https://github.com/facebookresearch/fairseq）進行了開源，它是針對基于 CNN 系統(tǒng)使用的序列到序列的建模工具包。

為了避免對大規(guī)模翻譯訓練數(shù)據(jù)集的需求（通常稱為語料庫），他們還在尋求其他新的機器翻譯方法，例如多語言嵌入，其可以實現(xiàn)跨多種語言的訓練。去年，他們發(fā)布了一個開源 Python 庫——MUSE，它為學習多語言嵌入提供了兩種不同方法：一種是使用發(fā)布版本中包含的 110 種雙語詞典的有監(jiān)督的方法；另一種是允許在沒有平行語料兩種語言間構(gòu)建新雙語詞典的更新的、無監(jiān)督的方法。隨后，他們發(fā)表了一篇 EMNLP 獲獎論文（https://arxiv.org/abs/1804.07755），展示了針對完整句子翻譯的無監(jiān)督訓練所取得的顯著進步。

通過共享 fairseq 和 MUSE 這樣的研究和資源，F(xiàn)AIR 鼓勵其他人無論是用于研究目的還是生產(chǎn)應用，都能享受更快、更準確和更多功能的翻譯技術(shù)所帶來的好處。

讓每個人都進步的人工智能工具

人工智能的進步不僅取決于突破性的想法，還取決于擁有強大的平臺和工具來驗證和實現(xiàn)它們。FAIR 率先建立起了這些系統(tǒng)，并與世界分享。在 2015 年，他們開源由 FAIR 開發(fā)的 Torch 深度學習模塊（https://code.fb.com/developer-tools/fair-open-sources-deep-learning-modules-for-torch/），以加速大型神經(jīng)網(wǎng)絡的訓練。在 2016 年，他們發(fā)布了 Torchnet（https://code.fb.com/core-data/lighting-the-way-to-deep-machine-learning/），使得深度學習社區(qū)能夠更容易地快速構(gòu)建有效和可重復使用的學習系統(tǒng)。不久之后，他們發(fā)布了 Caffe2（https://caffe2.ai），它是用于移動計算的模塊化深層學習框架，如今正在全球 10 億多部手機上運行神經(jīng)網(wǎng)絡。接著，他們又聯(lián)合微軟和亞馬遜發(fā)布了 ONNX（https://onnx.ai），這是針對神經(jīng)網(wǎng)絡的一種通用表示，可以使其更易于根據(jù)需要在框架之間移動。

特別是，他們對 PyTorch（https://pytorch.org）的研究工作表明了 FAIR 致力于開發(fā)快速迭代、具有巨大影響力、開放的系統(tǒng)以及與 AI 社區(qū)建立合作。PyTorch 最初只是 Facebook 人工智能研究院一小部分研究人員的小成果。他們選擇在 Torch 開放源代碼庫上構(gòu)建一個深度學習框架，而不是全部重新構(gòu)建，同時他們還集成了英特爾和英偉達的加速庫，來實現(xiàn)速度最大化。他們在 2017 年初發(fā)布了 PyTorch，在不到兩年時間的今天，它成為了 GitHub 上發(fā)展速度排第二的開源項目（https://octoverse.github.com/projects），以及全球 AI 開發(fā)人員所選用的框架。在 10 月份，AI 社區(qū)的數(shù)百名成員參加了第一屆 PyTorch 開發(fā)者大會，聆聽了來自加州理工大學、FAIR 、fast.ai、谷歌、微軟、英偉達、特斯拉以及其他許多企業(yè)和機構(gòu)的發(fā)言。現(xiàn)在，PyTorch 1.0 的發(fā)布集成了 Caffe2 和 ONNX 的模塊化、面向生產(chǎn)的能力，并通過深度集成云服務和技術(shù)供應商，提供了從原型研究到產(chǎn)品部署的無縫對接路徑。

PyTorch 被集成到 Facebook 擁有億級用戶的產(chǎn)品中，它也被集成到了 FAIR 自己的研究項目上，如 fairseq(-py)（https://github.com/pytorch/fairseq），這個版本比之前版本的翻譯速度提高了 80%。強化學習圍棋機器人 ELF OpenGo、嵌入問答 EmbodiedQA 的研究（https://embodiedqa.org/）以及在數(shù)十億帶有標簽的公共圖像上訓練圖像識別網(wǎng)絡的時候，都使用了 PyTorch。除了 Facebook，紐約大學教授 Narges Razavian 博士在 AllenNLP 項目和利用人工智能改善早期疾病檢測的項目中也使用了 PyTorch。現(xiàn)在 Udacity 和 FAST.AI 正在幫助更多的人使用 PyTorch。

由于 PyTorch 使得模型從研究到生產(chǎn)更快、更容易，F(xiàn)AIR 在 Facebook AI 相似性搜索（FAISS）方面的工作也加速了大規(guī)模搜索研究方面的進展。FAISS 最初只是一個利用 GPU 來識別與用戶偏好相關(guān)的相似性的內(nèi)部研究項目，但如今它能夠利用數(shù)十億規(guī)模的數(shù)據(jù)集，是現(xiàn)有的同類查詢庫中最快最大的一個。FAISS 已經(jīng)為推薦引擎和人工智能輔助系統(tǒng)開辟了可能性。FAIR 去年把它作為開源庫發(fā)布，現(xiàn)在 FAISS 已經(jīng)被開發(fā)者社區(qū)廣泛采用，獲得了 5000 多個 GitHub star 并被集成到了 NVIDIA 的 GPU 加速的 scikit-learning 庫 cuML 中。

一種新的計算機視覺測試基準

試圖理解智力的本質(zhì)是一項多感官式的研究，但在過去五年，F(xiàn)AIR 實際上只在計算機視覺方面進展較多。在 FAIR 誕生之前，F(xiàn)acebook 就有一支由人工智能專家組成的小團隊，他們試圖更好地理解圖像中的人是如何被像素表示的，以便在正確的時間為人們展示正確的照片。到 2017 年，F(xiàn)AIR 的研究人員將最優(yōu)秀的目標檢測和語義分割技術(shù)相結(jié)合，完成了 Mask R-CNN 論文，這篇論文也獲得了 CVPR2017 的最佳論文獎。

正如這篇論文所說，「在不加修飾的情況下，Mask R-CNN 在每一項任務上的表現(xiàn)都勝過所有現(xiàn)有的單模項目，包括 COCO 2016 挑戰(zhàn)賽冠軍?！惯@項工作迅速在更多的人工智能社區(qū)成為了計算機視覺研究的基礎。然后，該技術(shù)被集成到 FAIR 的開源 Detectron 系統(tǒng)中，為世界各地的研究人員提高了算法的直觀易用性、速度和準確性。

這項基礎工作支撐著 Facebook 的大量現(xiàn)有系統(tǒng)，例如替代自動文本可以幫助視力受損者檢測文本和不良內(nèi)容。這也是未來應用的基礎：跨平臺的 AR 功能和 Portal 中的Smart Camera 都植根于此。隨著研究的繼續(xù)進行，F(xiàn)AIR 的研究重點轉(zhuǎn)移到了視頻，DensePose 項目就可以幫助系統(tǒng)理解視頻內(nèi)容以及照片。

上面的視頻演示了當人移動時，在人的頭頂上創(chuàng)建 3D 表面

圖像理解：更快的訓練和更大的數(shù)據(jù)集

計算機視覺并不是 FAIR 尋求解決大規(guī)模挑戰(zhàn)的唯一領域。FAIR 與 Facebook 的應用機器學習（AML）團隊合作，解決訓練速度和訓練集大小的限制，以及缺乏監(jiān)督數(shù)據(jù)集的問題。在今年早些時候發(fā)表的一篇論文中，AML 的團隊討論了他們?nèi)绾卧趲в泄１淼拇笮凸矆D像集上訓練圖像識別網(wǎng)絡，其中最大的包括 35 億張圖像和 17000 個哈希表。它的數(shù)量級比以往任何發(fā)表的作品都要多，并且結(jié)果是迄今為止業(yè)界發(fā)布的最好的結(jié)果：準確率為 85.4%。

通過 FAIR 對訓練速度的研究，這一突破成為可能——FAIR 能夠?qū)?ImageNet 的訓練速度提高一個數(shù)量級。他們把訓練時間縮短到一個小時以下，演示了如何進行小規(guī)模的 SGD 訓練，這些訓練的數(shù)量級比之前認為的實際數(shù)量級大。用他們的話說：「為了得到這個結(jié)果，我們采用線性縮放規(guī)則將學習率調(diào)整為一個小批量的函數(shù)，并且開發(fā)新的預處理方案，這個方案解決了早期訓練中的最優(yōu)化問題。」

隨著訓練速度的提高，我們能夠?qū)^大數(shù)據(jù)集上的弱監(jiān)督學習進行有針對性的研究。這兩個結(jié)果表明，F(xiàn)AIR 和 AML 之間是互相促進的。當解決人工智能的科學得到實際研究和生產(chǎn)中應用的支持時，我們會看到最快速、最先進的結(jié)果。

FAIR 的未來

當 LeCun 等人創(chuàng)建 FAIR 時，他們的最終目標是理解智能并發(fā)現(xiàn)其基本原理，從而提高機器的智能性。到現(xiàn)在這一目標也沒有改變?，F(xiàn)在 FAIR 的研究人員們正在繼續(xù)擴展他們的研究領域，諸如開發(fā)能夠通過自我監(jiān)督學習獲得真實世界模型的機器，訓練機器進行推理，以及訓練它們進行規(guī)劃和構(gòu)思復雜的行動等。這也是 FAIR 目前研究機器人、視覺推理和對話系統(tǒng)的原因之一。在這篇文章中他們已經(jīng)描述了一些已有的具體成果，這些項目證明了他們?nèi)〉昧司薮蟮倪M步，但在讓機器更加智能從而幫助人們的過上更好生活這個方面還有很長的路要走。