Yann LeCun今天在采訪中確認Facebook正在自研AI芯片，追求更高能效，以支持其AI應用。Facebook也在尋找新的神經(jīng)網(wǎng)絡(luò)架構(gòu)，大力投入于“自我監(jiān)督”系統(tǒng)，致力于賦予機器“常識”。

人工智能研究的進展將與硬件創(chuàng)新密切相關(guān)。

今天，在2019國際固態(tài)電路研討會(ISSCC)的主旨演講中，F(xiàn)acebook首席AI科學家Yann LeCun闡述了深度學習研究的進展將如何影響未來的硬件架構(gòu)。他的論文題為《深度學習硬件：過去、現(xiàn)在和未來》(Deep Learning Hardware: Past, Present, and Future)。

并且，LeCun公開確認Facebook正在自研AI芯片，這是Facebook首次發(fā)表官方評論，證實了其在芯片領(lǐng)域的雄心。

LeCun表示，對DL專用硬件的需求會不斷增加。動態(tài)網(wǎng)絡(luò)、關(guān)聯(lián)存儲器結(jié)構(gòu)以及稀疏激活等新的體系結(jié)構(gòu)概念將影響未來需求的硬件體系結(jié)構(gòu)類型。

“這可能要求我們重新發(fā)明電路中運算的方式，”LeCun說。今天的計算機芯片通常沒有針對深度學習進行優(yōu)化，即使使用不太精確的計算，深度學習也可以有效。“因此，研究人員正在嘗試設(shè)計一種新的方式來更有效地表示數(shù)字?！?/p>

推進AI領(lǐng)域的一個關(guān)鍵因素，尤其是在深度學習方面，將是確保有能夠支持它的硬件。

這是LeCun演講中的一個重要議題，他在會上討論了一份新的研究報告，概述了未來5到10年芯片廠商和研究人員需要關(guān)注的關(guān)鍵趨勢。

他說：“無論他們建造的是什么，都將影響未來十年AI的發(fā)展。”

在會議開始之前，LeCun與Business Insider就AI領(lǐng)域的發(fā)展方向、它對我們?nèi)粘Ｉ钪惺褂玫脑O(shè)備的意義、人工智能的現(xiàn)狀以及未來面臨的最大挑戰(zhàn)進行了討論。以下是采訪的要點。

為了改善AI性能，機器必須在能耗方面做得更好

想象有這樣一個真空吸塵器，它不僅聰明到可以為你的起居室繪制地圖，以便不會重復清潔同一個地方，它還能在撞到障礙物之前檢測到它們。

或者想象有這樣一臺智能割草機，它可以在修剪草坪時智能地避開花壇和樹枝。

LeCun說，這樣的小設(shè)備要想實現(xiàn)、并流行起來，除了Facebook、Alphabet等正在投資的技術(shù)，如增強現(xiàn)實和自動駕駛技術(shù)，還需要有更節(jié)能的硬件。

更節(jié)能的硬件不僅對這類技術(shù)的蓬勃發(fā)展是必要的，而且對改善Facebook等公司實時識別照片和視頻內(nèi)容的方式也是必要的。LeCun說，要理解視頻中發(fā)生的事情，將活動轉(zhuǎn)錄成文本，然后將文本翻譯成另一種語言，以便世界各地的人們能夠?qū)崟r地理解，需要“巨大”的計算能力。

Facebook 希望使用AI來幫助審核內(nèi)容

短期內(nèi)AI將繼續(xù)在智能手機中得到改進

LeCun認為，未來3年內(nèi)，大多數(shù)智能手機將通過專用處理器將AI直接內(nèi)置到硬件中，這將使實時語音翻譯等功能在手機上更為普遍。

對于那些近年來一直密切關(guān)注智能手機行業(yè)的人來說，這可能并不意外，因為蘋果、谷歌、華為等公司已經(jīng)將AI更緊密地整合到自己的移動設(shè)備中， LeCun 表示，這將使“各種新應用”成為可能。

賦予機器“常識”將是未來10年AI研究的一大重點

雖然人類通常通過一般觀察(general observations)來了解世界，但計算機通常被訓練來執(zhí)行特定的任務(wù)。舉例來說，如果你想設(shè)計一種能夠檢測照片中的貓的算法，你必須幫助它了解貓的樣子，方法是提供給它一個巨大的數(shù)據(jù)集，其中可能包括數(shù)千張標記有貓的照片。

但LeCun認為，未來十年，推動AI前進的圣杯在于完善一種稱為自監(jiān)督學習(self-supervised learning)的技術(shù)。換句話說，使機器能夠通過數(shù)據(jù)了解世界是如何運轉(zhuǎn)的，而不僅僅是學習如何解決一個特定的問題——比如識別貓。

LeCun表示：“如果我們真的訓練(算法)做到這一點，那么機器捕捉上下文并做出更復雜決策的能力將會取得重大進展。”他補充說，這樣的技術(shù)目前只對文本有效，對視頻和圖像仍然無效。

這樣的突破可能是Facebook等公司需要的，用以改進其平臺上的內(nèi)容審核，盡管現(xiàn)在還不知道這樣的解決方案何時會出現(xiàn)。LeCun說：“這不是一蹴而就的事情?！?/p>

Facebook加入AI芯片競賽，自研ASIC

Facebook認識到，要想在AI領(lǐng)域?qū)崿F(xiàn)下一個突破，它需要大大提高計算速度。目前，F(xiàn)acebook已經(jīng)加入與亞馬遜和谷歌的競爭，開發(fā)自己的AI芯片。

LeCun 在接受英國 《金融時報》 采訪時表示，F(xiàn)acebook 希望與多家芯片公司合作開發(fā)新的芯片設(shè)計——最近宣布了與英特爾合作開展項目——但他也表示，F(xiàn)acebook正在開發(fā)自己的定制 “ASIC” 芯片，以支持其AI程序。

LeCun說：“眾所周知，F(xiàn)acebook會在需要時構(gòu)建自己的硬件——例如，構(gòu)建自己的ASIC。遇到任何障礙，我們都將全力以赴?！边@是Facebook首次發(fā)表官方評論，證實了其在芯片領(lǐng)域的雄心。

談到公司在芯片方面取得突破的機會時，LeCun補充說：“底層肯定有很大的空間?！?/p>

Facebook自研芯片的決定，對英偉達也構(gòu)成了又一個長期挑戰(zhàn)。英偉達是目前用于數(shù)據(jù)中心AI的圖形處理器的主要生產(chǎn)商。由于大型數(shù)據(jù)中心客戶離開，英偉達正面臨短期困境。

現(xiàn)在，更大的需求是更專業(yè)的AI芯片，其設(shè)計旨在以閃電般的速度、更低的功耗執(zhí)行單一任務(wù)，而不是過去的通用處理器。這種需求不僅吸引了谷歌、亞馬遜、蘋果等公司的投資浪潮，也吸引了幾十家初創(chuàng)企業(yè)。

對新的芯片設(shè)計和硬件架構(gòu)的關(guān)注表明，需要在基礎(chǔ)計算方面取得根本性突破，以防止今天的AI成為一個死胡同。

LeCun 表示，縱觀AI的歷史，在研究人員提出讓該領(lǐng)域得到突破的洞見之前，它往往已經(jīng)在硬件方面取得了很大的進步。

“在相當長的一段時間里，人們沒有想到相當明顯的想法，”他說，這阻礙了人工智能的發(fā)展。其中就包括反向傳播，這是當今深度學習系統(tǒng)的一項核心技術(shù)，算法可以通過反向傳播來減少錯誤。 LeCun 表示，這顯然是對早期研究的延伸，但直到上世紀90年代計算機硬件發(fā)展后，這一技術(shù)才得到廣泛應用。

Facebook過去也曾設(shè)計過其他類型的硬件，例如，在將數(shù)據(jù)中心設(shè)備開源供他人使用之前，為這些設(shè)備提出一些新想法。 LeCun 表示，同樣的方法也將適用于芯片設(shè)計。他補充說：“我們的目標是將其送走?！?/p>

重新設(shè)計神經(jīng)網(wǎng)絡(luò)，模仿更多人類智能

Facebook還將研究重點放在神經(jīng)網(wǎng)絡(luò)的新設(shè)計上。神經(jīng)網(wǎng)絡(luò)是深度學習系統(tǒng)的核心，是圖像和語言識別等領(lǐng)域最近進展的基礎(chǔ)。

30年前，LeCun在 AT＆T 貝爾實驗室研究AI芯片時，構(gòu)建了第一個“卷積”神經(jīng)網(wǎng)絡(luò)，這是目前深度學習系統(tǒng)常用的神經(jīng)網(wǎng)絡(luò)。

LeCun 表示，F(xiàn)acebook正致力于“一切可以降低功耗(并)改善延遲的事情”，以加快處理速度。但他補充說，實時監(jiān)控視頻帶來的巨大需求，將需要新的神經(jīng)網(wǎng)絡(luò)設(shè)計。

Facebook也在尋找新的神經(jīng)網(wǎng)絡(luò)架構(gòu)，以模仿人類智能的更多方面，并使系統(tǒng)更自然地進行交互。

LeCun說，F(xiàn)acebook正大力投入于“自我監(jiān)督”系統(tǒng)，這種系統(tǒng)能夠?qū)χ車氖澜缱龀龈鼜V泛的預測，而不僅僅是得出直接與它們所接受的數(shù)據(jù)相關(guān)的結(jié)論。這可以使它們對世界產(chǎn)生同樣廣泛的理解，從而使人類能夠應對新的情況。

“就新用途而言，F(xiàn)acebook感興趣的一件事是開發(fā)智能數(shù)字助理——具有一定程度的常識的智能助理，”他說?！八鼈儞碛斜尘爸R，你可以和它們就任何話題進行討論?！?/p>

向計算機灌輸常識的想法還處于非常早期的階段，LeCun表示，這種更深層次的智能“不會很快發(fā)生”。

他說：“能夠在不確定性下進行預測是當今的主要挑戰(zhàn)之一。”

Facebook正在參與一項更廣泛的研究努力，旨在增強當今的神經(jīng)網(wǎng)絡(luò)。在ISSCC研討會上，LeCun概述了這項工作。

其中，包括根據(jù)通過它們的數(shù)據(jù)調(diào)整其設(shè)計的網(wǎng)絡(luò)，使其在面對現(xiàn)實世界的變化時更加靈活。另一種研究方法是研究只“激活”解決特定問題所需神經(jīng)元的網(wǎng)絡(luò)，這種方法與人類大腦的運作方式類似，可以大大降低功耗。

研究工作還包括將計算機存儲添加到神經(jīng)網(wǎng)絡(luò)中，這樣當與人“交談”時，神經(jīng)網(wǎng)絡(luò)就能記住更多的信息，并形成更強的語境感。

神經(jīng)網(wǎng)絡(luò)的進步可能會對驅(qū)動它們的芯片的設(shè)計產(chǎn)生連鎖反應，這可能會為制造當今領(lǐng)先AI芯片的公司帶來更多競爭。

LeCun 表示，谷歌的TPU——最強大的機器學習數(shù)據(jù)中心芯片——“仍相當通用”。但“它們做出的假設(shè)不一定適用于未來的神經(jīng)網(wǎng)絡(luò)架構(gòu)?！?/p>

另一方面，芯片設(shè)計的靈活性也有其他缺點。例如，微軟計劃在其所有數(shù)據(jù)中心服務(wù)器上安裝一種不同類型的芯片，即FPGA(現(xiàn)場可編程門陣列)。這些芯片在使用方式上更加靈活，但在處理大量數(shù)據(jù)方面效率較低，這使它們與專為特定任務(wù)而優(yōu)化的芯片相比處于劣勢。