根據(jù)技術專家的說法，是Carver Mead在Gordon Moore于1965年在Electronics Magazine發(fā)表了具有里程碑意義的文章“將更多的元件塞入集成電路”十年后，創(chuàng)造了“摩爾定律”一詞。在接下來的數(shù)十年里，該文章概述的規(guī)律改變了世界——即每兩年左右，半導體公司將能夠在單個半導體芯片上制造的晶體管數(shù)量翻一番。

晶體管的每兩年翻倍最顯著地帶來了計算能力的更快指數(shù)增長。除了從摩爾定律中獲得更多的晶體管之外，我們還獲得了更快，更便宜，更節(jié)能的晶體管。所有這些因素共同使我們能夠構建更快，更復雜，性能更高的計算設備。

到1974年，Robert Dennard觀察到，由于隨著工藝幾何尺寸的減小，密度，速度和能量效率的三倍提高，計算的功率效率將甚至快于晶體管數(shù)量。這種被稱為“ Dennard Scaling”的趨勢在我們身邊已經(jīng)存在了大約三十年，而計算性能（更重要的是，功率，事實證明）推動了前所未有的指數(shù)級改進。

所有這些計算能力的改進都建立在John Von Neumann等人于1945年開發(fā)的馮·諾伊曼處理器體系結構的基礎上，在未完成的報告“ EDIMAC報告的初稿”中有記錄。具有諷刺意味的是，歷史上最令人印象深刻的技術革命是建立在一個半世紀前未完成的設計之上的。隨著摩爾定律時代數(shù)字計算領域的所有顯著進步，如今已有75年歷史的基本計算體系結構基本上保持不變。

馮·諾依曼架構僅僅是進行計算的最佳方法嗎？當然不是。用Winston Churchill的話來說，Von Neumann是除了其他所有架構之外，最糟糕的計算架構。VonNeumann的優(yōu)點在于它的靈活性和面積效率。它可以處理幾乎任何任意復雜的應用，而無需處理器根據(jù)問題的大小來擴展晶體管的數(shù)量。

在過去，在將如此多的元件塞入集成電路之前，馮·諾依曼的架構效率非常重要。我們可以用很少的晶體管構建4位，8位或16位的馮·諾依曼處理器，并以可接受的速度運行大型應用。但是隨著摩爾定律的出現(xiàn)，晶體管正逐漸接近零成本。因此，由于可用晶體管的數(shù)量幾乎是無限的，因此用較少數(shù)量的晶體管構建處理器的價值就大大下降了。

同時，即使摩爾定律全力以赴，從每個先進節(jié)點提取的值也有所減少。Dennard Scaling在2005年左右結束，這迫使我們從建造更大/更快的馮·諾依曼處理器轉(zhuǎn)向制造“更多的”馮·諾依曼處理器。這場比賽使更多的內(nèi)核擠滿了集成電路，Von Neumann到多核的可擴展性帶來了自己的局限性。

更讓人難過的是，摩爾定律并沒有繼續(xù)蒸蒸日上。最近幾個制程節(jié)點中的每一個節(jié)點實現(xiàn)的成本成倍增加，并且實際收益卻成比例地減少。這導致的結果是，即使從技術上講，我們應該能夠制造更多代的更密集的芯片，但是這樣做的成本/收益比卻使其吸引力越來越小。

現(xiàn)在，我們需要摩爾定律以外的其他驅(qū)動因素來保持技術進步的步伐。

顯然，作為單一的全部計算架構，馮·諾依曼也到了將要壽終正寢的時候。最近的AI革命加速了Von Neumann替代產(chǎn)品的開發(fā)。AI，特別是用卷積神經(jīng)網(wǎng)絡完成的AI，是一個難以置信的計算密集型計算，這是個特別不適用于Von Neumann的應用。這就使我們開始從大型的同類計算元素陣列轉(zhuǎn)移到了包括馮·諾依曼方法和非馮·諾依曼方法在內(nèi)的異構元素的復雜配置。

神經(jīng)形態(tài)架構是最有前途的非馮·諾依曼人工智能方法之一。 在1980年代后期，Carver Mead（是的，據(jù)說是“摩爾定律”的創(chuàng)造者是同一個人）觀察到，在當時的發(fā)展路線上，馮·諾依曼處理器所消耗的能量比人腦進行相同計算所用的能量高出數(shù)百萬倍。他的理論是，可以通過模擬人腦的神經(jīng)元結構來構建更有效的計算電路。Mead用晶體管電流模擬了神經(jīng)元離子流，并基于該思想提出了后來被稱為神經(jīng)形態(tài)計算的方法。

當時，神經(jīng)形態(tài)計算可視為一種模擬事件，神經(jīng)元以不斷變化的電壓或電流相互觸發(fā)。但是，世界在優(yōu)化數(shù)字設計的二進制世界的道路上堅定不移。模擬電路無法像數(shù)字指數(shù)那樣進行縮放，因此神經(jīng)形態(tài)計算的發(fā)展超出了摩爾定律的主流軌道。

但是，現(xiàn)在情況發(fā)生了變化。

從長遠來看，我們看到大多數(shù)模擬功能都包含在數(shù)字逼近中，神經(jīng)形態(tài)處理器已通過所謂的“尖峰神經(jīng)網(wǎng)絡”（SNN）實現(xiàn)，該神經(jīng)網(wǎng)絡依賴于每個神經(jīng)元的單個峰值來激活神經(jīng)元下方的神經(jīng)元鏈。這些網(wǎng)絡是完全異步的，激活而不是發(fā)送值取決于尖峰的時間。使用這種技術，利用了當前最先進的批量CMOS數(shù)字技術，實現(xiàn)了神經(jīng)形態(tài)處理器。這意味著神經(jīng)形態(tài)結構最終可以從摩爾定律中獲得收益。結果，已經(jīng)構建并測試了幾種實用的神經(jīng)形態(tài)處理器，其結果令人印象深刻且令人鼓舞。

我們大約在兩年前報道的一個示例是Brainchip的Akida神經(jīng)形態(tài)處理器，該開發(fā)板已于2020年12月上市。Brainchip聲稱其設備的功耗比傳統(tǒng)的基于CNN的解決方案低90％至99％。據(jù)我們所知，這是進入廣泛的商業(yè)市場的首批神經(jīng)形態(tài)技術之一，潛在的應用前景是巨大的。

Brainchip提供了其技術的IP版本和SoC以及在硅片中的完整實現(xiàn)。幾乎所有可以利用“邊緣”人工智能的系統(tǒng)都可以從此類節(jié)能中受益，并且通?？梢栽谧雠c不做邊緣人工智能之間做出區(qū)別。

同樣在2020年12月，英特爾提供了其名為Loihi的神經(jīng)形態(tài)研究測試芯片以及它們的“英特爾神經(jīng)形態(tài)研究社區(qū)（INRC）”的最新信息，這兩者也在兩年前宣布。Loihi在包括語音命令識別，手勢識別，圖像檢索，優(yōu)化和搜索以及機器人技術在內(nèi)的廣泛應用中，已將能源效率進行了基準測試，其能耗比CPU和GPU高30-1，000倍，并且快100倍。同樣重要的是，與基于CNN的系統(tǒng)形成鮮明對比的是，該體系結構使自己能夠進行快速且持續(xù)的學習，而基于CNN的系統(tǒng)往往會經(jīng)歷緊張的訓練階段，該階段會創(chuàng)建靜態(tài)的推理模型。英特爾表示，他們正在尋求將能效提高1000倍，將性能提高100倍，

并非所有問題都會轉(zhuǎn)向神經(jīng)形態(tài)，很適合今天的深度學習技術的算法是顯而易見的贏家。英特爾還在評估“受神經(jīng)科學啟發(fā)”的算法，該算法可模擬大腦中發(fā)現(xiàn)的過程。最后，他們正在研究“數(shù)學公式化”的問題。

在第一類中，從當今的深度神經(jīng)網(wǎng)絡（DNN）轉(zhuǎn)換而來的網(wǎng)絡可以轉(zhuǎn)換為神經(jīng)形態(tài)芯片可用的格式。另外，可以使用神經(jīng)形態(tài)處理器本身創(chuàng)建“直接訓練”的網(wǎng)絡。最后，盡管在神經(jīng)形態(tài)處理器中需要進行全局通信，但在神經(jīng)形態(tài)處理器中可以模擬CNN中常見的“反向傳播”。

Loihi是研究芯片，并非為生產(chǎn)而設計。它是一款采用英特爾14納米CMOS工藝制造的20億晶體管晶體管芯片。Loihi包含一個完全異步的“神經(jīng)形態(tài)多核網(wǎng)格，它支持廣泛的稀疏，分層和遞歸神經(jīng)網(wǎng)絡拓撲，每個神經(jīng)元都能夠與數(shù)千個其他神經(jīng)元進行通信。”

這些核心中的每一個都包括一個學習引擎，該引擎在操作期間會調(diào)整參數(shù)。該芯片包含130，000個神經(jīng)元和1.3億個突觸，分為128個神經(jīng)形態(tài)核心。該芯片包括用于SNN芯片培訓的微碼學習引擎。Loihi芯片已經(jīng)集成到板和盒中，在768個芯片中包含多達1億個神經(jīng)元。

現(xiàn)在，我們處于許多趨勢的交匯處，這些趨勢可能會形成處理器架構革命的完美風暴。首先，神經(jīng)形態(tài)處理器處于商業(yè)可行性的拐點處，它們?yōu)槟承﹩栴}帶來了相當于10個摩爾定律節(jié)點（20年）的進步。

其次，傳統(tǒng)的DNN正在迅速發(fā)展，并且產(chǎn)生了與神經(jīng)形態(tài)處理器中發(fā)現(xiàn)的相關的和相似的架構創(chuàng)新，這表明可能在未來的“兩全其美”的架構中融合兩種架構領域的特征。

第三，摩爾定律即將結束，這將更多的重點，才能和金錢投入到建筑方法的發(fā)展中，以推動未來的技術進步。

第四，隨著這些神經(jīng)形態(tài)處理器中的第一個獲得商業(yè)關注并創(chuàng)造出投資，開發(fā)，完善和部署的良性循環(huán)，這將是有趣的。可能在幾年內(nèi)，神經(jīng)形態(tài)架構（或類似的衍生技術）將在我們的計算基礎架構中扮演重要角色，并迅速發(fā)展到今天只能想象的最前沿的新應用程序。
編輯：hfy