神經(jīng)網(wǎng)絡(luò)可以被歸類為一組大致模仿人腦建模方式的算法，能夠通過引入新數(shù)據(jù)來完成“學習”過程。因此，開發(fā)專用的“計算高效型”神經(jīng)網(wǎng)絡(luò)模型，會為機器學習帶來諸多好處。

然而，如何才能確保模型的高效性，關(guān)鍵點之一是在實現(xiàn)推斷加速器（廣義的硬件加速器）時應(yīng)采用何種方式訪問存儲器，特別是要考慮如何將權(quán)重和中間激活值一起儲存。幾項關(guān)鍵考量包括：

時延

對 L1、L2 和 L3 存儲器的訪問表現(xiàn)出相對較低的時延。如果與下一個圖形運算有關(guān)的權(quán)重和激活值被緩存起來，那么我們就能保持合理水平的效率。然而，如果我們要從外部 DDR 提取數(shù)據(jù)，就會發(fā)生流水線停頓，進而影響時延和效率。

功耗

訪問外部存儲器的能耗至少比訪問內(nèi)部存儲器大一個數(shù)量級。

計算飽和

一般而言，應(yīng)用要么受計算限制，要么受存儲器限制。這可能會影響給定推斷范式中可實現(xiàn)的 GOP/TOP，而且在某些情況下，這種影響不可小視。如果被部署的具體網(wǎng)絡(luò)的實際性能是 1 TOP，那么使用能達到 10 TOP 峰值性能的推斷引擎價值就不大。

What's more?

更進一步，考慮到訪問現(xiàn)代賽靈思器件里的內(nèi)部 SRAM（熟悉賽靈思 SoC 的人也稱其為 BRAM 或 UltraRAM），其能耗大約在幾微微焦耳，與訪問外部 DRAM 的能耗相比，低大約兩個數(shù)量級。

過去幾年里已有多種方法投入使用并獲得不同程度的成功,相關(guān)的架構(gòu)選擇帶來的影響十分顯著。本文將以 TPUv1 架構(gòu)為例，詳細闡述如何運用專門構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型，進一步提升機器學習推斷的效率。

原文標題：提升效率的神經(jīng)網(wǎng)絡(luò)模型出現(xiàn)了！

文章出處：【微信公眾號：FPGA開發(fā)圈】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責任編輯：haq