介紹

深度神經(jīng)網(wǎng)絡(luò) (DNN) 是一種人工神經(jīng)網(wǎng)絡(luò)(ANN)，在輸入層和輸出層之間具有多層。有不同類型的神經(jīng)網(wǎng)絡(luò)，但它們基本由相同的組件組成：神經(jīng)元、突觸、權(quán)重、偏差和函數(shù)。這些組件的功能類似于人類大腦，可以像任何其他 ML 算法一樣進(jìn)行訓(xùn)練。

例如，經(jīng)過(guò)訓(xùn)練以識(shí)別狗品種的 DNN 將遍歷給定的圖像并計(jì)算圖像中的狗是某個(gè)品種的概率。用戶可以查看結(jié)果并選擇網(wǎng)絡(luò)應(yīng)該顯示哪些概率（超過(guò)某個(gè)閾值等）并返回建議的標(biāo)簽。每個(gè)數(shù)學(xué)操作都被認(rèn)為是一個(gè)層，復(fù)雜的 DNN 有很多層，因此被稱為“深度”網(wǎng)絡(luò)。

關(guān)于DNN、ANN、CNN區(qū)別，請(qǐng)看下圖：

https://blog.csdn.net/lff1208/article/details/77717149

IBM_AccDNN

https://github.com/IBM/AccDNN

AccDNN（深度神經(jīng)網(wǎng)絡(luò)加速器核心編譯器）又名；DNNBuilder

項(xiàng)目介紹

在這個(gè)項(xiàng)目中，我們提出了一種新穎的解決方案，可以自動(dòng)將經(jīng)過(guò) Caffe 訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換為 FPGA RTL 級(jí)別的實(shí)現(xiàn)，無(wú)需任何編程工作，并為用戶的識(shí)別任務(wù)提供統(tǒng)一的 API。

因此，沒(méi)有任何 FPGA 編程經(jīng)驗(yàn)的開(kāi)發(fā)人員可以將他們的 FPGA 加速深度學(xué)習(xí)服務(wù)部署在數(shù)據(jù)中心或邊緣設(shè)備中，僅提供他們經(jīng)過(guò)訓(xùn)練的 Caffe 模型。該作品發(fā)表在 ICCAD'18 上，并獲得了前端最佳論文獎(jiǎng)。了解更多設(shè)計(jì)細(xì)節(jié)。請(qǐng)參考我們的論文（https://docs.wixstatic.com/ugd/c50250_77e06b7f02b44eacb76c05e8fbe01e08.pdf）。

轉(zhuǎn)換過(guò)程

轉(zhuǎn)換包括三個(gè)階段：

首先對(duì) Caffe 網(wǎng)絡(luò)文件進(jìn)行解析，得到網(wǎng)絡(luò)結(jié)構(gòu)。我們估計(jì)每一層的工作量以確定在 FPFA 資源約束下的并行度。

該網(wǎng)絡(luò)中定義的每一層通過(guò)在庫(kù)中實(shí)例化相應(yīng)的神經(jīng)層來(lái)生成一個(gè)定制的 Verilog 模塊。頂層模塊也是根據(jù)net文件中定義的層順序?qū)⑦@些自定義實(shí)例連接在一起生成的，并且在這個(gè)階段也生成了權(quán)重所需的片上內(nèi)存。

綜合生成的源文件、布線和布局，生成可執(zhí)行的 FPGA 位文件。

AccDNN 缺點(diǎn)

僅支持 Caffe 框架訓(xùn)練的模型。

僅支持卷積層、最大池化層、全連接層和批量歸一化層。

Caffe .prototxt 中定義的網(wǎng)絡(luò)中卷積層和全連接層的總數(shù)應(yīng)少于 15 層

DNN-Hardware-Accelerator

https://github.com/ryaanluke/DNN-Hardware-Accelerator

https://github.com/gwatcha/dnn_accelerator

介紹

在本實(shí)驗(yàn)中，將以嵌入式 Nios II 系統(tǒng)為核心構(gòu)建深度神經(jīng)網(wǎng)絡(luò)加速器。在本項(xiàng)目中還將學(xué)習(xí)如何與片外 SDRAM 連接，以及如何使用 PLL 生成具有特定屬性的時(shí)鐘。

由于整個(gè)系統(tǒng)比我們之前構(gòu)建的系統(tǒng)更復(fù)雜，因此在將設(shè)計(jì)的所有部分連接在一起之前，編寫(xiě)大量的測(cè)試單元并仔細(xì)調(diào)試將變得尤為重要。

深度神經(jīng)網(wǎng)絡(luò)

我們將使用一種稱為多層感知器 (MLP) 的神經(jīng)網(wǎng)絡(luò)對(duì) MNIST 手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集進(jìn)行分類。也就是說(shuō)，我們的 MLP 將以 28×28 像素的灰度圖像作為輸入，并確定該圖像對(duì)應(yīng)的數(shù)字 (0..9)。

MLP 由幾個(gè)線性層組成，它們首先將前一層的輸出乘以權(quán)重矩陣，并為每個(gè)輸出添加一個(gè)恒定的“偏差”值，然后應(yīng)用非線性激活函數(shù)來(lái)獲得當(dāng)前層的輸出（稱為激活）。我們的 MLP 將有一個(gè) 784 像素的輸入（28×28 像素的圖像）、兩個(gè) 1000 個(gè)神經(jīng)元的隱藏層和一個(gè) 10 個(gè)神經(jīng)元的輸出層；具有最高值的輸出神經(jīng)元將告訴我們網(wǎng)絡(luò)認(rèn)為它看到了哪個(gè)數(shù)字。對(duì)于激活函數(shù)，我們將使用整流線性單元 (ReLU)，它將所有負(fù)數(shù)映射到 0，將所有正數(shù)映射到自身。

在推理過(guò)程中，每一層計(jì)算a' = ReLU( W · a + b )，其中W是權(quán)重矩陣，a是前一層的激活向量，b是偏置向量，a'是當(dāng)前層的激活向量。

不要被神經(jīng)網(wǎng)絡(luò)等花哨的術(shù)語(yǔ)嚇倒——你實(shí)際上是在構(gòu)建一個(gè)加速器來(lái)進(jìn)行矩陣向量乘法。這里的大部分挑戰(zhàn)來(lái)自與片外 SDRAM 存儲(chǔ)器的交互以及正確處理諸如waitrequest和readdatavalid 之類的信號(hào)。

不需要知道這些網(wǎng)絡(luò)是如何訓(xùn)練的，因?yàn)槲覀円呀?jīng)為您訓(xùn)練了網(wǎng)絡(luò)并預(yù)先格式化了圖像（請(qǐng)參閱data文件夾的內(nèi)容和測(cè)試輸入列表）。但是，如果好奇，可以查看scripts/train.py我們是如何訓(xùn)練 MLP 的。

關(guān)于該項(xiàng)目的一些補(bǔ)充說(shuō)明請(qǐng)查看下面的PDF：

https://github.com/ryaanluke/DNN-Hardware-Accelerator/blob/main/Deep%20Neural%20Networks%20on%20FPGA.pdf

DNN-accelerator-on-zynq

https://github.com/joycenerd/DNN-accelerator-on-zynq

https://github.com/karanam1997/Dnnweaver-Zed-board-/tree/master/DNNWeaver_original

https://github.com/anonsum/DNNWeaver_Simulations

設(shè)計(jì)要求：

整個(gè)系統(tǒng)框圖如下：

相關(guān)的設(shè)計(jì)文檔：

https://github.com/joycenerd/DNN-accelerator-on-zynq/blob/master/2019DD_lab12Finalv4.pdf

Handwritting-number-distinguishing-with-DNN-by-Nexys-4-DDR-in-Verilog-HDL

https://github.com/MaxMorning/Handwritting-number-distinguishing-with-DNN-by-Nexys-4-DDR-in-Verilog-HDL

用 Verilog HDL 實(shí)現(xiàn) DNN 區(qū)分手寫(xiě)數(shù)字，在Nexys 4 DDR 上運(yùn)行。

總結(jié)

今天介紹了3個(gè)DNN的項(xiàng)目，主要是DNN復(fù)雜度較TPU或者CNN高了幾個(gè)臺(tái)階，所以用它來(lái)直接對(duì)FPGA進(jìn)行移植難度很大，還是只建議對(duì)第一個(gè)IBM項(xiàng)目進(jìn)行研究，其他在ZYNQ上進(jìn)行數(shù)字識(shí)別適合實(shí)現(xiàn)，其他都不怎么推薦。

關(guān)于DNN或者CNN也介紹了幾十個(gè)項(xiàng)目了，這些只適合學(xué)習(xí)研究，并不適合拿來(lái)商用，所以后臺(tái)噴我的小伙伴要求也不要太高，這些開(kāi)源的項(xiàng)目能直接商用的少之又少，大部分項(xiàng)目只適合學(xué)習(xí)。還有一些項(xiàng)目是學(xué)生做的，所以你們也不必噴：說(shuō)是拿一些學(xué)生做的項(xiàng)目能干什么，我這里只想說(shuō)，這些項(xiàng)目至少能給您一些參考，什么事情總比從零開(kāi)始好，或者讓你們了解一些同齡人在學(xué)校里在干什么，最后，這些項(xiàng)目您又看不上您開(kāi)源幾個(gè)出來(lái)~

審核編輯 ：李倩