作者 | 中國科學(xué)院微電子研究所 劍白

前不久比特大陸推出其云端人工智能芯片--SOPHON(算豐)BM1682芯片，BM1682是比特大陸設(shè)計(jì)，并對圖像、視頻等處理給予額外輔助支持的人工智能硬件加速芯片，其峰值運(yùn)算速度為3TFLOPs，可提供給用戶強(qiáng)大的硬件加速支持。近日，比特大陸又將推出其邊緣計(jì)算芯片BM1880，用于前端圖像、視頻、語音、自然語言等等深度學(xué)習(xí)硬件加速。

邊緣計(jì)算與云計(jì)算

想必云計(jì)算大家都不陌生，云計(jì)算又可稱之為“集中式”計(jì)算系統(tǒng)。在云計(jì)算系統(tǒng)當(dāng)中必會構(gòu)建一個具有強(qiáng)大運(yùn)算處理能力的云端中心，用戶們可以將自己的本地的復(fù)雜數(shù)據(jù)通過網(wǎng)絡(luò)傳輸?shù)皆贫?，借助云端?qiáng)大的運(yùn)算執(zhí)行能力來快速完成數(shù)據(jù)的處理任務(wù)。然而，云端計(jì)算并不是時時處處都“奏效”的，云端處理延時大、依賴于網(wǎng)絡(luò)通暢度的好壞，因此對于實(shí)時性要求高、數(shù)據(jù)隱私性高的應(yīng)用，將數(shù)據(jù)傳至云端進(jìn)行處理就十分的不合適。

邊緣計(jì)算的概念就因運(yùn)而生，邊緣計(jì)算又可稱之“前端計(jì)算”。對于實(shí)時性要求高、數(shù)據(jù)保密性強(qiáng)、網(wǎng)絡(luò)資源不充足等情況下，邊緣計(jì)算可以近水樓臺先得月，及時的將數(shù)據(jù)處理完畢，只將必要的信息傳遞給云端即可。此種方式，對于本地采集的數(shù)據(jù)，端設(shè)備可以及時處理，并響應(yīng)一些特殊的警報(bào)信息，及時的通知用戶做出應(yīng)對反應(yīng)?？梢哉f，邊緣計(jì)算與云計(jì)算是局部與整體的關(guān)系，云計(jì)算負(fù)責(zé)“統(tǒng)籌”全局、處理復(fù)雜但實(shí)時性要求不高的信息，邊緣計(jì)算則負(fù)責(zé)守好自己的“一畝三分地”，對信息進(jìn)行預(yù)處理并及時拋出異常警報(bào)，應(yīng)對突發(fā)狀況。

比特大陸邊緣計(jì)算--BM1880芯片概覽

從BM1880最新披露的技術(shù)資料顯示，BM1880是聚焦于邊緣應(yīng)用的深度學(xué)習(xí)推理人工智能芯片。其主要應(yīng)用方向?yàn)閳D像、視頻、以及其他類型的深度學(xué)習(xí)推理。產(chǎn)品支持豐富的AI功能：如人臉檢測、識別與表情分析；人體屬性與姿勢分析；物體檢測與識別；車牌識別；聲紋識別等等方面。

從功能模塊圖上看，BM1880是一塊對視頻、圖像進(jìn)行人工智能處理有額外支持的人工智能芯片。

核心部分，BM1880包含一塊TPU(Tensor Processing Unit，張量計(jì)算單元)，該TPU包含512個MAC，支持Winograd卷積運(yùn)算。TPU用于人工智能深度學(xué)習(xí)推理的硬件加速，可以極大的提高運(yùn)算速度，加速系統(tǒng)的推理學(xué)習(xí)之星速度。同比特大陸的其余人工智能智能芯片相同，BM1880的TPU也配備了調(diào)度引擎以給張量處理器核心提供極高的帶寬數(shù)據(jù)流，對于8位數(shù)據(jù)寬度的數(shù)據(jù)，其計(jì)算速度高達(dá)1TOPs, 而在Wingorad卷積加速運(yùn)算下，提供高達(dá)2TOPs 的算力。值得注意的一點(diǎn)是，BM1880的典型功耗僅僅有2.5W，卻能提供1TOPs的運(yùn)算能力，對于邊緣計(jì)算已經(jīng)足夠。TPU中同時配置了2MB SRAM用于系統(tǒng)性能優(yōu)化、數(shù)據(jù)重用以提供最佳的編程靈活性。

BM1880同時提供CPU用于人工智能深度學(xué)習(xí)算法的編程操作。BM1880的CPU共有2部分，一個是應(yīng)用處理器，由雙核ARM A53構(gòu)成，工作在1.5GHz；另一部分是精簡指令的RSIC-V處理器，由工作在1.0GHz的單核RISC-V構(gòu)成。

BM1880人工智能深度學(xué)習(xí)系統(tǒng)的運(yùn)算結(jié)構(gòu)配置可謂恰到好處各司其能，雙核CPU用于執(zhí)行深度學(xué)習(xí)算法，TPU用于深度學(xué)習(xí)算法的硬件加速，單核CPU可以用于處理外設(shè)相關(guān)信息。該配置能夠很方便的實(shí)現(xiàn)滿足外設(shè)實(shí)時性、深度學(xué)習(xí)算法執(zhí)行流暢性的要求。

專屬功能上，BM1880配備了視頻處理子系統(tǒng)的硬件模塊，該模塊算是十分貼心了，在圖像視頻處理方面，用戶基本無需再添加外圍設(shè)備，可以大大減少產(chǎn)品開發(fā)成本。該視頻子系統(tǒng)位于功能圖的右半部分，包含MJPEG編/解碼器、H.264解壓器、視頻后處理器(Video Post Processor)三個部分。MJPEG編/解碼器、H.264解壓器的配備也十分符合當(dāng)前網(wǎng)絡(luò)視頻資源的類型情況，視頻監(jiān)控設(shè)備最常用的視頻格式就是MJPEG和H.264，其中MJPEG作為監(jiān)控廠商最初采用的視頻編碼壓縮格式，網(wǎng)絡(luò)上和監(jiān)控視頻存檔資源中MJPEG占據(jù)中堅(jiān)比例。H.264格式為有損壓縮格式，其壓縮算法相比于MJPEG更加先進(jìn)，并且具有更高的壓縮比、更清晰的畫質(zhì)同時具有更快的傳輸速度。H.264是目前網(wǎng)絡(luò)、視頻監(jiān)控中常用的壓縮格式。視頻后處理器(Video Post Processor)部分可以給進(jìn)入BM1880的視頻流進(jìn)行預(yù)處理，該模塊支持深度學(xué)習(xí)中常用到視頻的操作，比如顏色空間轉(zhuǎn)換、尺寸剪裁、縮放等操作，通過硬件流水線的執(zhí)行視頻預(yù)處理，無需軟件部分的參與，極大的減少了CPU的工作量。

內(nèi)存方面BM1880配備了支持DDR3/DDR4，LPDDR3和LPDDR4四種規(guī)格的內(nèi)存的功能，用戶的程序和數(shù)據(jù)流均可存放在內(nèi)存當(dāng)中，加速其算法執(zhí)行。

本地存儲方面BM1880同樣配備了常用的存儲設(shè)備接口，結(jié)合相應(yīng)的設(shè)備，BM1880可以在本地讀取、存儲數(shù)據(jù)流，如當(dāng)需要深度學(xué)習(xí)處理的數(shù)據(jù)存儲在本地的時候，系統(tǒng)就可以直接從本地中讀取圖像、視頻、或其他數(shù)據(jù)流進(jìn)入內(nèi)存進(jìn)行推理學(xué)習(xí)處理。存儲設(shè)備接口包括SD/SDIO、eMMC、SPI NOR閃存、NAND Flash等。SD/SDIO配備了高速功能，支持最高187.5MHz的工作速率，接口除了用于SD卡的讀寫之外還可以通過添加外設(shè)的情況下來增加藍(lán)牙、攝像頭、GPS、以及802.11 a/b/g/n無線等功能，高速的接口速度可以滿足大數(shù)據(jù)流的傳輸要求。eMMC最大支持32GB閃存，用戶可以根據(jù)需求選擇合適的閃存接入系統(tǒng)，進(jìn)行存儲/讀取等操作。同時，BM1880可以支持NAND Flash 也可以支持SPI NOR Flash。

BM1880還配備了2個以太網(wǎng)接口和USB接口。以太網(wǎng)接口支持百兆和千兆速率。USB接口配備了一個高速USB3.0接口和一個支持主/從的OTG2.0的接口。BM1880除了可以從本地存儲設(shè)備讀取數(shù)據(jù)流信息之外，還可以通過以太網(wǎng)接口和USB接口接收來自外設(shè)或主機(jī)傳輸?shù)膱D像、視頻、以及其他類型的流數(shù)據(jù)進(jìn)行深度學(xué)習(xí)推理運(yùn)算或其他視覺處理任務(wù)。

調(diào)試接口配備了通用的JTAG接口，同過JTAG接口用戶可以方便、快捷的下載程序以及調(diào)試程序。

BM1880在功能性外設(shè)接口方面也提供的充足的支持：BM1880配備了4個通用串行接口UART、5個I2C接口、通用GPIO口以及16路PWM輸出。UART接口以及I2C接口也可以提供低速通信功能，與外設(shè)進(jìn)行交互。數(shù)量上UART為4路，I2C為5路，用戶可以根據(jù)開發(fā)需求方便的連接足夠多的外置傳感器，這點(diǎn)可以看出BM1880在設(shè)計(jì)上還是很貼心的，用戶在開發(fā)上基本上無需為接口不足而煩憂。通用GPIO口和16路PWM可以提供強(qiáng)大的反饋控制功能，在深度學(xué)習(xí)邊緣計(jì)算當(dāng)中，對于需要及時處理的突發(fā)警報(bào)情況，BM1880核心程序可以通過直接驅(qū)動GPIO口或PWM接口來及時的對外界設(shè)備進(jìn)行應(yīng)急處理或進(jìn)行警報(bào)提醒。

BM1880是重點(diǎn)面向圖像、視頻深度學(xué)習(xí)處理的邊緣計(jì)算人工智能芯片，除了對圖像/視頻的強(qiáng)力支持意外，還配備了2路音頻信號I2S接口。該接口可以支持音頻信號的輸入和輸出功能，芯片本身只提供了接口，并未配備響應(yīng)的硬件編碼解碼，相關(guān)的編碼/解碼工作可以由軟件部分完成。

BＭ1880的軟件支持和開發(fā)生態(tài)鏈

在人工智能深度學(xué)習(xí)產(chǎn)品開發(fā)的過程中，用戶選定人工智能深度學(xué)習(xí)硬件芯片以后，由于硬件往往是固定不可調(diào)節(jié)的，此時軟件支持將是用戶更為關(guān)心的點(diǎn)。強(qiáng)大的軟件支持意味著流暢的開發(fā)速度、穩(wěn)定的產(chǎn)品性能以及較低的時間、投入成本。恰恰比特大陸在其開發(fā)生態(tài)鏈上具有完善的開發(fā)體系，給與其人工智能芯片完整的支持。同其余款深度學(xué)習(xí)人工智能芯片BM1680/BM1682一樣，官方對于BM1880同樣也由強(qiáng)大的軟件支持。比特大陸對BM1880用戶提供了強(qiáng)大的深度學(xué)習(xí)模型編譯器以及軟件SDK開發(fā)包，用戶無需為程序算法移植花費(fèi)太多精力——主流的深度學(xué)習(xí)架構(gòu)，如Caffe和Tensorflow，都可以輕松的移植到BM1880平臺上。同時，常見的神經(jīng)網(wǎng)絡(luò)模型，如CNN/RNN/DNN等模型也均可以在BM1880上被執(zhí)行。

BM1880應(yīng)用模式

通過上述軟硬件部分的解析可以看出，BM1880具有不俗的深度學(xué)習(xí)硬件加速能力。顯然除了讓BM1880作為協(xié)處理器進(jìn)行邊緣計(jì)算以外，在非巨大運(yùn)算量的場合，如局部視頻監(jiān)控等方面，BM1880作為主處理器也是完全可以勝任的。BM1880具有豐富的外設(shè)和高速的通信接口，配合其1TFLOPs的巔峰算力，作為前端處理非常合適了。下圖為BM1880的常見應(yīng)用方式有3種：

第一種是“云端-邊緣”計(jì)算系統(tǒng)，即“邊緣計(jì)算”的方式。在“云-端”方式中，系統(tǒng)不僅要對四面八方涌來的數(shù)據(jù)做處理，還要對異常情況進(jìn)行監(jiān)測，一旦監(jiān)測到異常情況，“端”部分就需要及時的拋出異常并給出處理方案以保證端系統(tǒng)的安全性。在系統(tǒng)中，云部分主要負(fù)責(zé)前端通過通信鏈路(如網(wǎng)絡(luò))發(fā)送的復(fù)雜數(shù)據(jù)流的處理，以及統(tǒng)籌整個人工智能深度學(xué)習(xí)系統(tǒng)；而在端部分，如在視頻監(jiān)控中，結(jié)合傳感器端系統(tǒng)可以通過本地的簡單處理，就可以及時發(fā)現(xiàn)火災(zāi)、結(jié)合人臉識別/動靜物等操作也可以及時發(fā)現(xiàn)盜竊等情況；BM1880處于系統(tǒng)的前端，中心云處理部分負(fù)責(zé)系統(tǒng)的調(diào)度和深度學(xué)習(xí)中復(fù)雜數(shù)據(jù)的推理學(xué)習(xí)。同時該方式可以減輕系統(tǒng)對網(wǎng)絡(luò)資源的依賴性。由于BM1880處于本地位置最接近原始數(shù)據(jù)流的源頭，可以率先對進(jìn)入系統(tǒng)的數(shù)據(jù)流進(jìn)行初步分析，發(fā)現(xiàn)異常情況，并將前期處理在前端部分完成，然后將壓縮、精簡后的數(shù)據(jù)傳至云端，再由云端進(jìn)行處理。

第二種應(yīng)用方式是BM1880作為協(xié)處理器進(jìn)行工作。BM1880可以很容易開發(fā)成為一個協(xié)處理器，運(yùn)行人工智能深度學(xué)習(xí)程序的主機(jī)將需要進(jìn)行深度學(xué)習(xí)推理的圖像、視頻、以及其他類型的數(shù)據(jù)流傳輸給BM1880，BM1880借助其自身強(qiáng)大的推理學(xué)習(xí)能力進(jìn)行快速計(jì)算，然后結(jié)果返回給主機(jī)，主機(jī)再進(jìn)行處理。

第三種應(yīng)用方式就是BM1880可作為主處理器進(jìn)行工作。BM1880具有強(qiáng)大的深度學(xué)習(xí)運(yùn)算能力，高達(dá)1TFLOPs的運(yùn)行速度加上高速的CPU，在很多情況下，是完全可以勝任做為主處理器進(jìn)行人工智能深度學(xué)習(xí)推理的任務(wù)的。下圖就是其應(yīng)用框架圖。BM1880作為主處理器直接接收圖像、視頻、以及其他類型的數(shù)據(jù)流進(jìn)行深度學(xué)習(xí)推理運(yùn)算，根據(jù)推理結(jié)果可直接通過控制接口對外部設(shè)備進(jìn)行實(shí)時調(diào)控。

BM1880官方產(chǎn)品

在BM1880的基礎(chǔ)上，比特大陸還推出了部分以BM1880為核心的人工智能產(chǎn)品。簡單介紹一下各款產(chǎn)品。

USB人工智能算力棒：該款產(chǎn)品對于廣大開發(fā)者來說可謂是溜溜溜了！USB輕輕一插，PC搖變算力王！單從外觀上看，鋁合金的外殼，精致的散熱外盒，科技感十足。此時USB人工智能算力棒中BM1880就是一個協(xié)處理器的應(yīng)用方式了，用戶在PC或者是其余支持USB接口的設(shè)備上運(yùn)行深度學(xué)習(xí)算法時，往往礙于自身設(shè)備的性能算法導(dǎo)致執(zhí)行緩慢，換設(shè)備費(fèi)錢費(fèi)時不劃算，有此USB人工智能算力棒，只要輕輕接入用戶主設(shè)備，大量的深度推理過程統(tǒng)統(tǒng)交給算力棒，釋放主設(shè)備資源，助力系統(tǒng)流暢度。

USB人工智能模塊：該產(chǎn)品為集成了BM1880的PCB人工智能算力模塊。由圖可以看到，這是一個最小化的系統(tǒng)。客戶在需要深度學(xué)習(xí)推理的產(chǎn)品中可以直接采用添加此模塊，無需重新繪制電路板。結(jié)合該模塊，任何產(chǎn)品都可以輕輕松松實(shí)現(xiàn)AI功能。

BM1880開發(fā)板：該部分無需多做說明了。對于人工智能深度學(xué)習(xí)的初學(xué)者和研究者，一塊開發(fā)板是其入門進(jìn)階的最好選擇。集成的硬件系統(tǒng)，體系完善的學(xué)習(xí)資料，充足的代碼示例無疑是開發(fā)學(xué)習(xí)人員的最佳選擇。