增加諸如人臉識別這樣基于人工智能的界面來進(jìn)行機(jī)器的訪問授權(quán)——這乍一看似乎是一個巨大的飛躍，但它并不像您想象得那么困難。有大量的網(wǎng)絡(luò)平臺可用，有很多訓(xùn)練選項(xiàng)，甚至還有開源應(yīng)用程序，比如前面提到的人臉識別的例子。您可以用能在您的個人電腦上運(yùn)行的原型程序來快速地進(jìn)行測試。

限制因素

在您的嵌入式應(yīng)用程序中放入一個經(jīng)過訓(xùn)練的網(wǎng)絡(luò)似乎是另一個巨大的困難。個人電腦（或云）訓(xùn)練的網(wǎng)絡(luò)不會在存儲容量或功耗方面優(yōu)化太多。它們可能使用浮點(diǎn)或雙字來進(jìn)行網(wǎng)絡(luò)計(jì)算，并且在處理圖像上的滑動窗口時，它們將大幅依賴于片外存儲器訪問。這對高性能個人電腦上運(yùn)行的原型來說不成問題，但您需要在終端應(yīng)用程序中省著點(diǎn)用，以確保不影響性能。

優(yōu)化要領(lǐng)

優(yōu)化中的一個關(guān)鍵步驟叫做量化。將權(quán)重從浮點(diǎn)切換到定點(diǎn)，并減小定點(diǎn)的大小，例如從32位浮點(diǎn)減到8位整數(shù)，不僅影響權(quán)重的大小，而且影響中間計(jì)算值的大小。僅此一項(xiàng)就可以顯著減少內(nèi)存占用，并且在大多數(shù)情況下對識別質(zhì)量的影響很小。

第二項(xiàng)操作是利用權(quán)重中的稀疏性，同時盡可能地減小對精確度的影響。這種做法將利用那些接近于零的權(quán)重，并將它們舍入到零，同時密切跟蹤這對精確度的影響。權(quán)重用于乘以部分和，如果其中有因數(shù)為零，就將變成無用功，因此也就沒有必要執(zhí)行該操作了。

在實(shí)際的實(shí)現(xiàn)過程中，圖像被增量處理，因此當(dāng)計(jì)算窗口在圖像上移動時，必須更新權(quán)重。這會帶來大量的更新以及大量的數(shù)據(jù)流量。通過將大部分權(quán)重值強(qiáng)制設(shè)為零，就可以壓縮權(quán)重?cái)?shù)組，從而使數(shù)組的全部或大部分存儲在片內(nèi)SRAM中，以便按需解壓縮。因此，最大限度地減少了對主存的需求，從而提高了性能并降低了功耗。在加載權(quán)重時，它還附帶地減少了片內(nèi)通信量。更少的流量占用則意味著更高的吞吐量。

此外還要考慮一個因素。像大多數(shù)復(fù)雜的應(yīng)用一樣，神經(jīng)網(wǎng)絡(luò)依賴于精密的數(shù)據(jù)庫。您需要使用專為微控制器環(huán)境設(shè)計(jì)的數(shù)據(jù)庫，和您所選擇的平臺的編譯器。選擇TensorFlow Lite等開源庫便是一個不錯的著手點(diǎn)，但是為了充分利用微控制器，還需要專門的定制解決方案。

當(dāng)然，想要弄清自己必須要干什么并不容易。而您現(xiàn)在要做的，就是找到平臺來簡化這些操作并提供經(jīng)過硬件優(yōu)化的數(shù)據(jù)庫。

我如何使這個流程變得簡單易用？

您需要的是一個可以在特定平臺（例如TensorFlow）上承載訓(xùn)練過的網(wǎng)絡(luò)，并且將該網(wǎng)絡(luò)直接編譯到您的嵌入式解決方案中的流程。除了加入一些基本要求之外，無需額外干預(yù)。當(dāng)然，您也希望能夠進(jìn)一步手動優(yōu)化該選項(xiàng)，可以是在不同的平面上設(shè)置不同的量化級別，也可以是在權(quán)重閾值與片內(nèi)存儲器容量方面多加嘗試。此外，您還希望根據(jù)硬件優(yōu)化數(shù)據(jù)庫，以及根據(jù)數(shù)據(jù)庫優(yōu)化硬件。

原文標(biāo)題：掌握嵌入式人工智能：根據(jù)您的設(shè)備進(jìn)行優(yōu)化

文章出處：【微信公眾號：CEVA】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq