Tengine 是 OPEN AI LAB 一款輕量級神經(jīng)網(wǎng)絡(luò)推理引擎，它針對 Arm?嵌入式平臺進(jìn)行了專門優(yōu)化，對 Android、Linux?系統(tǒng)都提供了很好的支持。而且更加難能可貴的是 Tengine 并不依賴于專用 AI?芯片(即 Tengine 可以利用 GPU、NPU 這些具有專門 AI 加速功能的模塊進(jìn)行 AI 運算，也可以利用通用的?CPU 進(jìn)行 AI 運算)，很多 Arm 平臺都可以通過 Tengine 框架對算力進(jìn)行深度挖掘，從而高效的運行一些 AI 應(yīng)用。

本文就是想描述如何在OKMX8MM-C這一 Arm64 平臺上搭建 Tengine AI 推理框架，并運行圖像識別相關(guān)應(yīng)用。首先在OKMX8MM-C上面移植了基于 Armbian 的 Debian 10 系統(tǒng)，運行的 u-boot 和 linux kernel 都是mainline的。OPEN AI LAB 在 Github 上提供了開源的 Tengine 版本，并提供了比較詳細(xì)的參考文檔，所以可以直接下載源碼，根據(jù)文檔進(jìn)行編譯。得益于?i.MX8MMini 強(qiáng)大的性能，我們可以直接在?i.MX8MMini 上下載代碼，進(jìn)行編譯，免去交叉編譯的諸多不便。

1. 下載源碼

git clone --recurse-submodules https://github.com/OAID/tengine/

注意 clone 的時候一定要帶 --recurse-submodules 這個參數(shù)，否則會下載不完整。

2. 安裝依賴

apt install libprotobuf-dev protobuf-compiler libopencv-dev? pkg-config

3. 修改配置文件

在源碼的 default_config 目錄下提供了基于 arm32、arm64、x86 這三個平臺的配置文件。RK3399?是 Arm64， 所以對應(yīng)的配置文件為：arm64_linux_native.config。這里要做的修改是，在配置文件中打開 BUILD_SERIALIZER=y 這個選項，否則后面運行的時候可能會遇到Shared library not found: libcaffe-serializer.so: cannot open shared object file: No such file or directory 這個錯誤。

4. 編譯

在源碼根目錄執(zhí)行如下命令進(jìn)行編譯：./linux_build.sh default_config/arm64_linux_native.config

5. 下載 model 文件

運行這些 AI 應(yīng)用的時候，需要加載對應(yīng)的 model 文件，這些文件可以從 OPEN AI LAB 提供的網(wǎng)盤里下載：https://pan.baidu.com/s/1Ar9334MPeIV1eq4pM1eI-Q ， 提取碼為 hhgc 。下載完后需要把這些 model 文件放在 Tengine 源碼根目錄下的 models 文件夾，所有的 model 文件加在一起比較大，我只上傳了后面測試需要用到的部分：

6. 運行 benchmark

編譯完成后默認(rèn)會在 build/benchmark/bin/ 目錄下生成兩個供測試用的 benchmark 文件，可以直接執(zhí)行這兩個文件，用來簡單的測試，確實是否真正編譯成功。./build/benchmark/bin/bench_sqz ./build/benchmark/bin/bench_mobilenet

編譯并運行測試 Demo

Tengine 開放的源碼里面還帶了幾個不錯的 圖像識別相關(guān)的測試 Demo，用來測試和進(jìn)行 AI 相關(guān)的基礎(chǔ)學(xué)習(xí)都很不錯。這些 Demo 的源碼在 examples 目錄下，在編譯之前我們需要修改一個編譯腳本 linux_build.sh, 即根據(jù)實際情況，正確設(shè)置 Tengine 的所在路徑，比如我下載編譯的 Tengine 代碼在 /root/rockdev/tengine 目錄下：

然后在 examples 目錄下執(zhí)行如下命令：mkdir buildcd build/../linux_build.sh make

編譯完成，主要有 faster_rcnn 、lighten_cnn、 mobilenet_ssd、 mtcnn 、ssd、 yolov2、 YuFaceDetectNet 這幾個測試 Demo。

faster_rcnn

Faster rcnn 是大神 Ross B. Girshick 在 RCNN 和 Fast RCNN 的基礎(chǔ)上于 2016 年提出的新模型，綜合性能更高，檢測速度更快。

Tengine 版本的 Demo 對下面的圖片進(jìn)行識別：

運行 faster_rcnn 可執(zhí)行程序，會生成一張對檢測到的物體進(jìn)行標(biāo)注后的圖像：

可以看到識別到了 Dog、bicycle、car 三個物體。

YOLO v2

YOLO 全稱 You look only once，是 2016 年 CVPR 上發(fā)表的一篇目標(biāo)檢測論文。YOLOV v2 發(fā)表于 2017 年的 CVPR 上，論文名稱為《YOLO9000: Better, Faster, Stronger》，獲得了 CVPR 2017 Best ** Honorable Mention 大獎。這里用這個模型來檢測和 RCNN 同樣的圖片：

從這張圖片看，準(zhǔn)確性和 RCNN 相當(dāng)，但是檢測速度卻快了 將近 6 倍。

SSD

SSD 全稱 Single Shot MultiBox Detector， 是一種 one-stage 的通用物體檢測算法，作者 Wei Liu，提出于 2016年。這里用如下圖片做檢測：

運行結(jié)果如下：

有點可惜的是把狗狗給識別錯了。

mobilenet_ssd

這個是 mobilenet 和 ssd 的結(jié)合，對移動設(shè)備更友好。使用和 SSD 同樣的圖片進(jìn)行檢測：

可以看到狗狗檢測對了，但是遠(yuǎn)處有個人漏檢了。但是檢測速度比 SSD 快了很多。

YuFaceDetectNet

這個是深圳大學(xué)于仕琪老師開源的 libfacedetection 的 Tengine 實現(xiàn)版本，libfacedetection 號稱最快的人臉檢測庫。測試原圖如下：

測試結(jié)果：

MTCNN

MTCNN 是另外一種人臉檢測方案，提出于 2016 年。這里我們采用和 YuFaceDetectNet 同樣的圖片進(jìn)行測試：

五張臉全部檢測到了，而且時間和 YuFaceDetectNet 差距并不大。

fqj