本文介紹瑞芯微原廠RKNN端側(cè)模型的測(cè)試驗(yàn)證方法，而關(guān)于開(kāi)發(fā)環(huán)境搭建可以查看先前文章

http://www.makelele.cn/d/7651862.html?；?strong>觸覺(jué)智能RK3576開(kāi)發(fā)板Purple Pi OH2演示。

RKNN

RKNN(Rockchip Neural Network) 是瑞芯微專為自家 NPU (神經(jīng)網(wǎng)絡(luò)處理單元) 開(kāi)發(fā)的端側(cè)神經(jīng)網(wǎng)絡(luò)計(jì)算框架，提供完整的 "模型轉(zhuǎn)換 - 部署 - 推理" 解決方案。RK官方提供了RKNN軟件?？梢詭椭脩艨焖俚貙?a href="http://www.makelele.cn/tags/ai/" target="_blank">AI模型部署到Rockchip芯片，整體的框架如下。

RKNN-Toolkit2是為用戶提供在計(jì)算機(jī)上進(jìn)行模型轉(zhuǎn)換、推理和性能評(píng)估的開(kāi)發(fā)套件，RKNN-Toolkit2的主要框圖如下。為了使用RKNPU，用戶需要首先在計(jì)算機(jī)上運(yùn)行RKNN-Toolkit2工具，將訓(xùn)練好的模型轉(zhuǎn)換為RKNN格式模型，之后使用RKNN C API或Python API在開(kāi)發(fā)板上進(jìn)行部署。該工具提供的Python接口可以便捷地完成模型轉(zhuǎn)換、量化、模型推理、性能和內(nèi)存評(píng)估、量化精度分析、模型加密等功能。

RKNN Runtime負(fù)責(zé)加載RKNN模型，并調(diào)用NPU驅(qū)動(dòng)實(shí)現(xiàn)在NPU上推理RKNN模型。推理RKNN模型時(shí)，包括原始數(shù)據(jù)輸入預(yù)處理、NPU運(yùn)行模型、輸出后處理三項(xiàng)流程。根據(jù)不同模型輸入格式和量化方式，RKNN Runtime提供通用API和零拷貝API兩種處理流程：

• 通用API推理流程

提供一套簡(jiǎn)潔、無(wú)門(mén)檻的推理API，易于使用，流程如圖所示。其中對(duì)數(shù)據(jù)的歸一化、量化、數(shù)據(jù)排布格式轉(zhuǎn)換、反量化等均在CPU上運(yùn)行，模型本身的推理在NPU上運(yùn)行。

• 零拷貝API推理

優(yōu)化了通用API的數(shù)據(jù)處理流程，歸一化、量化和模型推理都會(huì)在NPU上運(yùn)行，NPU輸出的數(shù)據(jù)排布格式和反量化過(guò)程在CPU或者NPU上運(yùn)行。零拷貝API對(duì)于輸入數(shù)據(jù)流程的處理效率會(huì)比通用API高。

運(yùn)行示例程序

開(kāi)始介紹測(cè)試方法之前，對(duì)開(kāi)發(fā)環(huán)境搭建不了解可以看上集：瑞芯微RK3576原廠RKNN模型環(huán)境部署與功能驗(yàn)證技巧（上）

• RKNN Model Zoo介紹

本次將使用原廠RKNN Model Zoo工具，工具提供了示例代碼，可助用戶快速在Rockchip瑞芯微的開(kāi)發(fā)板上運(yùn)行各種常用模型，整個(gè)工程的目錄結(jié)構(gòu)如下:

• .

├── 3rdparty # 第三方庫(kù) ├── asset ├── build-android.sh ├── build-linux.sh # Linux構(gòu)建腳本 ├── datasets # 數(shù)據(jù)集 ├── docs ├── examples # 示例代碼 ├── FAQ_CN.md ├── FAQ.md ├── LICENSE ├── py_utils ├── README_CN.md ├── README.md ├── scaling_frequency.sh └── utils #

常用方法，如文件操作，畫(huà)圖等

其中，examples目錄包括了一些常用模型的示例，例如MobileNet和 YOLO等。每個(gè)模型示例提供了Python 和 C/C++兩個(gè)版本的示例代碼。

以yolov5為例：

rknn_model_zoo ├── examples│ └── yolov5│ ├── cpp # C/C++ 版本的示例代碼 │ ├── model # 模型、測(cè)試圖片等文件 │ ├── python # 模型轉(zhuǎn)換腳本和Python版本的示例代碼 │ └── README.md └── ...

• RKNN Python Demo 使用方法

準(zhǔn)備模型，執(zhí)行腳本下載onnx測(cè)試模型：

# 進(jìn)入 rknn_model_zoo/examples/yolov5/model 目錄 cd Projects/rknn_model_zoo/examples/yolov5/model chmod a+x download_model.sh # 運(yùn)行 download_model.sh 腳本，下載 yolov5 onnx 模型 ./download_model.sh

轉(zhuǎn)換模型，執(zhí)行以下命令將onnx模型轉(zhuǎn)換為rknn模型：

# 進(jìn)入 rknn_model_zoo/examples/yolov5/python 目錄 cd Projects/rknn_model_zoo/examples/yolov5/python # 運(yùn)行 convert.py 腳本，將原始的 ONNX 模型轉(zhuǎn)成 RKNN 模型 python convert.py ../model/yolov5s_relu.onnx rk3576 i8 ../model/yolov5s_relu.rknn

連板調(diào)試，RKNN-Toolkit2的連板調(diào)試功能依賴板端的RKNN Server程序，該程序是一個(gè)運(yùn)行在開(kāi)發(fā)板上的后臺(tái)代理服務(wù)，用于接收PC（測(cè)試使用Ubuntu虛擬機(jī)）通過(guò)USB傳輸過(guò)來(lái)的命令和數(shù)據(jù)，然后調(diào)用相應(yīng)的運(yùn)行時(shí)接口，并返回相應(yīng)結(jié)果給PC。所以在做連板調(diào)試前需要確認(rèn)開(kāi)發(fā)板是否已啟動(dòng)RKNN Server程序。

adb shell ps | grep rknn_server

執(zhí)行如下命令進(jìn)行連板在線調(diào)試：

# 如果帶上 --img_show 參數(shù)，則會(huì)顯示結(jié)果圖片 python yolov5.py --model_path ../model/yolov5s_relu.rknn --target rk3588 --img_show

• RKNN C Demo 使用方法

完整運(yùn)行一個(gè) RKNN C Demo，需要先將 C/C++ 源代碼編譯成可執(zhí)行文件，然后將可執(zhí)行文件、模型文件、測(cè)試圖片等相關(guān)文件推送到板端上，最后在板端運(yùn)行可執(zhí)行文件。

在rknn_model_zoo工程下的build-linsx.sh腳本中指定前面下載的GCC交叉編譯器路徑：

GCC_COMPILER=/home/ido/rknn/Projects/gcc-linaro-6.3.1-2017.05-x86_64_aarch64-linux-gnu/bin/aarch64-linux-gnu

執(zhí)行如下命令編譯測(cè)試Demo，以yolov5為例：

# 運(yùn)行 build-linux.sh 腳本 # 用法:./build-linux.sh -t -a -d [-b ] [-m] # -t : target (rk356x/rk3588) # 平臺(tái)類型，rk3568/rk3566 都統(tǒng)一為rk356x # -a : arch (aarch64/armhf) # 板端系統(tǒng)架構(gòu) # -d : demo name # 對(duì)應(yīng) examples 目錄下子文件夾的名稱，如yolov5、mobilenet # -b : build_type(Debug/Release) # -m : enable address sanitizer, build_type need set to Debug chmod a+x build-linux.sh ./build-linux.sh -t rk3576 -a aarch64 -d yolov5

編譯后的安裝目錄如下：

打包安裝目錄生成的文件部署到開(kāi)發(fā)板系統(tǒng)：

tar -xf rknn_yolov5_demo.tar.gzcd rknn_yolov5_demo/chmod a+x rknn_yolov5_demo# 執(zhí)行一下命令進(jìn)行測(cè)試./rknn_yolov5_demo model/yolov5s_relu.rknn model/bus.jpg

命令執(zhí)行完后會(huì)生成預(yù)測(cè)結(jié)果圖片out.png，從板端拉取到本地查看，在本地電腦的終端中查看效果。

瑞芯微原廠RKNN模型推理測(cè)試方法攻略就完成了，關(guān)注觸覺(jué)智能電子發(fā)燒友。