前言：

眺望電子T536 核心板集成高性能2TOPS NPU（神經(jīng)網(wǎng)絡(luò)處理器），支持ONNX、TensorFlow 等主流框架模型（需轉(zhuǎn)換為 NBG 格式）。本文基于 Tina SDK Linux 系統(tǒng)，介紹 T536 NPU 的開發(fā)環(huán)境搭建、模型部署流程及入門示例，幫助開發(fā)工程師快速上手。

一、背景概述

T536處理器集成VeriSilicon（芯原微電子）VIPNano系列NPU IP，型號(hào)為 ：VIP9000NANODI_PLUS_PID0X1000003B。

VeriSilicon的Vivante VIP9000系列為需要實(shí)時(shí)和低功耗AI設(shè)備的市場(chǎng)提供可編程、可擴(kuò)展和可擴(kuò)展的解決方案，具有行業(yè)領(lǐng)先的能效（TOPS/W）和面積效率（mm2/W）。

VIP9000系列IP支持所有流行的深度學(xué)習(xí)框架，并通過量化、修剪和模型壓縮等優(yōu)化技術(shù)原生加速神經(jīng)網(wǎng)絡(luò)模型。AI應(yīng)用程序可以通過Vivante的ACUITYTM Tools SDK進(jìn)行離線轉(zhuǎn)換，輕松完成移植。

二、開發(fā)環(huán)境部署

2.1環(huán)境要求

操作系統(tǒng)：Ubuntu 20.04 LTS虛擬機(jī)

環(huán)境依賴：Python3.6+、Docker、交叉編譯工具鏈

工具鏈：Acuity Toolkit（模型轉(zhuǎn)換）、VivanteIDE（仿真調(diào)試）

硬件平臺(tái)：眺望對(duì)照T536開發(fā)板（預(yù)裝Tina Linux系統(tǒng)）

2.2工具安裝

2.2.1 手動(dòng)安裝Acuity Toolkit模型轉(zhuǎn)換工具

# 解壓工具包（以Ubuntu 20.04為例）tar xvf Vivante_acuity_toolkit_binary_6.6.1_20220329_ubuntu20.04.tgzmv acuity-toolkit-binary-6.6.1 /opt/VeriSilicon/
# 安裝依賴cd /opt/VeriSilicon/acuity-toolkit-binary-6.6.1pip3 install -r requirements.txt
# 配置環(huán)境變量echo 'export ACUITY_PATH=/opt/VeriSilicon/acuity-toolkit-binary-6.6.1/bin' >> ~/.bashrcsource ~/.bashrc

注：Acuity Toolkit適配配置需根據(jù)T536的NPU型號(hào)選擇目標(biāo)架構(gòu)參數(shù)

2.2.2 Docker鏡像快速部署（推薦）

# 加載鏡像sudo docker load -i npu_Tool_docker_voxx.tar
# 啟動(dòng)容器（映射工作目錄）sudo docker run -it --privileged \ -v /host/workspace:/container/workspace \ --name npu_t536_dev \ ubuntu-npu:v2.1 /bin/bash

三、模型部署流程（以YOLOV5為例）

3.1模型轉(zhuǎn)換與量化

①準(zhǔn)備模型文件

提供固定輸入尺寸的ONNX模型（如yolov5s-sim.onnx，輸入尺寸1x3x640x640）。

配置文件：

定義通道均值與縮放系數(shù)（例：0.0 0.0 0.0 0.00392157）。

指定輸入輸出節(jié)點(diǎn)名稱。

②執(zhí)行轉(zhuǎn)換腳本

# 進(jìn)入模型目錄cd ai-sdk/models/yolov5s-sim
# 導(dǎo)入ONNX模型./pegasus_import.sh yolov5s-sim --input-size 640x640 --outputs 350 498 646
# 量化（uint8）./pegasus_quantize.sh yolov5s-sim uint8 --dataset ./images/dataset.txt
# 導(dǎo)出NBG模型（T536平臺(tái)需指定型號(hào) VIP9000NANODI_PLUS_PID0X1000003B）./pegasus_export_ovx_nbg.sh yolov5s-sim uint8 VIP9000NANODI_PLUS_PID0X1000003B ${VIV_SDK}

3.2編譯示例程序

#在SDK根目錄執(zhí)行以下命令make menuconfigAllwinner ???>Vision ???><*> ai?sdk?viplite........................... allwinner npu viplite framework ???>make ?j32
# 輸出路徑out/xxx/compile_dir/target/ai-sdk/yolov5/yolov5

3.3運(yùn)行示例程序

把二進(jìn)制文件 yolov5、測(cè)試圖片 dog_640_640.jpg 和模型文件yolov5s?sim_uint8.nb（整個(gè) test目錄）推到板端，執(zhí)行以下命令：

./yolov5 yolov5s?sim_uint8.nb dog_640_640.jpg
VIPLite driver version=0x00010d00...detection num: 316: 82%, [111, 243, 256, 601], dog7: 69%, [390, 83, 576, 194], truck1: 45%, [83, 143, 468, 467], bicycl