0 環(huán)境安裝

在進(jìn)行AI算法開(kāi)發(fā)之前請(qǐng)參考X3派用戶手冊(cè)完成系統(tǒng)安裝及配置，此時(shí)X3派上已默認(rèn)安裝好了地平線Python版本AI推理引擎(hobot_dnn)及其配套依賴環(huán)境。hobot_dnn提供了Model 、pyDNNTensor、TensorProperties三個(gè)類和load接口。您可通過(guò)如下方式獲取hobot_dnn的基本信息：

-------------------------------------------------------------------------------------------------------------------------------

python3
>>> from hobot_dnn import pyeasy_dnn as dnn
>>> dir(dnn)
['Model', 'TensorProperties', '__doc__', '__file__', '__loader__', '__name__', '__package__', '__spec__', 'load', 'pyDNNTensor']

-------------------------------------------------------------------------------------------------------------------------------

AI推理引擎的更新可參考如下方式（出于系統(tǒng)安全、穩(wěn)定性的考慮，建議統(tǒng)一通過(guò)APT命令更新X3派板級(jí)開(kāi)發(fā)包）：

-------------------------------------------------------------------------------------------------------------------------------

#更新package列表
sudo apt update
#升級(jí)所有已安裝的軟件包到最新版本
sudo apt full-upgrade
#清除緩存文件（非必須）
sudo apt clean
#重啟設(shè)備
sudo reboot

-------------------------------------------------------------------------------------------------------------------------------

1 推理接口介紹

1.1 Model

AI算法模型類，描述模型的名稱，輸入、輸出數(shù)據(jù)屬性信息，forward 方法用來(lái)完成算法的推理。

-------------------------------------------------------------------------------------------------------------------------------

class hobot_dnn.pyeasy_dnn.Model
'''
Parameters：
1、name (string)：模型名稱
2、inputs (tuple(hobot_dnn.pyeasy_dnn.pyDNNTensor))：模型的輸入tensor
3、outputs (tuple(hobot_dnn.pyeasy_dnn.pyDNNTensor))：模型的輸出tensor
4、forward (args &args, kwargs &kwargs)：模型推理函數(shù)接口，輸入模型推理所必要的參數(shù)，返回模型推理結(jié)果
parameters：
input_tensor：輸入數(shù)據(jù)
core_id (int)：模型推理的core id，可為0,1,2，默認(rèn)為0表示任意核推理
priority (int)：當(dāng)前模型推理任務(wù)的優(yōu)先級(jí)，范圍[0~255]，越大優(yōu)先級(jí)越高
'''

-------------------------------------------------------------------------------------------------------------------------------

其中，forward方法的input_tensor支持三種格式輸入：

forward方法的返回值為模型推理結(jié)果，有如下兩種情況：

resizer模型指在模型轉(zhuǎn)換時(shí)input_source設(shè)置為“resizer”編譯生成的模型，相關(guān)配置方式可參考社區(qū)X3 用戶手冊(cè)。resizer模型推理時(shí)，hobot_dnn會(huì)先使用ROI從輸入數(shù)據(jù)中摳圖后resize到模型輸入大小再送入模型進(jìn)行推理。
*目前resizer模式暫只支持單輸入的nv12/nv12_bt601模型。

1.2 pyDNNTensor

AI 算法輸入、輸出 tensor 類

-------------------------------------------------------------------------------------------------------------------------------

class hobot_dnn.pyeasy_dnn.pyDNNTensor
'''
Parameters：
1、properties (TensorProperties)：tensor的屬性，詳細(xì)參見(jiàn)本文1.3節(jié)
2、buffer (numpy)：tensor中的數(shù)據(jù)，數(shù)據(jù)訪問(wèn)方式同numpy
3、name (string)：tensor的名稱
'''

-------------------------------------------------------------------------------------------------------------------------------

1.3 TensorProperties

AI 算法輸入/輸出 tensor 的屬性類

-------------------------------------------------------------------------------------------------------------------------------

class hobot_dnn.pyeasy_dnn.TensorProperties
'''
Parameters：
1、tensor_type (string)：tensor的數(shù)據(jù)類型，如：NV12、BGR、float32等
2、dtype (string)：數(shù)據(jù)的存儲(chǔ)類型，同numpy數(shù)據(jù)類型，如：int8、uint8、float32等
3、layout (string)：數(shù)據(jù)排布格式，NHWC或者NCHW
4、shape (tuple)：數(shù)據(jù)的shape信息，例如：(1,3,224,224)
'''

-------------------------------------------------------------------------------------------------------------------------------

1.4 load

load接口用于加載模型

-------------------------------------------------------------------------------------------------------------------------------

hobot_dnn.pyeasy_dnn.load(model_file)
'''
接口支持兩種模型加載方式：
1、輸入模型的文件路徑，加載單個(gè)模型，或者單個(gè)pack模型
model_file = "/userdata/single_model.bin"
models = hobot_dnn.pyeasy_dnn.load(model_file)
2、輸入模型的文件列表，加載多個(gè)模型
model_file = ["model1.bin", "model2.bin"]
models = hobot_dnn.pyeasy_dnn.load(model_file)
接口返回hobot_dnn.pyeasy_dnn.Model類型的tuple列表
'''

-------------------------------------------------------------------------------------------------------------------------------

2 快速上手示例

X3派配套AI推理示例默認(rèn)安裝在/app/ai_inference目錄下，包含如下示例：

-------------------------------------------------------------------------------------------------------------------------------

|-- 01_basic_sample # 從本地讀取圖片并完成mobilenetv1分類模型推理
|-- 02_usb_camera_sample # 從USB camera獲取視頻數(shù)據(jù)并完成FCOS檢測(cè)模型推理
|-- 03_mipi_camera_sample # 從MIPI camera獲取視頻數(shù)據(jù)并完成FCOS檢測(cè)模型推理
|-- 05_web_display_camera_sample # 基于MIPI Camera的FCOS目標(biāo)檢測(cè)及web端展示
|-- 06_yolov3_sample # 從本地讀取圖片并完成Yolov3檢測(cè)模型推理
|-- 07_yolov5_sample # 從本地讀取圖片并完成Yolov5檢測(cè)模型推理
`-- models

-------------------------------------------------------------------------------------------------------------------------------

本節(jié)將以01_basic_sample為例，為大家展示如何使用hobot_dnn完成模型推理。運(yùn)行以下示例您需要準(zhǔn)備編譯好的混合異構(gòu)模型mobilenetv1_224x224_nv12.bin（存放于/app/ai_inference/models路徑下），以及一張圖片zebra_cls.jpg（存放于01_basic_sample文件夾下）。

-------------------------------------------------------------------------------------------------------------------------------

from hobot_dnn import pyeasy_dnn as dnn
import numpy as np
import cv2

# 查看模型輸入輸出節(jié)點(diǎn)的信息
def print_properties(pro):
print("tensor type:", pro.tensor_type)
print("data type:", pro.dtype)
print("layout:", pro.layout)
print("shape:", pro.shape)

# 依據(jù)模型input_type_rt決定是否需要進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換（本實(shí)例所用模型為nv12輸入）
def bgr2nv12_opencv(image):
height, width = image.shape[0], image.shape[1]
area = height * width
yuv420p = cv2.cvtColor(image, cv2.COLOR_BGR2YUV_I420).reshape((area * 3 // 2,))
y = yuv420p[:area]
uv_planar = yuv420p[area:].reshape((2, area // 4))
uv_packed = uv_planar.transpose((1, 0)).reshape((area // 2,))

nv12 = np.zeros_like(yuv420p)
nv12[:height * width] = y
nv12[height * width:] = uv_packed
return nv12

# 1.加載模型
models = dnn.load('../models/mobilenetv1_224x224_nv12.bin')

# 2.查看模型輸入輸出節(jié)點(diǎn)的信息
for input in models[0].inputs:
print_properties(input.properties)
for output in models[0].outputs:
print_properties(output.properties)

# 3.準(zhǔn)備輸入數(shù)據(jù)
# 打開(kāi)圖片
img_file = cv2.imread('./zebra_cls.jpg')
# 把圖片縮放到模型的輸入尺寸
h, w = models[0].inputs[0].properties.shape[2], models[0].inputs[0].properties.shape[3]
resized_data = cv2.resize(img_file, (w, h), interpolation=cv2.INTER_AREA)
nv12_data = bgr2nv12_opencv(resized_data)

# 4.模型推理
outputs = models[0].forward(nv12_data)

# 5.后處理
np.argmax(outputs[0].buffer)
print("cls id: %d Confidence: %f" % (np.argmax(outputs[0].buffer), outputs[0].buffer[0][np.argmax(outputs[0].buffer)]))

-------------------------------------------------------------------------------------------------------------------------------

運(yùn)行上述示例，即可在終端查看到如下信息：

本文轉(zhuǎn)自地平線開(kāi)發(fā)者社區(qū)

原作者：顏值即正義

原鏈接：https://developer.horizon.ai/forumDetail/98129467158916308