在AI應(yīng)用的浪潮中，視覺AI無疑是最熱門的領(lǐng)域之一。從智能家居到安防監(jiān)控，從工廠自動化到自動駕駛，視覺技術(shù)的身影無處不在。然而，對于很多開發(fā)者來說，想要在本地實(shí)現(xiàn)AI推理，而不依賴云端，并不是一件輕松的事。

現(xiàn)在，瑞薩推出了AI模型部署工具——一款幫你零門檻上手NVIDIA TAO的神器。

AI應(yīng)用的難點(diǎn)

#人工智能技術(shù)十分強(qiáng)大，但落地并不簡單，原因如下：

工具鏈復(fù)雜：命令行操作多，學(xué)習(xí)成本高

訓(xùn)練周期長：數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練、優(yōu)化環(huán)節(jié)耗時

部署門檻高：模型轉(zhuǎn)換與硬件適配繁瑣

特別是新手，面對復(fù)雜的命令行工具和海量參數(shù)，很容易陷入迷茫。

瑞薩的部署工具

瑞薩推出的AI模型部署工具，就是為了解決這些難點(diǎn)。

它是一個基于GUI的封裝工具，將NVIDIA TAO Toolkit打包成可視化操作界面，一站式解決從模型創(chuàng)建到部署的全流程。

它的優(yōu)勢十分明顯：

全程可視化操作，無需命令行

完整流程支持：創(chuàng)建→數(shù)據(jù)準(zhǔn)備→訓(xùn)練→剪枝→評估→推理→部署

硬件適配廣：不僅能跑在NVIDIA GPU上，還能部署到瑞薩MPU、甚至MCU上

快速上手教程

下面用實(shí)際演示，帶你體驗(yàn)它的操作流程。本演示基于Ubuntu 20.04系統(tǒng)，同樣也支持Ubuntu 22.04。演示使用Detectnetv2模型，并將其部署在RZ/V2L MPU上。

1

進(jìn)入項(xiàng)目主頁

進(jìn)入項(xiàng)目目錄并打開終端，執(zhí)行`./gui_start.sh`命令，進(jìn)入項(xiàng)目主頁。如圖1所示。

圖1 通過終端啟動工程

進(jìn)入主頁后，點(diǎn)擊“CREATE”按鈕，新建工程。如圖2所示。

圖2 點(diǎn)擊“CREATE”新建工程

2

新建工程

在‘Project Name’欄，將工程命名為“Detectnetv2_for_video”。在“Task”欄中選擇“Object Detection”，并在“Board”欄中選擇“V2L”。最后點(diǎn)擊“CREATE”創(chuàng)建工程。如圖3所示。

圖3 新建工程相關(guān)配置

若工程被成功創(chuàng)建，在屏幕上方系統(tǒng)會提示“Successfully created the task”。如圖4所示。

圖4 成功創(chuàng)建工程

3

準(zhǔn)備數(shù)據(jù)集

工程創(chuàng)建完成后，系統(tǒng)會自動進(jìn)入準(zhǔn)備數(shù)據(jù)集界面。本次演示使用KITTI Vision數(shù)據(jù)集。選擇好數(shù)據(jù)集后，點(diǎn)擊“ANALYZE DATA”按鈕，系統(tǒng)將分析數(shù)據(jù)集的類別數(shù)量等信息。如圖5所示。

圖5 選擇數(shù)據(jù)集并點(diǎn)擊“ANALYZE DATA”按鈕

在數(shù)據(jù)集分析等待的過程中，你可以通過點(diǎn)擊右下角的藍(lán)色“LOGS”按鈕，查看當(dāng)前的日志。如圖6所示。

圖6 點(diǎn)擊右下角的藍(lán)色“LOGS”按鈕，查看日志

數(shù)據(jù)集分析完成后，界面會顯示數(shù)據(jù)類別分布和邊界框統(tǒng)計情況。

點(diǎn)擊“SPLIT”按鈕，系統(tǒng)會按71的比例劃分成訓(xùn)練集、驗(yàn)證集和測試集。成功劃分后，會提示“Successfully completed detect split”。點(diǎn)擊“GO FOR TRAINING”進(jìn)入“Training”頁面。如圖7所示。

圖7 數(shù)據(jù)集的分析和劃分

4

訓(xùn)練模型

在“Training”頁面中，選擇“Model”（模型）和“Pre-Trained Model Paths”（預(yù)訓(xùn)練權(quán)重路徑）。同時，可以設(shè)置“Batch size for gpu”（批量大?。?、“Epochs”（訓(xùn)練輪數(shù)）、“Enable Qat”（是否啟用量化感知）、“Image width”（圖像寬度）以及“Image height”（圖像高度）等參數(shù)。

完成參數(shù)設(shè)置后，點(diǎn)擊“TRAINING SUBMISSION”開始訓(xùn)練。如圖8所示。

圖8 配置模型參數(shù)

在訓(xùn)練過程中，可以實(shí)時查看日志，并監(jiān)控GPU負(fù)載變化。如圖9所示，隨著訓(xùn)練的持續(xù)進(jìn)行，會看到負(fù)載有明顯升高。

圖9 監(jiān)控GPU負(fù)載變化

5

模型剪枝與再訓(xùn)練

#NVIDIATAO支持結(jié)構(gòu)化和非結(jié)構(gòu)化兩種剪枝方式。可根據(jù)模型的需要，選擇合適的剪枝方式。對于Detectnetv2模型，需要使用結(jié)構(gòu)化剪枝來移除冗余權(quán)重，并進(jìn)行再訓(xùn)練。通過結(jié)構(gòu)化剪枝，可以讓模型在降低復(fù)雜度的同時盡可能提升精度。

剪枝完成后，可以像訓(xùn)練模型一樣調(diào)整參數(shù)，并重新訓(xùn)練。如圖10所示。

圖10 配置剪枝與再訓(xùn)練參數(shù)

6

評估模型與推理

在“Evaluation Details”中，選擇已經(jīng)訓(xùn)練好的模型。點(diǎn)擊“CHECK MODEL EVALUATION”，可查看評估結(jié)果。如圖11所示。

圖11 模型評估結(jié)果

在推理頁面里，會使用剛剛評估過的模型進(jìn)行推理。點(diǎn)擊“UPLOAD IMAGE”導(dǎo)入需要推理的圖片，點(diǎn)擊“PREDICT”進(jìn)行推理。從圖12中可以看到，模型成功檢測出了汽車，并生成了相應(yīng)的邊界框。

圖12 模型推理結(jié)果

7

部署到硬件

選擇模型后點(diǎn)擊“EXPORT”，導(dǎo)出訓(xùn)練好的模型。如圖13所示。

圖13 導(dǎo)出模型

導(dǎo)出完成后，點(diǎn)擊“TRANSLATE”，將模型轉(zhuǎn)換為適配RZ/V2L的格式。如圖14所示。

圖14 轉(zhuǎn)換模型

轉(zhuǎn)換完成后，通過本地IP地址連接到開發(fā)板。此過程不僅建立了與開發(fā)板的連接，還將轉(zhuǎn)換好的模型傳輸?shù)介_發(fā)板上。輸入本地IP地址，并點(diǎn)擊 “CONNECT”進(jìn)行連接，如圖15所示。

圖15 連接開發(fā)板

點(diǎn)擊“DEPLOY”部署，模型會在開發(fā)板上運(yùn)行，如圖16所示。

圖16 部署模型

此時，在“Inference Results”里會輸出實(shí)時視頻流。如圖17所示。

如果精度沒有達(dá)到預(yù)期，可以更換模型訓(xùn)練或繼續(xù)剪枝再訓(xùn)練，直到達(dá)到理想效果。

圖17 輸出實(shí)時視頻流

總結(jié)

#瑞薩AI模型部署工具對AI初學(xué)者來說非常友好，無需代碼即可實(shí)現(xiàn)AI模型從創(chuàng)建到部署的全流程。除了面向AI初學(xué)者的模型部署工具，瑞薩還面向有經(jīng)驗(yàn)的開發(fā)者提供：

upyter Notebook

標(biāo)準(zhǔn)技術(shù)文檔

同時，瑞薩已為自家的產(chǎn)品線添加了Nvidia TAO的支持，使得使用Nvidia TAO推理出的模型能夠在瑞薩的MPU和MCU上運(yùn)行。目前的評估套件適用于 RZ/V2H、V2L和RA8D1開發(fā)板。這種支持為你提供了豐富的選擇，讓你可以根據(jù)自己的需求定制產(chǎn)品。