YOLOv9引入了可編程梯度信息 (PGI) 和廣義高效層聚合網(wǎng)絡 (GELAN) 等開創(chuàng)性技術(shù)，不僅增強了模型的學習能力，還確保了在整個檢測過程中保留關(guān)鍵信息，從而實現(xiàn)了卓越的準確性和性能。該模型在效率、準確性和適應性方面都有顯著提高，大大超過了現(xiàn)有的實時目標檢測器，在MS COCO數(shù)據(jù)集上樹立了新的標桿。官方代碼目前已經(jīng)開源。本文我們將結(jié)合之前開發(fā)的LabVIEW AI工具包for OpenVINO 工具包部署YOLO9模型實現(xiàn)實時目標檢測。

項目源碼：

https://pan.baidu.com/s/1DXX4ZhoRgu9h6roJXxAfzA?pwd=yiku

前言

01

LabVIEW AI工具包for OpenVINO

OpenVINO 是一個由英特爾開發(fā)的開源框架，可以加速計算機視覺和深度學習推理在邊緣設(shè)備上的應用。它提供了一套全面的工具和預訓練模型，支持快速開發(fā)和部署，優(yōu)化了多種英特爾硬件的性能，包括CPU、GPU、FPGA和VPU。OpenVINO 支持跨平臺部署，使得開發(fā)者能夠無縫集成最先進的人工智能能力到其應用中，從而實現(xiàn)高效、低延遲的推理性能。

OpenVINO 2023.3版本是最新長期支持版本，引入了額外的框架更改，優(yōu)化了生成式AI模型的特性，并增強了對現(xiàn)有平臺的支持。在大型語言模型推理、KV緩存處理和低精度運行時間方面做了新的優(yōu)化。此外，該版本新增了對新平臺的全面支持，包括在CPU上對int4和int8權(quán)重壓縮的支持，并優(yōu)化了首個令牌生成的延遲。用戶可以很方便地在英特爾CPU、GPU(intel)、FPGA、VPU等硬件上跑AI應用。

LabVIEW AI工具包 for OpenVINO 是我們（VIRobotics團隊）基于OpenVINO 2023.3LTS開發(fā)的一款AI推理加速工具包，整個工具包作為LabVIEW的插件，可以顯著提升在LabVIEW環(huán)境中開發(fā)和部署計算機視覺及深度學習應用的效率和性能。利用OpenVINO 在加速邊緣設(shè)備上的深度學習推理的能力，使得用戶能夠在LabVIEW的圖形編程環(huán)境中直接訪問高效的AI模型推理。這不僅簡化了開發(fā)流程，降低了對專業(yè)深度學習知識的需求，還能充分發(fā)揮英特爾硬件（CPU、GPU(intel)、FPGA、VPU）在AI推理方面的優(yōu)勢，從而實現(xiàn)更快的處理速度、更低的延遲以及更高的準確度。

02

YOLOv9模型

YOLOv9 在COCO 數(shù)據(jù)集上的表現(xiàn)體現(xiàn)了其在實時物體檢測方面的顯著進步，為各種模型大小設(shè)定了新的基準。具體如下圖所示。

COCO 數(shù)據(jù)集：

https://docs.ultralytics.com/zh/datasets/detect/coco/

如下圖所示，在MS COCO數(shù)據(jù)集上實時目標檢測器的比較中，基于GELAN和PGI的目標檢測方法在目標檢測性能方面超越了所有先前的從頭開始訓練的方法。在準確性方面，新方法優(yōu)于使用大型數(shù)據(jù)集預訓練的RT DETR，同時也優(yōu)于基于深度卷積設(shè)計的YOLO MS在參數(shù)利用方面的表現(xiàn)。

YOLOv9環(huán)境搭建

1. 部署本項目時所用環(huán)境

操作系統(tǒng)：Windows 64

LabVIEW：2018及以上 64位版本

AI視覺工具包：

techforce_lib_opencv_cpu-1.0.0.26.vip

LabVIEW AI工具包for OpenVINO：

virobotics_lib_openvino-1.0.0.36.vip

LabVIEW Object_Detection工具包

2. 軟件下載及安裝

在Windows上搭建OpenVINO LabVIEW開發(fā)環(huán)境

https://github.com/VIRobotics/openvino_handbook/blob/main/doc/Install_OpenVINO_LabVIEW_Windows.md

3. LabVIEW Object_Detection工具包下載與安裝

在下載鏈接：

https://pan.baidu.com/s/1bBQuc6gA8SQ5HPfBp1p83A?pwd=yiku

中下載并安裝Object_Detection工具包

項目實踐

01

項目簡介

本文我們將結(jié)合之前開發(fā)的 LabVIEW OpenVINO 工具包和LabVIEW Object_Detection工具包部署YOLOv9模型實現(xiàn)視頻流及實時目標檢測。

整個項目工程如下，項目模型以YOLOv9-C為例

model：yolov9 IR模型文件及coco.names文件

video：測試視頻

yolov9_openvino_video.vi：yolov9檢測視頻流

yolov9_openvino_video.vi：yolov9實時目標檢測

02

加載YOLOv9模型實現(xiàn)實時目標檢測

1. 模型及其他初始化：

加載yolov9模型及coco.name文件并實現(xiàn)必要參數(shù)的初始化；

2. 攝像頭圖像采集：

啟動攝像頭，設(shè)置相機分辨率并采集圖像

3. 實時推理并繪制檢測結(jié)果：

進行圖像預處理，推理，并獲取推理結(jié)果，將結(jié)果繪制出來，以圖片控件的形式顯示在前面板上；

4. 釋放資源：

釋放相機資源及模型所占內(nèi)存等資源

5. 完整源碼；

03

運行效果

請讀者先下載本文的源代碼到本地

項目源碼鏈接：

https://pan.baidu.com/s/1DXX4ZhoRgu9h6roJXxAfzA?pwd=yiku

按照前文YOLOv9環(huán)境搭建安裝相關(guān)工具包，然后運行 yolov9_openvino_video.vi（運行之前請確保電腦已聯(lián)網(wǎng)），運行結(jié)果如下圖所示：

審核編輯：劉清