項(xiàng)目簡(jiǎn)介

本項(xiàng)目使用Edge Impulse進(jìn)行模型的訓(xùn)練。Edge Impulse是一個(gè)端到端的開(kāi)發(fā)平臺(tái)，專為構(gòu)建和部署嵌入式機(jī)器學(xué)習(xí)模型而設(shè)計(jì)。它使開(kāi)發(fā)人員能夠使用傳感器數(shù)據(jù)來(lái)構(gòu)建自定義的機(jī)器學(xué)習(xí)模型，并在邊緣設(shè)備上運(yùn)行這些模型，而無(wú)需互聯(lián)網(wǎng)連接。Edge Impulse提供了一系列的工具和庫(kù)，使開(kāi)發(fā)人員能夠快速有效地構(gòu)建和部署自定義的嵌入式機(jī)器學(xué)習(xí)應(yīng)用程序。

之所以使用鳥(niǎo)巢作為項(xiàng)目的識(shí)別對(duì)象，是因?yàn)轼B(niǎo)巢的特征繁多不容易提取，可以充分測(cè)試本設(shè)備的運(yùn)算能力，為日后識(shí)別模型和設(shè)備的選型提供參考。

一、需要用到的工具和安裝包和源碼包

工程源碼:

https://github.com/RT-Thread-Studio/sdk-bsp-ra8d1-vision-board

RT-Thread env工具:

https://www.rt-thread.org/download.html

Renesas Flash Programmer燒錄工具:

https://www.renesas.com/us/en/software-tool/renesas-flash-programmer-programming-gui

openmv ide

https://openmv.io/pages/download

模型開(kāi)發(fā)平臺(tái)：

https://edgeimpulse.com/

二、開(kāi)發(fā)過(guò)程

1、openmv工程的下載與編譯

克隆sdk-bsp-ra8d1-vision-board源碼包，使用env工具切換至目錄$PRJ/sdk-bsp-ra8d1-vision-board/projects/vision_board_openmv

運(yùn)行mklinks.bat生成兩個(gè)鏈接

運(yùn)行env并切換至vision_board_openmv/, 使用scons命令進(jìn)行編譯

編譯過(guò)程會(huì)報(bào)如下錯(cuò)誤

參考https://github.com/RT-Thread-Studio/sdk-bsp-ra8d1-vision-board/pull/88，使用 arm-gnu-toolchain-13.2.rel1 版本工具鏈進(jìn)行編譯。下載工具鏈，并在env中設(shè)置環(huán)境變量set RTT_EXEC_PATH=D:\your toolchain path\bin

2、模型訓(xùn)練

進(jìn)行模型開(kāi)發(fā)平臺(tái)https://edgeimpulse.com/

按提示新建工程并設(shè)置工程配置項(xiàng)

選擇左欄進(jìn)行原始數(shù)據(jù)上傳，配置如下，我選擇的是自動(dòng)劃分訓(xùn)練和測(cè)試項(xiàng)，自定義標(biāo)簽

圖片上傳后，可以分別查看訓(xùn)練集和測(cè)試集的內(nèi)容

根據(jù)Labeling queue (0)進(jìn)行圖片的標(biāo)注

使用Impulse design-> Create impulse 進(jìn)行模型配置

使用Impulse design-> image配置顏色深度為RGB，并生成特征。

使用Impulse design-> Object Detection 配置訓(xùn)練參數(shù)并開(kāi)始訓(xùn)練

訓(xùn)練結(jié)果

工程庫(kù)的生成Deployment-> build

生成文件

三、項(xiàng)目測(cè)試

將labels.txt和trained.tflite兩個(gè)文件復(fù)制到sd卡，并將卡插入開(kāi)發(fā)板

燒錄vision_board_openmv/工程的hex文件到開(kāi)發(fā)板

打開(kāi)openmv ide并打開(kāi)ei_object_detection.py

連接并運(yùn)行腳本

可以看到訓(xùn)練效果，已經(jīng)能識(shí)別到鳥(niǎo)巢。