RZ/V2L MPU配備Cortex-A55 (1.2 GHz) CPU，內(nèi)置AI加速器“DRP-AI”，以提供更好的機(jī)器視覺(jué)處理性能，這是瑞薩的獨(dú)創(chuàng)技術(shù)?！癉RP-AI”由DRP和AI-MAC組成。它還配備一個(gè)16位的DDR3L/DDR4接口，具備內(nèi)置Arm Mali-G31的3D圖形引擎和視頻編解碼器（H.264）。

DRP-AI的卓越功率效率使其無(wú)需采取散熱措施（如散熱器或冷卻風(fēng)扇）。人工智能不僅可以在消費(fèi)類電子產(chǎn)品和工業(yè)設(shè)備中經(jīng)濟(jì)高效實(shí)施，還可以在零售點(diǎn)（POS）終端等廣泛的應(yīng)用中實(shí)施。此外，DRP-AI還提供實(shí)時(shí)人工智能推理和圖像處理功能，具有支持?jǐn)z像頭所必需的功能，如顏色校正和降噪。這使得客戶無(wú)需外部圖像信號(hào)處理器（ISP），即可實(shí)施基于人工智能的視覺(jué)應(yīng)用。

RZ/V2L還與RZ/G2L封裝和引腳兼容。這使得RZ/G2L用戶可輕松升級(jí)至RZ/V2L，以獲得額外的人工智能功能，而無(wú)需修改系統(tǒng)配置，從而保持低遷移成本。

點(diǎn)擊可查看大圖

今天我們?yōu)榇蠹医榻BRZ/V2L的另外一個(gè)預(yù)訓(xùn)練的人工智能模型——植物葉片病害分類模型，它可對(duì)38種不同的植物葉病/健康狀況進(jìn)行分類。所開(kāi)發(fā)的模型能夠從14種不同植物中識(shí)別出38種不同類型的植物病害。

它有3種運(yùn)行模式，讓您根據(jù)不同場(chǎng)景靈活轉(zhuǎn)換。

1

從MIPI接口攝像頭輸入

2

從圖片文件輸入

3

從一個(gè)視頻文件輸入

示例運(yùn)行效果

分類結(jié)果、推理時(shí)間（毫秒）、得分（%）顯示在左上角 每秒幀數(shù)（FPS）顯示在右上角

軟硬件需求

示例應(yīng)用程序的編譯

這是一個(gè)可選步驟，如果直接運(yùn)行預(yù)編譯好的程序可以跳過(guò)此步驟。

在編譯之前請(qǐng)參考此處確保RZ/V2L AI SDK已經(jīng)準(zhǔn)備就緒。

1

從github復(fù)制代碼到本地

建議將代碼復(fù)制到docker容器的data目錄中

cd 
git clone https://github.com/renesas-rz/rzv_ai_sdk.git

2

啟動(dòng)docker

docker start -i rzv2l_ai_sdk_container

3

為rzv2l_ai_sdk_container掛載 data目錄

export PROJECT_PATH=/drp-ai_tvm/data/

4

進(jìn)入示例源碼目錄

cd ${PROJECT_PATH}/rzv_ai_sdk/Q07_plant_disease_classification/src/

5

編譯源碼

mkdir -p build && cd build
cmake -DCMAKE_TOOLCHAIN_FILE=./toolchain/runtime.cmake ..
make -j$(nproc)

應(yīng)用程序plant_leaf_disease_classify應(yīng)該會(huì)出現(xiàn)在 src/build目錄中

應(yīng)用程序部署

將以下文件復(fù)制到SD卡的/home/root/tvm目錄下

● 示例exe目錄中的所有文件

●?如果應(yīng)用有修改，則需要從src/build目錄拷貝plant_leaf_disease_classify

運(yùn)行示例應(yīng)用程序

當(dāng)輸入為MIPI Coral攝像頭時(shí)：

cd /home/root/tvm
./plant_leaf_disease_classify CAMERA

當(dāng)使用靜態(tài)圖片作為輸入時(shí)：

cd /home/root/tvm
./plant_leaf_disease_classify IMAGE sampleimg.jpg

當(dāng)使用視頻作為輸入時(shí)：

cd /home/root/tvm
./plant_leaf_disease_classify VIDEO plantvid.mp4

終止示例應(yīng)用程序

按esc鍵退出應(yīng)用程序

數(shù)據(jù)集new-plant-diseases-dataset

復(fù)制鏈接到瀏覽器中打開(kāi)：

https://www.kaggle.com/datasets/vipoooool/new-plant-diseases-dataset

該數(shù)據(jù)集由約87K幅健康和患病作物葉片的rgb圖像組成，分為38個(gè)不同的類。整個(gè)數(shù)據(jù)集按80/20的比例分為訓(xùn)練集和驗(yàn)證集，并創(chuàng)建了一個(gè)包含33幅測(cè)試圖像測(cè)試集。

AI推理時(shí)間

AI推理總時(shí)間（預(yù)處理+AI模型推理）- 110 ms

審核編輯：黃飛