本項(xiàng)目為RT-Thread嵌入式大賽獲獎(jiǎng)作品，基于CanMV K230的工地巡檢機(jī)器人。K230芯片集成了兩顆RISC-V處理器核心，雙核玄鐵C908。RT-Thread已全面支持XUANTIE系列的E，C與R內(nèi)核，并推出電子書(shū)《XUANTIE開(kāi)發(fā)實(shí)踐指南》

（https://www.rt-thread.org/document/site/#/rt-thread-version/rt-thread-standard/tutorial/make-bsp/xuantie/XUANTIE%E5%BC%80%E5%8F%91%E5%AE%9E%E8%B7%B5%E6%8C%87%E5%8D%97）

目錄

應(yīng)用的實(shí)現(xiàn)功能

RT-Thread使用情況概述

整體設(shè)計(jì)流程

硬件框架

機(jī)械結(jié)構(gòu)

軟件框架

功能實(shí)現(xiàn)

演示視頻及代碼

演示視頻鏈接：

https://www.bilibili.com/video/BV1ZhScB9E8j/?spm_id_from=333.1387.homepage.video_card.click&vd_source=b1fff0f773136d7d05331087929c7739

1 應(yīng)用的實(shí)現(xiàn)功能

本作品基于RT-Thread系統(tǒng)，設(shè)計(jì)并實(shí)現(xiàn)了一套基于CanMV K230開(kāi)發(fā)板的工地巡檢機(jī)器人，融合AI視覺(jué)識(shí)別、嵌入式控制、Web通信，構(gòu)建了適用于復(fù)雜施工場(chǎng)景的全天候自動(dòng)化監(jiān)測(cè)與建材識(shí)別方案。系統(tǒng)以CanMV K230作為邊緣計(jì)算主控平臺(tái)，充分利用其高性能NPU加速能力，部署了本地化運(yùn)行的YOLOv5模型，實(shí)現(xiàn)了對(duì)鋼筋圈（coil）、鋼筋捆（rebar）及砌體（brickwork）等建材的精準(zhǔn)識(shí)別與數(shù)量統(tǒng)計(jì)。同時(shí)，系統(tǒng)支持模型動(dòng)態(tài)切換，通過(guò)加載安全帽檢測(cè)YOLOv5模型，有效識(shí)別未佩戴安全帽的施工人員，顯著提升工地安全管理水平。機(jī)器人底盤(pán)采用麥克納姆輪全向移動(dòng)結(jié)構(gòu)，通過(guò)二維云臺(tái)全方位覆蓋作業(yè)區(qū)域，可將工地環(huán)境實(shí)時(shí)上傳網(wǎng)頁(yè)端，實(shí)現(xiàn)數(shù)據(jù)可視化監(jiān)控。

圖1 基于CanMV K230的工地巡檢機(jī)器人整體外觀圖

2 RT-Thread使用情況概述

本作品采用的CanMV-K230 開(kāi)發(fā)板，該開(kāi)發(fā)板的開(kāi)發(fā)語(yǔ)言為MicroPython，操作系統(tǒng)是基于 RT-Thread Smart，代碼有調(diào)用KPU,通過(guò)Kmodel本地YOLOv5進(jìn)行識(shí)別工地建材和是否佩戴安全帽，同樣采用了多線程處理圖像識(shí)別與運(yùn)動(dòng)控制，以及環(huán)境數(shù)據(jù)傳輸?shù)取Ｕw圖像識(shí)別幀率到30FPS以上，芯片的算力與目前市場(chǎng)上該價(jià)位的板子一致，比K210算力強(qiáng)很多。

3 整體設(shè)計(jì)流程

本作品從工地環(huán)境中高頻巡檢、人身安全、物料管理、安全監(jiān)管等實(shí)際需求出發(fā)，確立以智能巡檢、目標(biāo)識(shí)別、環(huán)境監(jiān)測(cè)、遠(yuǎn)程控制為核心目標(biāo)的功能，并制定系統(tǒng)技術(shù)指標(biāo)，完成工地巡檢機(jī)器人的方案設(shè)計(jì)。根據(jù)系統(tǒng)整體方案，搭建基于K230開(kāi)發(fā)板的軟硬件平臺(tái)。在模擬工地環(huán)境下，對(duì)機(jī)器人的基本運(yùn)動(dòng)，對(duì)建材種類(lèi)和數(shù)量進(jìn)行統(tǒng)計(jì)，對(duì)人員安全進(jìn)行監(jiān)測(cè)，可視化顯示當(dāng)前環(huán)境狀態(tài)等功能測(cè)試，來(lái)評(píng)估機(jī)器人的性能。具體設(shè)計(jì)流程如圖2所示。

圖2 基于CanMV K230的工地巡檢機(jī)器人系統(tǒng)設(shè)計(jì)流程

本作品是基于RT-Thread系統(tǒng)，CanMV K230開(kāi)發(fā)板，構(gòu)建了一個(gè)集AI視覺(jué)識(shí)別、智能巡檢控制、環(huán)境數(shù)據(jù)采集、數(shù)據(jù)可視化于一體的工地巡檢機(jī)器人系統(tǒng)，其整體框圖如圖3所示?；贑anMV K230的工地巡檢機(jī)器人主要分為硬件部分和軟件部分，其硬件部分主要由搭載KPU的CanMV K230開(kāi)發(fā)板、立創(chuàng)EDA專(zhuān)業(yè)版所畫(huà)板的運(yùn)動(dòng)控制平臺(tái)、溫濕度傳感器和二維云臺(tái)等構(gòu)成，其軟件部分包含WEB服務(wù)端、目標(biāo)檢測(cè)、溫濕度可視化顯示、運(yùn)動(dòng)控制等構(gòu)成。

圖3 基于CanMV K230的工地巡檢機(jī)器人整體設(shè)計(jì)框架

4 硬件框架

嘉楠科技Kendryte系列AIoT芯片中的最新一代SoC芯片K230為主控芯片，支持三路攝像頭同時(shí)輸入，典型網(wǎng)絡(luò)下的推理能力可達(dá)K210的13.7倍。支持CanMV，可以直接使用Python編程，簡(jiǎn)單易用?？勺鳛锳I與邊緣計(jì)算平臺(tái)，適合物聯(lián)網(wǎng)；智能家居與消費(fèi)電子；工業(yè)自動(dòng)化；無(wú)人系統(tǒng)等領(lǐng)域的開(kāi)發(fā)者使用。K230芯片集成了兩顆RISC-V處理器核心，雙核玄鐵C908，7nm 制程工藝，主頻高達(dá)1.6GHz，是全球首款支持RISC-V Vector 1.0標(biāo)準(zhǔn)的商用SOC，配備第三代KPU處理單元，專(zhuān)為圖像、視頻、音頻處理和AI加速設(shè)計(jì)，提供強(qiáng)勁的本地AI推理能力。支持三路MIPI CSI視頻輸入，最大分辨率可達(dá)4K。K230支持常見(jiàn)的AI計(jì)算框架如TensorFlow和PyTorch。

圖4 CanMV K230硬件資源圖

由于K230開(kāi)發(fā)板的PWM引腳有限，兩個(gè)PWM引腳用于控制二維云臺(tái)的移動(dòng)。ESP32S3的移動(dòng)平臺(tái)用于機(jī)器人的水平方向的全方位移動(dòng)，主要由樂(lè)鑫科技公司的ESP32S3芯片、步進(jìn)電機(jī)驅(qū)動(dòng)、電源模塊等構(gòu)成。ESP32-S3是一款集成Wi-Fi和低功耗藍(lán)牙（BLE）的高性能雙核處理器芯片，內(nèi)核為雙核Xtensa32-bit LX7，最高主頻 240MHz，并集成豐富的GPIO、PWM、ADC、SPI、I2C等外設(shè)資源，其低功耗、高性能以及優(yōu)秀的外圍接口資源，使其成為運(yùn)動(dòng)控制與無(wú)線通信一體化系統(tǒng)的理想選擇。步進(jìn)驅(qū)動(dòng)采用的是TB6612芯片，該芯片是常用于機(jī)器人和小型運(yùn)動(dòng)控制系統(tǒng)中的雙通道直流電機(jī)/步進(jìn)電機(jī)驅(qū)動(dòng)芯片，內(nèi)置短路保護(hù)和熱關(guān)斷保護(hù)功能，可以實(shí)現(xiàn)平滑的電機(jī)轉(zhuǎn)速調(diào)節(jié)與方向控制。電源模塊采用LM78M05將兩節(jié)18650電池電壓降壓到5v，再通過(guò)AMS1117降壓至3.3v給ESP32S3供電，以及給TB6612芯片提供電源。其移動(dòng)平臺(tái)的電路圖和PCB圖分別如圖5和圖6所示。

圖5 ESP32S3的移動(dòng)平臺(tái)電路圖

圖6 ESP32S3的移動(dòng)平臺(tái)PCB圖

5 機(jī)械結(jié)構(gòu)

本作品利用Solidworks設(shè)置固定件來(lái)連接工地巡檢機(jī)器人各個(gè)零件，例如K230開(kāi)發(fā)板的固定、N20電機(jī)的固定、二維云臺(tái)的連接等，下面將對(duì)工地巡檢機(jī)器人的核心機(jī)械設(shè)計(jì)進(jìn)行介紹。

圖7 K230開(kāi)發(fā)板和二維云臺(tái)固定支撐3D設(shè)計(jì)圖

為確保移動(dòng)平臺(tái)運(yùn)行過(guò)程中的穩(wěn)定性與抗震性，本作品的移動(dòng)平臺(tái)采用上下緊湊機(jī)構(gòu)，底部打印厚度為5mm的底盤(pán)支撐，頂部打印3mm的頂部支撐，頂部與底部將N20電機(jī)緊緊扣住，防止出現(xiàn)振動(dòng)位移，其中底部設(shè)計(jì)的M2通孔位置根據(jù)圖8的N20尺寸圖所設(shè)計(jì)，其余M3的通孔用于固定連接ESP32S3的移動(dòng)平臺(tái)PCB。連接部分的3D設(shè)計(jì)圖如圖9所示。

圖8 N20電池座的尺寸圖

圖9 N20電機(jī)的固定以及移動(dòng)平臺(tái)的連接3D設(shè)計(jì)圖

為了實(shí)現(xiàn)對(duì)攝像頭視角的動(dòng)態(tài)調(diào)節(jié)與多方向覆蓋，本系統(tǒng)設(shè)計(jì)并3D打印制作了二維云臺(tái)結(jié)構(gòu)件，用于安裝并控制K230開(kāi)發(fā)板實(shí)現(xiàn)水平與垂直方向的轉(zhuǎn)動(dòng)，滿足在工地復(fù)雜環(huán)境中靈活調(diào)整監(jiān)控角度的需求。二維云臺(tái)主要由底部固定座、連接支架和攝像頭安裝板構(gòu)成，打印件采用PLA材料進(jìn)行打印，具有足夠的結(jié)構(gòu)強(qiáng)度與剛性，既能穩(wěn)定承載攝像頭重量，又能保持運(yùn)動(dòng)靈敏性和低摩擦。二維云臺(tái)3D打印設(shè)計(jì)圖如圖10所示。

圖10 二維云臺(tái)的3D設(shè)計(jì)圖

6 軟件框架

工地巡檢機(jī)器人的軟件系統(tǒng)主要分為機(jī)器人客戶端和WEB網(wǎng)頁(yè)端兩大部分，其中機(jī)器人客戶端包括二維云臺(tái)的控制、ESP32S3移動(dòng)平臺(tái)的控制、建材識(shí)別與安全檢測(cè)深度學(xué)習(xí)算法本地推理、工地環(huán)境溫濕度獲取等。WEB網(wǎng)頁(yè)端主要包括二維云臺(tái)與移動(dòng)平臺(tái)的控制界面、建材識(shí)別與安全檢測(cè)開(kāi)關(guān)、溫濕度可視化顯示以及功能開(kāi)關(guān)控制等。機(jī)器人客戶端和WEB網(wǎng)頁(yè)端是通過(guò)TCP協(xié)議進(jìn)行通信，該協(xié)議能夠保證機(jī)器人控制與檢測(cè)目標(biāo)過(guò)程中低延遲高效率，長(zhǎng)連接即可雙向通信，比傳統(tǒng)Ajax輪詢更節(jié)省帶寬和CPU資源，對(duì)服務(wù)器壓力較小，尤其適合邊緣計(jì)算設(shè)備或嵌入式系統(tǒng)中使用。軟件系統(tǒng)整體流程圖如圖11所示。

圖11 軟件系統(tǒng)整體流程圖

建材識(shí)別

建材識(shí)別主要是對(duì)工地巡檢機(jī)器人的周?chē)ㄖ鞑模翠摻钊?coil)、鋼筋捆(rebar)和砌體(brickwork)進(jìn)行三種對(duì)象的分類(lèi)與目標(biāo)識(shí)別。機(jī)器人采用YOLOv5算法進(jìn)行本地推理，建材識(shí)別模型訓(xùn)練流程主要分為數(shù)據(jù)采集、模型訓(xùn)練、量化部署、實(shí)時(shí)推理、結(jié)果回傳五個(gè)步驟，具體流程如圖12所示。

圖12 模型訓(xùn)練流程

數(shù)據(jù)采集與標(biāo)注：圖像采集盡量覆蓋不同的視角、光照和背景復(fù)雜度，以增強(qiáng)模型在實(shí)際環(huán)境中的魯棒性。圖像采集完成后，使用開(kāi)源圖像標(biāo)注工具LabelImg對(duì)圖像進(jìn)行目標(biāo)檢測(cè)標(biāo)注。LabelImg提供了圖形化界面，通過(guò)使用鼠標(biāo)框選目標(biāo)框，并輸入目標(biāo)類(lèi)別(brickwork標(biāo)注0，rebar標(biāo)注1，coil標(biāo)注2)。三種建材標(biāo)注分別如圖13、14和15所示。

圖13 砌體標(biāo)注

圖14 鋼筋捆標(biāo)注

圖15 鋼筋圈標(biāo)注

模型訓(xùn)練：基于YOLOv5的深度學(xué)習(xí)目標(biāo)檢測(cè)算法對(duì)建材數(shù)據(jù)集進(jìn)行訓(xùn)練，借助NVIDIA RTX 4060 GPU對(duì)數(shù)據(jù)集進(jìn)行80次epoch的加速訓(xùn)練。訓(xùn)練平臺(tái)框架為PyTorch深度學(xué)習(xí)框架，采用的是適合邊緣部署的輕量化YOLOv5n模型。

圖16 模型訓(xùn)練結(jié)果

模型量化與部署：通過(guò)docker使用nncase將onnx模型量化部署為Kmodel模型。

圖17 模型量化轉(zhuǎn)化為Kmodel模型

控制與數(shù)據(jù)顯示

整個(gè)上位機(jī)界面包含運(yùn)動(dòng)平臺(tái)控制、云臺(tái)控制、建設(shè)識(shí)別與安全建材開(kāi)關(guān)和工地環(huán)境可視化顯示如圖18和19所示。

圖18 上位機(jī)整體界面

圖19 工地環(huán)境監(jiān)測(cè)

7 功能實(shí)現(xiàn)

建材識(shí)別功能

基于CanMV K230的工地巡檢機(jī)器人對(duì)三種建材（砌體、鋼筋圈和鋼筋捆）的識(shí)別效果，通過(guò)CanMV IDE進(jìn)行展示，在實(shí)際場(chǎng)地效果會(huì)更好。

圖20 砌體的識(shí)別1

圖21 砌體的識(shí)別2

圖22 砌體的識(shí)別3

圖23 鋼筋圈的識(shí)別1

圖24 鋼筋圈的識(shí)別2

圖25 鋼筋圈的識(shí)別3

圖26 鋼筋捆的識(shí)別1

圖27 鋼筋捆的識(shí)別2

圖28 鋼筋捆的識(shí)別3

安全檢測(cè)功能

基于CanMV K230的工地巡檢機(jī)器人對(duì)工人安全的檢測(cè)效果，通過(guò)CanMV IDE進(jìn)行展示，在實(shí)際場(chǎng)地效果會(huì)更好。

圖29 安全檢測(cè)1

圖30 安全檢測(cè)2

圖31 安全檢測(cè)3

工地環(huán)境可視化功能

服務(wù)端接收來(lái)自CanMV K230的工地巡檢機(jī)器人對(duì)工地環(huán)境的數(shù)據(jù)。

圖32 環(huán)境監(jiān)測(cè)

8 演示視頻及代碼

演示視頻鏈接：

https://www.bilibili.com/video/BV1ZhScB9E8j/?spm_id_from=333.1387.homepage.video_card.click&vd_source=b1fff0f773136d7d05331087929c7739

代碼倉(cāng)庫(kù)：https://github.com/wuboy19/RT_Thread_competiton