一、產(chǎn)品簡(jiǎn)介

TL3568-PlusTEB人工智能實(shí)驗(yàn)箱

國(guó)產(chǎn)高性能處理器

64 位 4 核低功耗

2.0 GHz超高主頻

1T 超高算力 NPU

兼容鴻蒙等國(guó)產(chǎn)操作系統(tǒng)

二、實(shí)驗(yàn)?zāi)康?/p>

1、了解MediaPipe開(kāi)發(fā)框架的用途及流程；

2、掌握基于MediaPipe Hands實(shí)現(xiàn)手部檢測(cè)的方法。

三、實(shí)驗(yàn)原理

MediaPipe

MediaPipe是?款由Google開(kāi)發(fā)并開(kāi)源的數(shù)據(jù)流處理機(jī)器學(xué)習(xí)應(yīng)?開(kāi)發(fā)框架。

MediaPipe是跨平臺(tái)的，可以運(yùn)?在嵌?式平臺(tái)，移動(dòng)設(shè)備(iOS和Android)，?作站和服務(wù)器上，并?持移動(dòng)端GPU加速。

MediaPipe 的核?框架由 C++ 實(shí)現(xiàn)，并提供 Java 以及 Objective C 等語(yǔ)?的?持。

MediaPipe 的主要概念包括：

數(shù)據(jù)包（Packet）

數(shù)據(jù)流（Stream）

計(jì)算單元（Calculator）

圖（Graph）

?圖（Subgraph）

MediaPipe特點(diǎn)

（1）端到端加速：內(nèi)置的快速M(fèi)L推理和處理即使在普通硬件上也能加速。

（2）?次構(gòu)建，隨時(shí)隨地部署：統(tǒng)?解決?案適?于A(yíng)ndroid、iOS、桌?/云、web和物聯(lián)?。

（3）即?解決?案：展?框架全部功能的尖端ML解決?案。

（4）免費(fèi)開(kāi)源：Apache2.0下的框架和解決?案，完全可擴(kuò)展和定制。

MediaPipe Hands

MediaPipe Hands是?款?保真的?和?指跟蹤解決?案。

它利?機(jī)器學(xué)習(xí)（ML）從?幀中推斷出21個(gè)?的3D坐標(biāo)。該模型學(xué)習(xí)?致的內(nèi)部?姿勢(shì)表?，甚?對(duì)部分可?的?和?我遮擋也具有魯棒性。

為了獲得地?真實(shí)數(shù)據(jù)，?了21個(gè)3D坐標(biāo)?動(dòng)注釋了約30K幅真實(shí)世界的圖像（從圖像深度圖中獲取Z值，如果每個(gè)對(duì)應(yīng)坐標(biāo)都有Z值）。

四、實(shí)驗(yàn)設(shè)備

實(shí)驗(yàn)軟件

本實(shí)驗(yàn)中使用的軟件為.VMware17+Ubuntu18.04.4 和串口調(diào)試工具Xshell。

實(shí)驗(yàn)硬件

本實(shí)驗(yàn)中使用的是TL3568-PlusTEB實(shí)驗(yàn)箱，所需的配件為Micro SD卡、Type-C線(xiàn)、電源和網(wǎng)線(xiàn)。

五、實(shí)驗(yàn)步驟

硬件連接

（1）將Ubuntu系統(tǒng)啟動(dòng)卡插至Micro SD卡槽。

（2）使用Type-C線(xiàn)連接USB TO UART2調(diào)試串口到PC機(jī)。

（3）將實(shí)驗(yàn)箱ETH0 RGMII網(wǎng)口（COM21）通過(guò)網(wǎng)線(xiàn)連接至路由器。

（4）連接實(shí)驗(yàn)箱電源，先不要上電。

（5）將USB攝像頭連接到實(shí)驗(yàn)箱的USB2.0 HOST。

軟件操作

（1）先在設(shè)備管理器查看串口的端口號(hào)；

（2）再設(shè)置串口調(diào)試工具，波特率設(shè)置為1500000，點(diǎn)擊連接，在Xshell調(diào)試終端會(huì)顯示連接成功。

（3）連接成功后，撥動(dòng)實(shí)驗(yàn)箱的電源開(kāi)關(guān)，將實(shí)驗(yàn)箱上電。

（4）系統(tǒng)啟動(dòng)成功后，輸入賬戶(hù)密碼登錄即可（賬密均為：tronlong）

（5）登錄成功后，查詢(xún)實(shí)驗(yàn)箱的網(wǎng)口地址。

拷貝文件

我們先打開(kāi)Ubuntu，將Demo文件夾拷貝到RK3568目錄下。

"Ctrl+Alt+T"打開(kāi)控制臺(tái)，執(zhí)行命令將文件拷貝至實(shí)驗(yàn)箱文件系統(tǒng)（根據(jù)實(shí)驗(yàn)箱實(shí)際IP地址修改命令）。

運(yùn)行程序

在串口調(diào)試窗口執(zhí)行命令，啟動(dòng)開(kāi)發(fā)環(huán)境

在網(wǎng)頁(yè)輸入地址，即可打開(kāi)登錄界面 （根據(jù)實(shí)際IP地址修改網(wǎng)頁(yè)地址）。

輸入密碼：tronlong，登錄。

在程序目錄，雙擊打開(kāi)程序，點(diǎn)擊重新運(yùn)行程序。

等待右上角的進(jìn)度餅圖變白，程序運(yùn)行完成。

在程序最下方，會(huì)顯示運(yùn)行結(jié)果。

實(shí)時(shí)顯示攝像頭采集的圖像信息。對(duì)采集的圖像進(jìn)??掌檢測(cè)。