描述

我們構(gòu)建了一個(gè)數(shù)字“魔杖”，可以揮動(dòng)它來(lái)鑄造各種字母。它以多維傳感器數(shù)據(jù)作為輸入數(shù)據(jù)，其輸出將是一個(gè)簡(jiǎn)單的分類(lèi)，以指示運(yùn)動(dòng)所屬的類(lèi)別。我們利用深度學(xué)習(xí)的魔力將普通的數(shù)字?jǐn)?shù)據(jù)轉(zhuǎn)化為有意義的信息！

魔杖通過(guò)點(diǎn)亮 LED 對(duì)每個(gè)咒語(yǔ)做出反應(yīng)。此外，它還會(huì)向其串口輸出信息，可以在終端上觀察到。

魔術(shù)從這里開(kāi)始！

序幕

手勢(shì)識(shí)別是計(jì)算機(jī)視覺(jué)中的一個(gè)主題，旨在通過(guò)數(shù)學(xué)算法解釋人類(lèi)手勢(shì)。手勢(shì)可以源自任何身體動(dòng)作或狀態(tài)，但通常源自面部或手部。

在計(jì)算機(jī)界面中，可以區(qū)分兩種類(lèi)型的手勢(shì)。我們首先考慮在線手勢(shì)，也可以將其視為縮放和旋轉(zhuǎn)等直接操作。相比之下，離線手勢(shì)通常在用戶(hù)與對(duì)象交互之后進(jìn)行處理。在這個(gè)項(xiàng)目中，我們專(zhuān)注于離線手勢(shì)。

我們的神奇模型

我們的手勢(shì)檢測(cè)模型是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，重量約為 20 KB，它接受原始加速度計(jì)值作為其輸入。每個(gè)值都是一個(gè) 32 位浮點(diǎn)數(shù)，表示該方向的加速度量。

該模型接受了由許多人執(zhí)行的四種手勢(shì)的訓(xùn)練。它輸出四個(gè)類(lèi)的概率分?jǐn)?shù)：一個(gè)代表每個(gè)手勢(shì)，如下圖所示。

三個(gè)可識(shí)別的手勢(shì)

魔法工廠

我們的魔法棒基于 Nano 33 BLE Sense（無(wú)接頭）的魔法工廠。Nano 33 BLE Sense（不帶接頭連接器）是 Arduino 的 3.3V 人工智能開(kāi)發(fā)板，具有最小的可用外形尺寸：45x18mm！

Nano 33 BLE Sense（無(wú)接頭）

魔術(shù)表演

我們基本上按照《Tinyml：在 Arduino 和超低功耗微控制器上使用 TensorFlow Lite 進(jìn)行機(jī)器學(xué)習(xí)》一書(shū)第 12 章和第 13 章中的過(guò)程構(gòu)建應(yīng)用程序。我們最終在 RHEL 7 平臺(tái)上實(shí)現(xiàn)了奇跡！

我們的實(shí)驗(yàn)是在配備主頻為 3.50GHz 和 32 GB 內(nèi)存的英特爾(R) 至強(qiáng)(R) CPU E3-1245 v5 的臺(tái)式機(jī)上執(zhí)行的。

結(jié)語(yǔ)

一個(gè)有趣的方向是嘗試使用閾值來(lái)使手勢(shì)更容易或更難執(zhí)行（以更多的誤報(bào)或漏報(bào)為代價(jià)）。我們還將玩不同手勢(shì)的模型，例如Squid Game系列中的“星形”、“圓形”、“三角形”甚至“傘形”！

?