描述

我們的目標：

我們使用微型嵌入式設(shè)備實現(xiàn)了嵌入式語音識別應(yīng)用程序，該設(shè)備可以將一秒鐘的語音作為輸入并對語音進行分類。不同種類的聲音由不同顏色的 LED 燈表示。該項目可用于許多現(xiàn)實世界的應(yīng)用程序，例如 Google Assistant、Apple 的 Siri 和 Amazon Alexa 等。

機器學習模型：

為了處理原始音頻數(shù)據(jù)，嵌入式設(shè)備的功能提供程序?qū)⒃家纛l數(shù)據(jù)轉(zhuǎn)換為頻譜圖，頻譜圖是由頻率信息切片組成的二維數(shù)組。二維張量的特征可以通過卷積神經(jīng)網(wǎng)絡(luò) (CNN) 完美提取。

CNN 模型在稱為語音命令數(shù)據(jù)集的數(shù)據(jù)集上進行了預訓練。這包括 65,000 條 30 個短詞的一秒長話語，在線眾包。

我們的方法：

1.輸入數(shù)據(jù)收集

該組件從麥克風捕獲原始音頻數(shù)據(jù)。為了驗證設(shè)備在不同情況下的功能，所有組成員的音頻都被用作輸入。

“是”和“否”特征的可視化。

“是”和“否”的 49x40 數(shù)據(jù)

?

2.設(shè)置TF Lite解釋器

在 Arduino IDE 中導入 micro_speech 庫。生成 C++ 代碼并自動設(shè)置 TensorFlow Lite 環(huán)境。在進行測試時，解釋器運行 TensorFlow Lite 模型，將輸入的頻譜圖轉(zhuǎn)換為一組概率，并選擇概率最高的一個作為輸出。

Sketch uses 145184 bytes (14%) of program storage space. Maximum is 983040 bytes.
Global variables use 76952 bytes (29%) of dynamic memory, leaving 185192 bytes for local variables. Maximum is 262144 bytes.
Device       : nRF52840-QIAA
Version      : Arduino Bootloader (SAM-BA extended) 2.0 [Arduino:IKXYZ]
Address      : 0x0
Pages        : 256
Page Size    : 4096 bytes
Total Size   : 1024KB
Planes       : 1
Lock Regions : 0
Locked       : none
Security     : false
Erase flash

Done in 0.000 seconds

3. 對開發(fā)板進行編程

將開發(fā)板連接到筆記本電腦并將代碼上傳到 Arduino 開發(fā)板。

Write 145192 bytes to flash (36 pages)
[                              ] 0% (0/36 pages)
[=                             ] 5% (2/36 pages)
[==                            ] 8% (3/36 pages)
[===                           ] 11% (4/36 pages)
...
[===========================   ] 91% (33/36 pages)
[============================  ] 94% (34/36 pages)
[============================= ] 97% (35/36 pages)
[==============================] 100% (36/36 pages)
Done in 5.652 seconds

4.測試功能

使用設(shè)備上的 LED 對不同的音頻類型進行分類（綠色：是，紅色：否，藍色：未知）。如果聽到命令，命令響應(yīng)器會使用設(shè)備的輸出功能讓我們知道。然后我們用“是”和“否”測試幾次，板上的燈顯示它有效。由于該模型仍然有點幼稚，因此會重復多次測試以確保其運行良好。

“否”的測試用例：

'是'的測試用例：

“Don Don Don”的測試用例（預期用于“Unkown”）：

?