說(shuō)話過(guò)程中的喉部運(yùn)動(dòng)為信息傳輸提供了一條有前途的途徑，但聲帶和周圍肌肉的復(fù)雜動(dòng)態(tài)會(huì)在喉嚨中產(chǎn)生復(fù)雜的信號(hào)，這給傳感器的最佳放置以獲取信號(hào)帶來(lái)了挑戰(zhàn)。本文，深圳大學(xué)刁東風(fēng)院士團(tuán)隊(duì)在《Carbon》期刊發(fā)表名為“Throat map of speech recognition achieved by flexible ultrasensitive carbon array sensors with deep learning”的論文，研究提出一種“喉部地圖”，利用柔性碳陣列傳感器和基于深度學(xué)習(xí)的信號(hào)處理方法，以確定高精度語(yǔ)音識(shí)別所需的傳感器最佳放置坐標(biāo)。在傳感器制備過(guò)程中，通過(guò)電子回旋共振法沉積石墨烯納米晶碳膜作為傳感單元，隨后將其轉(zhuǎn)移至聚二甲基硅氧烷（PDMS）基底并集成可拉伸電路。該傳感器在2×2 cm2的區(qū)域內(nèi)包含16個(gè)傳感單元，實(shí)現(xiàn)超高的靈敏度系數(shù)（>1000）和10000 Hz的頻率響應(yīng)極限。 在信號(hào)處理方面，我們首次提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)算法的信號(hào)-位置分類方法。該方法可可視化以喉結(jié)為中心的坐標(biāo)信息并構(gòu)建喉部地圖，從而識(shí)別產(chǎn)生最獨(dú)特且一致信號(hào)的位置。借助喉部地圖，選定的傳感單元通過(guò)深度學(xué)習(xí)模型對(duì)14個(gè)音素的分類準(zhǔn)確率超過(guò)96%。該喉部地圖可作為語(yǔ)音及喉部語(yǔ)言識(shí)別應(yīng)用中傳感器布局的指導(dǎo)依據(jù)。

2圖文導(dǎo)讀

圖1.“喉嚨圖”研究的總體圖。

圖2.超靈敏陣列傳感器的表征。

圖3.語(yǔ)音識(shí)別的喉嚨圖。

圖4.用于語(yǔ)音識(shí)別的喉嚨圖驗(yàn)證。

3小結(jié)

我們提出了一種構(gòu)建“喉部地圖”的方法，通過(guò)檢測(cè)喉部運(yùn)動(dòng)信號(hào)來(lái)提升音素信息的識(shí)別能力。該方法基于兩項(xiàng)關(guān)鍵技術(shù)突破：一種可行的制備柔性超敏感碳陣列傳感器技術(shù)，用于在狹窄的喉部區(qū)域捕捉多點(diǎn)細(xì)微喉部運(yùn)動(dòng)信號(hào)；以及一種基于深度學(xué)習(xí)的SPC方法，通過(guò)位置權(quán)重累積來(lái)創(chuàng)建喉部地圖。碳陣列傳感器在2×2 cm2的面積內(nèi)擁有16個(gè)傳感單元，具有高靈敏度系數(shù)（>1000）和高達(dá)10000 Hz的高頻響應(yīng)極限。喉部地圖的構(gòu)建提供了在喉部區(qū)域布置傳感單元的坐標(biāo)信息，以實(shí)現(xiàn)音素識(shí)別。通過(guò)使用5個(gè)傳感單元，該方法在14個(gè)音素識(shí)別中實(shí)現(xiàn)了超過(guò)96%的高準(zhǔn)確率。本文提出喉部地圖構(gòu)建方法為多傳感器單元在運(yùn)動(dòng)識(shí)別中的位置布局提供了高效解決方案。

文獻(xiàn)：

https://doi.org/10.1016/j.carbon.2025.120720

審核編輯 黃宇