近期，知名學(xué)術(shù)期刊《Nature》（《自然》）旗下專注于傳感器研究領(lǐng)域的子刊《Nature Sensors》，刊發(fā)了創(chuàng)刊以來的第一篇論文。

《Nature Sensors》是今年4月份，Nature新設(shè)立的子刊，將于2026年正式上線，《Nature Sensors》的創(chuàng)刊對全球傳感器領(lǐng)域科研有重要的風(fēng)向標(biāo)意義?！禢ature Sensors》聚焦于傳感器技術(shù)的各個(gè)關(guān)鍵層面，廣泛涵蓋生物、計(jì)算、工程和系統(tǒng)等多個(gè)領(lǐng)域的研究。從新型傳感器材料與裝置的研發(fā)，到傳感器系統(tǒng)的設(shè)計(jì)、集成以及廣泛應(yīng)用，都是期刊重點(diǎn)關(guān)注的范疇。


該論文題為“A noise-tolerant human–machine interface based on deep learning-enhanced wearable sensors”，由多位中國青年學(xué)者聯(lián)合撰寫。

該論文原文可在文末【閱讀原文】查看。

在當(dāng)下從虛擬現(xiàn)實(shí)到智能機(jī)器人不斷加速演進(jìn)的時(shí)代，人機(jī)接口早已不再滿足于“能識別”，而是要做到“隨時(shí)隨地、任意姿態(tài)都能識別”。然而現(xiàn)實(shí)世界并不溫柔：IMU 傳感器對任何震動、擺臂、姿態(tài)變化都高度敏感，噪聲的頻率和幅度往往與手勢本身重疊，讓動作信號在真實(shí)環(huán)境中如同“淹沒于海嘯之中”。

傳統(tǒng)的硬件穩(wěn)固、濾波算法或多傳感器補(bǔ)償都有局限，尤其是在跑步、騎行、震動或水下環(huán)境中，要從偽影中“挖出真正的手勢”幾乎是不可能任務(wù)。這種挑戰(zhàn)使得當(dāng)前很多人機(jī)界面都還停留在實(shí)驗(yàn)室條件，難以走入真實(shí)場景。

在此，美國加州大學(xué)圣地亞哥分校的徐升教授團(tuán)隊(duì)聯(lián)合Joseph Wang教授用一種深度學(xué)習(xí)增強(qiáng)的可穿戴傳感器系統(tǒng)，讓這個(gè)不可能任務(wù)出現(xiàn)了突破。他們開發(fā)出一種深度學(xué)習(xí)增強(qiáng)的可穿戴人機(jī)接口系統(tǒng)，通過 IMU + EMG 多模態(tài)采集、復(fù)合數(shù)據(jù)集訓(xùn)練、卷積神經(jīng)網(wǎng)絡(luò)識別，以及可拉伸可穿戴的集成設(shè)計(jì)，實(shí)現(xiàn)了在跑步、震動、姿態(tài)變化甚至海浪干擾中依然保持高精度、實(shí)時(shí)手勢識別。


更令人驚喜的是，它不僅能穩(wěn)定識別動作，還能精確控制機(jī)械臂完成抓取、倒液等操作，仿佛為人機(jī)界面裝上了“抗噪聲盔甲”和“智能大腦”。這項(xiàng)技術(shù)讓未來的 VR 操作、戶外人機(jī)交互甚至水下機(jī)器人控制都看到了全新可能。

相關(guān)成果以“A noise-tolerant human–machine interface based on deep learning-enhanced wearable sensors”為題發(fā)表在《NatureSensors》上，UCSD 博士后研究員陳相君Xiangjun Chen、樓之源Zhiyuan Lou（UCSD 碩士畢業(yè)生，現(xiàn)英國帝國理工學(xué)院博士研究生）、郜曉翔Xiaoxiang Gao博士（現(xiàn)東南大學(xué)青年首席教授）和尹鹿Lu Yin博士（UCSD 博士畢業(yè)生，現(xiàn) Persperion Diagnostics 公司 CEO）是共同第一作者，徐升教授和 Joseph Wang 教授擔(dān)任共同通訊作者。

?

高度集成、可穿戴、可拉伸的人機(jī)界面系統(tǒng)


在系統(tǒng)的硬件設(shè)計(jì)中，作者把一個(gè)完整的動作識別與無線通信平臺壓縮到只有1.8 × 4.5 cm2、厚度 2 mm 的小巧貼膚設(shè)備中（圖1a）。它像一片輕薄的電子貼片，卻包含了六通道 IMU、肌電（EMG）模塊、藍(lán)牙MCU 以及一顆可拉伸 Zn/Ag?O電池。

IMU 捕捉加速度與角速度，EMG 負(fù)責(zé)識別抓握動作，而藍(lán)牙模塊則將處理后的信號實(shí)時(shí)發(fā)往后臺控制端。整個(gè)電路采用多層結(jié)構(gòu)堆疊（圖1b），柔軟基底與蛇形互連共同保證器件能承受超過 20% 的拉伸而不失效。

同時(shí)，為了確保長期穩(wěn)定工作，研究者自制了一顆耐彎折、可拉伸且循環(huán)性能穩(wěn)定的電池，它在彎折、拉伸條件下仍能保持約 25mAh的容量（圖1c）。無線通信方面，藍(lán)牙信號在 20 米內(nèi)穩(wěn)定傳輸（圖1d），而在連續(xù)運(yùn)行 30 分鐘后，設(shè)備表面溫度也僅維持在 27.7°C（圖1e），佩戴安全無虞。

? 圖1：系統(tǒng)整體結(jié)構(gòu)與性能 ? 真實(shí)世界的“混亂數(shù)據(jù)”，讓模型學(xué)會在噪聲中識別動作


為了讓系統(tǒng)學(xué)會在復(fù)雜環(huán)境中識別動作，研究團(tuán)隊(duì)沒有只采集理想條件下的手勢，而是構(gòu)建了一個(gè)包含“噪聲真實(shí)面貌”的數(shù)據(jù)集（圖2a）。首先，他們采集了 19種基本前臂動作的 IMU 信號，每個(gè)動作僅持續(xù)約 1 秒。隨后，他們加入海量真實(shí)偽影：例如在姿態(tài)變化時(shí)，引力分量變化造成的基線漂移（圖2b）；在高頻振動中，按摩槍產(chǎn)生的劇烈擾動（圖2c）；以及跑步過程中手臂自然擺動疊加身體震動的復(fù)合擾動（圖2d）。

這些擾動不僅幅度大，還在頻率、波形上與手勢信號高度重疊，正是現(xiàn)實(shí)中 IMU最難處理的部分。與此同時(shí)，EMG 信號被用來區(qū)分抓握與松開（圖2e），即便在跑步或振動中其信噪比顯著下降，但仍保留著獨(dú)特的肌肉激活結(jié)構(gòu)。

? 圖2：19?種動作的 IMU 信號及三類典型噪聲 ?


卷積神經(jīng)網(wǎng)絡(luò)讓動作“脫離噪聲”，遷移學(xué)習(xí)讓新用戶即刻上手


在這樣復(fù)雜的數(shù)據(jù)條件下，研究者構(gòu)建了一個(gè)結(jié)構(gòu)優(yōu)化的一維卷積神經(jīng)網(wǎng)絡(luò)（CNN），對 IMU 六通道信號進(jìn)行融合與分層特征提取（圖3c）。與全連接網(wǎng)絡(luò)與循環(huán)網(wǎng)絡(luò)相比，CNN 在召回率、精度、F1 值等指標(biāo)上全面勝出（圖3b），顯示它對復(fù)雜噪聲具有更強(qiáng)的特征分離能力。模型訓(xùn)練采用了復(fù)合數(shù)據(jù)集，即把手勢信號與不同階段的跑步、振動、姿態(tài)變化噪聲疊加在一起，使模型學(xué)會在最混亂的情況下捕捉手勢的穩(wěn)定特征。


考慮到不同人的手勢幅度與噪聲模式可能差異巨大，研究團(tuán)隊(duì)還引入了參數(shù)級遷移學(xué)習(xí)，讓系統(tǒng)具有“面向個(gè)人快速適配”的能力（圖3d）。模型先在五個(gè)人的大規(guī)模數(shù)據(jù)集上預(yù)訓(xùn)練，而面對新用戶時(shí)，只需要每個(gè)動作提供 2 條信號（坐著一條、躺著一條），模型就能在極少數(shù)據(jù)下迅速調(diào)整參數(shù)，使識別準(zhǔn)確率從 51% 一舉提升到 92%（圖3e）。

為了實(shí)現(xiàn)實(shí)時(shí)識別，他們還加入滑動窗口機(jī)制（圖3f），每隔 0.25 秒基于 1 秒窗口進(jìn)行一次預(yù)測，使系統(tǒng)在動作連續(xù)變化中也能平穩(wěn)輸出，不會出現(xiàn)“動作斷點(diǎn)”。

? 圖3：卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)、遷移學(xué)習(xí)流程、不同模型對比、混淆矩陣與滑動窗口機(jī)制 ?


跑步、高頻振動、姿態(tài)變化下仍可穩(wěn)定操控機(jī)械臂

系統(tǒng)的最終檢驗(yàn)來自真實(shí)任務(wù)：控制機(jī)械臂執(zhí)行動作（圖4a）。在傳統(tǒng) IMU 系統(tǒng)中，跑步或高頻振動會讓加速度與角速度信號劇烈跳動，幾乎無法提取有效手勢指令；但在深度學(xué)習(xí)處理后，這些噪聲被模型“消化”掉，最終輸出的手勢分類依舊清晰穩(wěn)定。研究者在跑步機(jī)上邊跑邊操作，機(jī)械臂依然能夠平穩(wěn)執(zhí)行取液并倒入燒杯的動作（圖4b），沒有因?yàn)樵肼暥霈F(xiàn)抖動或動作錯(cuò)誤。

更難能可貴的是，不論用戶是在高頻振動下、姿態(tài)變換中，還是在“跑步 + 振動”的極端組合場景下，系統(tǒng)仍能連續(xù)識別動作并驅(qū)動機(jī)械臂無縫操作。結(jié)合 EMG 判斷抓取動作后，機(jī)械手甚至能在噪聲干擾下實(shí)現(xiàn)精準(zhǔn)的抓取與松開。這標(biāo)志著該系統(tǒng)從單純的“動作識別”真正跨越到“任務(wù)控制”，具備進(jìn)入現(xiàn)實(shí)世界的穩(wěn)定性。

? 圖4：在跑步、高頻振動等干擾下實(shí)時(shí)控制機(jī)械臂執(zhí)行抓取與倒液動作 ?

即使在海浪的周期干擾中，也能準(zhǔn)確識別動作


為了挑戰(zhàn)極端環(huán)境，研究者將設(shè)備放入海氣模擬器中，模擬不同波長、不同波高的海浪擾動（圖5a,b）。海浪的周期性與不規(guī)則疊加會讓 IMU 輸出產(chǎn)生極其復(fù)雜的“海浪噪聲”，這是 IMU 信號處理中最棘手的干擾之一。

但在深度學(xué)習(xí)模型訓(xùn)練后，系統(tǒng)能夠從“海浪 + 手勢”的疊加信號中依然分離出動作特征，實(shí)現(xiàn)穩(wěn)定高精度識別（圖5c）。令人意外的是，在海水環(huán)境中，EMG 電極與皮膚的界面阻抗更低，反而提升了抓握信號的穩(wěn)定性。

這意味著未來潛水員可以在海浪起伏的環(huán)境中，通過簡單的手勢操控水下機(jī)器人進(jìn)行探測、采樣、打撈等任務(wù)，為海洋工程開辟新的操作方式。

? 圖5：海浪環(huán)境下的 IMU 信號采集與模擬海波干擾下的動作識別表現(xiàn) ? 小結(jié)
這項(xiàng)研究以系統(tǒng)級設(shè)計(jì)解決了可穿戴動作識別的核心瓶頸——對復(fù)雜動態(tài)噪聲的高度敏感性。從硬件的柔性集成，到真實(shí)噪聲采樣構(gòu)建的復(fù)合數(shù)據(jù)集，再到遷移學(xué)習(xí)加持的卷積神經(jīng)網(wǎng)絡(luò)，最終實(shí)現(xiàn)了在跑步、震動、姿態(tài)變化與海浪干擾下依然可靠的實(shí)時(shí)識別與動作控制。

未來，通過更短窗口、更復(fù)雜動作、多模態(tài)融合以及更強(qiáng)的水下通信能力，這種抗噪聲、高魯棒性的可穿戴人機(jī)接口有望成為智能可穿戴設(shè)備、軟體機(jī)器人、VR 手勢控制、醫(yī)療康復(fù)乃至水下機(jī)器人操控的關(guān)鍵技術(shù)基礎(chǔ)。

本文部分資料來自：

高分子科學(xué)前沿《Nature新子刊，創(chuàng)刊論文出爐，中國青年學(xué)者聯(lián)手打造！》

DeepTech深科技 《告別靜態(tài)操控：新型AI可穿戴貼片，可在運(yùn)動中精準(zhǔn)識別手勢控制機(jī)械臂》