背景介紹

憑借軟柔性/可拉伸傳感器和商用剛性但小型化的高性能設(shè)備組件的共同優(yōu)勢，柔性混合電子設(shè)備可以為健康監(jiān)測、人機界面和機器人提供完全集成的設(shè)備系統(tǒng)。在健康監(jiān)測中，多模態(tài)傳感對于表征生理和心理健康至關(guān)重要。鑒于現(xiàn)代社會壓力水平的上升，實時情緒監(jiān)測對于早期發(fā)現(xiàn)和及時干預抑郁、焦慮或恐慌發(fā)作等心理問題變得越來越重要。雖然面部表情可以提供一些關(guān)于潛在情緒的見解，但僅依賴于面部表情的指標往往會導致不準確的分類和檢測，因為許多人可能由于個體差異和社會因素而無法明顯表達自己的感受。因此，將面部表情分析與其他生理參數(shù)相結(jié)合，對于全面理解和提高預測精度至關(guān)重要。

從皮膚溫度、濕度、心率和SpO2水平的變化中可以獲得對情緒狀態(tài)的寶貴見解。例如，當一個人感到驚訝或憤怒時，皮膚溫度會升高，而在快樂、恐懼或悲傷時則會降低。通過主要反映出汗水平，皮膚濕度在出汗引起的恐懼期間會上升。心率通常會隨著快樂、驚訝、恐懼或憤怒等情緒而增加，而悲傷通常會導致心率下降。對于厭惡，溫度、濕度和心率反應可能因所經(jīng)歷的特定厭惡類型而異。同時，監(jiān)測SpO2水平是有價值的，因為引發(fā)恐慌發(fā)作的情緒可能會導致與SpO2水平下降相關(guān)的呼吸困難等癥狀。因此，通過將生理信號與面部表情相結(jié)合的多維數(shù)據(jù)，可以更準確地識別情緒。

盡管柔性傳感器已被廣泛報道用于實時跟蹤應變、溫度、濕度、心率和血氧，但在沒有串擾的情況下同時高精度檢測這些信號仍然具有挑戰(zhàn)性。最小化耦合的努力始于直觀的策略。例如，通常用于增強可拉伸性的蛇形等可拉伸結(jié)構(gòu)可以自然地減輕應變效應。將具有正溫度系數(shù)和負溫度系數(shù)的材料結(jié)合起來可以實現(xiàn)溫度不敏感，而透氣或封裝傳感器可以降低對濕度的敏感性。另一方面，基于多孔離子膜的濕度傳感器在一定溫度范圍內(nèi)表現(xiàn)出離子遷移穩(wěn)定性，多孔結(jié)構(gòu)在壓力下抵抗顯著變形。因此，它們可以在廣泛的溫度和壓力范圍內(nèi)保持穩(wěn)定的性能。盡管取得了這些進步，但現(xiàn)有的研究大多集中在測量兩個輸入信號的單個傳感器上。因此，迫切需要開發(fā)能夠有效解耦兩個以上信號的先進傳感器，以精確可靠地感知情緒識別。

本文亮點

1. 本工作介紹了一種完全集成的可拉伸、可充電、多模式混合設(shè)備，該設(shè)備將解耦的傳感器與靈活的無線供電和傳輸模塊相結(jié)合，用于情感識別。

2. 通過優(yōu)化的結(jié)構(gòu)設(shè)計和材料選擇，傳感器可以提供雙軸應變、溫度、濕度、心率和SpO2水平的連續(xù)實時解耦監(jiān)測。通過傳感器和柔性電路的堆疊雙層，可充電系統(tǒng)展示了減少的設(shè)備占地面積和提高的舒適度。

3. 神經(jīng)網(wǎng)絡(luò)模型也被證明可以實現(xiàn)高精度的面部表情識別。通過將實時測量數(shù)據(jù)傳輸?shù)揭苿釉O(shè)備和云端，該系統(tǒng)可以讓醫(yī)療保健專業(yè)人員評估心理健康，并在需要時通過遠程醫(yī)療提供情感支持。

圖文解析

圖1.（a） 可充電可拉伸混合無線傳感設(shè)備系統(tǒng)的分解圖，其中（b）以多層布局排列的內(nèi)部制造傳感器的布局信息。（c） 集成傳感裝置系統(tǒng)在機械變形（如20%拉伸（左）、150°彎曲（中）和60°扭曲（右））下的有限元分析（FEA，上圖）和照片（下圖）之間的比較。（d） 顯示設(shè)備組件和數(shù)據(jù)流的示意圖。（e） 多模態(tài)生理傳感裝置系統(tǒng)與神經(jīng)網(wǎng)絡(luò)分析相結(jié)合在情緒監(jiān)測和分析中的應用。

圖2.（a） X軸應變傳感器的歸一化相對變化，作為（i）X軸拉伸應變、（ii）溫度和（iii）濕度的函數(shù)。（b） Y軸應變傳感器的歸一化相對變化，作為（i）Y軸拉伸應變、（ii）溫度和（iii）濕度的函數(shù)。（c） 溫度傳感器的歸一化相對變化，作為（i）溫度、（ii）濕度和（iii）應變的函數(shù)。（d） 濕度傳感器的歸一化相對變化，作為（i）濕度、（ii）溫度和（iii）應變的函數(shù)。

圖3. （a） （i）光學圖像，（ii）示意圖，以及（iii）傳感器的橫截面SEM圖像。（b） （c）（i）在水蒸氣密度為0.7626kg/m3的環(huán)境中傳感器的濕度分布和（ii）碳納米管的SEM和孔隙率分析圖像。（d） 傳感器蛇形電極中的應變分布（i）在20%X軸拉伸下沒有PET應變隔離，（ii）在等效拉伸應力下有PET應變隔離；以及（iii）蛇形電極的SEM圖像（沒有PET引起的裂紋）。（e） 應變傳感器在沿（i）X和（ii）Y方向拉伸時的應變分布，其中（iii）SEM圖像顯示了裂紋模式隨拉伸應變的演變：5%（左）、40%（中）和80%（右）。

圖4. （a） 用于訓練和分類不同面部表情的機器學習算法的示意流程圖。（b） （i）損失和（ii）訓練（藍色）和驗證（紅色）集在訓練過程的100次迭代/迭代中的準確率。（c） 100次迭代后情緒識別的混淆矩陣。（d） 六種面部表情沿（i）X和（ii）Y方向的代表性應變測量值，標記為1至6表示快樂、驚訝、恐懼、悲傷、憤怒和厭惡，以及相應的（e）K-means聚類圖。（i）溫度和（ii）濕度傳感器在（f）靜止/運動狀態(tài)和（g）不同情緒下的響應變化。

圖5. （a） 連接到不同身體部位的集成混合動力裝置系統(tǒng)的照片。（b） 在休息和間歇性屏氣狀態(tài)下從不同身體部位獲得的SpO2數(shù)據(jù)。（ii）在休息/運動狀態(tài)下從面部獲得的心率變化，以及（iii）在不同情緒狀態(tài)下的心率變化。（c） （i）網(wǎng)絡(luò)和（ii）基于移動的云監(jiān)控界面。

審核編輯 黃宇