ISM330IS，這是第一款配備智能傳感器處理單元 （ISPU） 的傳感器。意法半導(dǎo)體于2022年初宣布了該技術(shù)，其演示具有高度的象征意義，因為它證明了該技術(shù)即將推出。簡而言之，ISPU 是一種 C 可編程嵌入式數(shù)字信號處理器 （DSP），能夠運行機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法。因此，這是AI在邊緣的下一次演變，或者意法半導(dǎo)體所說的“Onlife時代”。事實上，ISM330IS包括一個用于單位精度計算的浮點單元，這在運動傳感器中尚屬首次。

從創(chuàng)意到新一代傳感器

意法半導(dǎo)體克服了哪些挑戰(zhàn)？

回顧過去四年的重大創(chuàng)新以了解我們是如何走到這一步的，這一點至關(guān)重要。它始于意法半導(dǎo)體發(fā)表的一篇論文，研究慣性傳感器內(nèi)部機(jī)器學(xué)習(xí)內(nèi)核的可行性。在這項研究之前，傳感器只收集數(shù)據(jù)。因此，所有計算都必須在微控制器上進(jìn)行。這個系統(tǒng)背后的原因相對簡單。慣性傳感器是小型低功耗器件。添加功能強(qiáng)大的處理器不僅會違反這些限制，還會帶來重大的集成和制造挑戰(zhàn)。然而，盡管將DSP和加速度計與陀螺儀結(jié)合在一起，意法半導(dǎo)體并沒有損害處理能力、存儲器存儲或檢測精度。

第一個具有機(jī)器學(xué)習(xí)核心的傳感器完成了什么？

2018年意法半導(dǎo)體的論文具有開創(chuàng)性，因為它解決了這些挑戰(zhàn)，推廣了后來被稱為LSM6DSOX的東西，這是有史以來第一個并行容納八個決策樹以運行機(jī)器學(xué)習(xí)算法的慣性傳感器。因此，可以以一小部分功耗在本地運行應(yīng)用程序。新的應(yīng)用程序開始出現(xiàn)，特別是在將設(shè)備集成到SensorTile.box之后。例如，可以為留在車內(nèi)的嬰兒創(chuàng)建一個嬰兒哭聲探測器。同樣，倫敦大學(xué)學(xué)院的兩個項目通過自動化坐立測試并創(chuàng)建更易于使用的數(shù)字聽診器而掀起了波瀾。

還有哪些傳感器具有機(jī)器學(xué)習(xí)核心？

Unico GUI 和機(jī)器學(xué)習(xí)應(yīng)用程序

LSM6DSOX也是一個新的開發(fā)者社區(qū)的開始。意法半導(dǎo)體在GitHub上提供了一個機(jī)器學(xué)習(xí)核心存儲庫，使Unico GUI軟件工具更易于訪問，以幫助程序員利用LSM6DSOX中的機(jī)器學(xué)習(xí)核心。此外，我們還發(fā)布了更強(qiáng)大的傳感器。LSM6DSRX具有更好的性能，可以針對虛擬現(xiàn)實耳機(jī)等要求更高的應(yīng)用。我們還推出了 LSM6DSV16X，它具有增強(qiáng)的機(jī)器學(xué)習(xí)內(nèi)核和更好的每瓦性能比，適用于功率限制更嚴(yán)格的系統(tǒng)。因此，意法半導(dǎo)體的傳感器采用機(jī)器學(xué)習(xí)核心，部分促成了下一個自動化時代的到來，而ISM330IS開啟了這一傳奇的重要新篇章。

從新的處理核心到新的應(yīng)用

ISPU 是由什么組成的？

ISM330IS的細(xì)分

ISM330IS的ISPU為數(shù)據(jù)提供8 KB的RAM，為應(yīng)用提供32 KB的RAM。它還具有運行在 32 MHz 的 10 位 RISC Harvard 架構(gòu)、一個四級流水線、一個浮點單元和一組針對神經(jīng)網(wǎng)絡(luò)處理優(yōu)化的 16 位長度指令。此外，雖然處理器只能在四個時鐘周期內(nèi)拋出中斷（Arm Cortex內(nèi)核通常在15個周期內(nèi)完成），但它也可以在一個周期內(nèi)處理16位乘法。它使用 SPI 或 I2C 與主機(jī) MCU 通信。開發(fā)人員只需在啟動時從主機(jī)處理器將 C 代碼加載到 ISPU 的易失性存儲器中。

FPU 使應(yīng)用程序能夠以更大的靈活性在邊緣運行推理。一旦滿足條件，程序就會向微控制器發(fā)出中斷。同樣，與上一代設(shè)備相比，該架構(gòu)使ISPU能夠提高性能，同時仍以微瓦級運行。因此，與以前的機(jī)器學(xué)習(xí)核心的決策樹和更高效的系統(tǒng)相比，這是一個重大的飛躍。此外，盡管存在強(qiáng)大的計算能力，ISM330IS仍然適合市場標(biāo)準(zhǔn)的LGA封裝，尺寸為3 mm x 2.5 mm x 0.83 mm。因此，設(shè)計人員不必在采用新部件時對PCB進(jìn)行重大更改。

ISM330IS如何脫穎而出？

機(jī)器學(xué)習(xí)應(yīng)用程序越來越普遍，許多人將它們與高內(nèi)存需求、云計算服務(wù)器或高度并行的 GPU 架構(gòu)相關(guān)聯(lián)。許多程序確實需要昂貴的計算操作，這使得它們與邊緣處理不兼容。然而，公司也知道并非所有深度學(xué)習(xí)系統(tǒng)都需要這種能力。因此，在智能手機(jī)等移動設(shè)備或本地工業(yè)裝置上運行推理正在獲得牽引力。圖像識別、異常檢測和預(yù)測性維護(hù)都需要在緊湊的功率范圍內(nèi)實現(xiàn)可靠的 AI 性能。同樣，無線家庭安全系統(tǒng)的攝像頭使用人工智能來識別人臉或?qū)櫸?，ISPU可以為移動系統(tǒng)上的常亮顯示器提供智能。

ISM330IS是應(yīng)對這一挑戰(zhàn)的新答案，因為它在高性能模式下只需要0.59 mA。相比之下，ISM330DHCX在類似條件下需要高達(dá)1.5 mA的電流。后者具有更強(qiáng)大的陀螺儀，除其他外，這確實部分解釋了差異。但是，這些數(shù)字還顯示了新設(shè)備中的優(yōu)化和處理核心的效率。事實上，低功耗微控制器很少有FPU，因為它們通常需要大量能量。然而，ISM330IS仍然設(shè)法保持其功耗足夠低，以適應(yīng)電池供電的系統(tǒng)。

審核編輯：郭婷