遠(yuǎn)程邊緣 AI 應(yīng)用程序依賴(lài)于嵌入式硬件設(shè)備的大小，這些硬件設(shè)備具有在源頭處理邊緣數(shù)據(jù)的所有計(jì)算能力和能力。大型嵌入式 AI 加速器在空間受限的系統(tǒng)中面臨多項(xiàng)挑戰(zhàn)，例如突兀和隱蔽。

在題為“用于智能邊緣監(jiān)控的毫米級(jí)超低功耗成像系統(tǒng)”的文章中，研究人員開(kāi)發(fā)了一種具有深度學(xué)習(xí)和圖像處理能力的微型毫米級(jí)成像系統(tǒng)，適用于邊緣應(yīng)用，尤其是家庭監(jiān)控場(chǎng)景。該系統(tǒng)使用垂直堆疊的超低功耗 IC，并采用動(dòng)態(tài)行為特定的電源管理、分層事件檢測(cè)和數(shù)據(jù)壓縮方法的組合。

對(duì)于毫米級(jí)系統(tǒng)，設(shè)計(jì)方法面臨技術(shù)挑戰(zhàn)，例如設(shè)計(jì)高度受限的系統(tǒng)、能量預(yù)算和峰值功率的限制、有限的數(shù)據(jù)存儲(chǔ)、昂貴的無(wú)線(xiàn)通信、毫米級(jí)鏡頭的非理想性以及超低-電源前端。

從毫米級(jí)尺寸系統(tǒng)開(kāi)始，該設(shè)計(jì)需要集成超低功耗 IC 并對(duì)其進(jìn)行組裝以減少占用空間。為了為毫米級(jí)系統(tǒng)供電，設(shè)計(jì)單元需要一個(gè)小型電池來(lái)支持電源要求。由于空間受限的系統(tǒng)，成像系統(tǒng)將具有有限數(shù)量的片上和片外可用存儲(chǔ)器，這限制了圖像數(shù)據(jù)的存儲(chǔ)和算法的復(fù)雜性。

針對(duì)這些毫米級(jí)成像系統(tǒng)設(shè)計(jì)中的技術(shù)難點(diǎn)，團(tuán)隊(duì)借鑒了現(xiàn)有在低功耗圖像傳感器、超低功耗處理器和混合信號(hào)視覺(jué)集成電路、低功耗無(wú)線(xiàn)通信、高效的神經(jīng)網(wǎng)絡(luò)加速器，優(yōu)化邊緣計(jì)算應(yīng)用的機(jī)器學(xué)習(xí)算法。

現(xiàn)有研究的局限性包括排除邊緣計(jì)算或不滿(mǎn)足面積和功率需求。該研究論文提出完全集成的毫米級(jí)成像系統(tǒng)是“同類(lèi)中的第一個(gè)”。

圖：成像系統(tǒng)橫截面

一種具有邊緣智能的新型毫米級(jí)成像系統(tǒng)

該系統(tǒng)尺寸僅為 6.7×7×5mm，重量?jī)H為 460mg，采用垂直堆疊設(shè)計(jì)的 150μm 超低功耗集成電路。垂直堆疊的方法允許在更小的占位面積內(nèi)互連更多的集成電路。這與傳統(tǒng)的平面 2D 芯片到芯片連接相比。

該系統(tǒng)由一個(gè)基礎(chǔ)層組成，將多個(gè)功能硬件設(shè)備集成到單個(gè) IC 芯片上，例如主控制器、電源管理單元和無(wú)線(xiàn)電 IC。毫米級(jí)成像系統(tǒng)的核心是帶有 16kB SRAM 的 Arm Cortex-M0 處理器內(nèi)核。電源管理單元從單個(gè)電池源生成多個(gè)電壓域，以在負(fù)載下保持高轉(zhuǎn)換效率。

下一個(gè)重要層是超低功耗圖像傳感器和圖像信號(hào)處理。圖像傳感器層支持運(yùn)動(dòng)觸發(fā)的 12 位 VGA 圖像捕獲和對(duì)子采樣像素幀的近像素運(yùn)動(dòng)檢測(cè)，最大速率為每秒 170 幀，而圖像信號(hào)處理執(zhí)行動(dòng)態(tài) JPEG（解）壓縮、光學(xué)黑色像素校準(zhǔn)、去拜耳、RGB 到 YUV 轉(zhuǎn)換和場(chǎng)景變化檢測(cè)。神經(jīng)引擎提供 1.5 TOPs/W 的性能，支持基于深度神經(jīng)網(wǎng)絡(luò)的幀分析。另一層包括超低泄漏閃存、能量收集器、太陽(yáng)能電池、可充電鋰電池和聚四氟乙烯 （PTFE） 管。

系統(tǒng)集成采用兩塊4層10×10×0.8mm PCB，正面用于引線(xiàn)鍵合，無(wú)源元件和太陽(yáng)能電池層置于背面。此類(lèi)毫米級(jí)系統(tǒng)的代碼開(kāi)發(fā)具有挑戰(zhàn)性，因此該團(tuán)隊(duì)在外緣上包括了城堡形通孔以暴露內(nèi)部信號(hào)。

圖：（從左到右）堆疊 IC、被測(cè)封裝系統(tǒng)、PCB 背面、獨(dú)立毫米級(jí)成像系統(tǒng)

對(duì)毫米級(jí)成像系統(tǒng)的修改

由于始終在線(xiàn)的圖像傳感器執(zhí)行基于 DNN 的分析會(huì)產(chǎn)生巨大的功耗，因此電源管理是能量最小化技術(shù)的關(guān)鍵要素。該過(guò)程需要計(jì)算能量和存儲(chǔ)在芯片內(nèi)外的數(shù)兆字節(jié) DNN 參數(shù)。

動(dòng)態(tài)節(jié)能模式（如閃存 IC）在運(yùn)動(dòng)監(jiān)控、圖像捕捉和基于 DNN 的場(chǎng)景分析期間設(shè)置為睡眠模式，僅消耗 0.003μW。電源管理單元針對(duì)每個(gè)節(jié)點(diǎn)進(jìn)行調(diào)整，通過(guò)修改電流消耗、頻率控制和上/下轉(zhuǎn)換比來(lái)最大化動(dòng)態(tài)負(fù)載的效率。另一方面，分層事件檢測(cè) （HED） 算法用于刪除不相關(guān)的事件，否則這些事件會(huì)消耗能量，特別是在卸載數(shù)據(jù)而未確定其對(duì)應(yīng)用程序的價(jià)值時(shí)。

結(jié)合權(quán)重剪枝、非均勻量化、卷積層量化權(quán)重的霍夫曼編碼和其他幾種方法，DNN 的壓縮率最高可達(dá) 1.5 位/權(quán)重。對(duì)于圖像壓縮，結(jié)合使用 JPEG 和 H.264 壓縮方法來(lái)減少數(shù)據(jù)占用空間并最大限度地降低無(wú)線(xiàn)傳輸成本。

H.264 幀內(nèi)壓縮引擎將 VGA 幀的內(nèi)存占用減少了 23 倍。然而，通過(guò) H.264 壓縮，系統(tǒng)需要比 JPEG 多 138% 的處理能量。使用的其他方法是變化檢測(cè)引擎，以實(shí)現(xiàn)與 VGA 幀相比 135 倍的壓縮，以及用于減少無(wú)線(xiàn)數(shù)據(jù)傳輸?shù)南到y(tǒng)外圖像重建。對(duì)于毫米級(jí)鏡頭和超低功耗前端的圖像校正，該團(tuán)隊(duì)提出了可以使用矩陣乘法和卷積等指令在 ISP 神經(jīng)引擎 （NE） 上執(zhí)行的圖像校正層。

結(jié)論

該論文提出了一種新穎的毫米級(jí)成像系統(tǒng)，它集成了用于遠(yuǎn)程物聯(lián)網(wǎng)和邊緣應(yīng)用的邊緣智能，平均功耗為 49.6μW，預(yù)期壽命為 7 天，無(wú)需充電。為了實(shí)現(xiàn)小尺寸，該系統(tǒng)使用超低功耗 IC 的垂直堆疊，并通過(guò)數(shù)據(jù)和能源管理方法管理內(nèi)存和能源預(yù)算限制。“已經(jīng)展示了一個(gè)微型物聯(lián)網(wǎng)智能成像系統(tǒng)，通過(guò)社會(huì)技術(shù)和道德視角進(jìn)行分析是下一步必不可少的；我們邀請(qǐng)未來(lái)就安全和隱私等主題開(kāi)展工作，”該團(tuán)隊(duì)總結(jié)道。

審核編輯：郭婷