物聯(lián)網(wǎng) (IoT) 的戰(zhàn)略潛力推動工程師部署了越來越多的邊緣設(shè)備。這些設(shè)備可在沒有持續(xù)互聯(lián)網(wǎng)連接的情況下收集、處理和運行數(shù)據(jù)推斷。一直以來，各個機(jī)構(gòu)都是將在邊緣收集的數(shù)據(jù)發(fā)送到云中，由機(jī)器學(xué)習(xí)模型進(jìn)行處理，因為設(shè)備缺乏處理這些數(shù)據(jù)所需的算力。

隨著更強(qiáng)大的處理器和模型壓縮軟件的發(fā)展，對云計算的依賴已有所減少。相反，邊緣設(shè)備現(xiàn)在有能力在本地執(zhí)行密集的 AI 計算，而這種計算以前是在云中完成的。互聯(lián)網(wǎng)連接設(shè)備的數(shù)量預(yù)計在 2030 年將達(dá)到 290 億臺[1]，隨之而來的是對邊緣 AI 的需求的指數(shù)級增長。預(yù)計到 2027 年，邊緣 AI 將融入 65% 的邊緣設(shè)備中[2]。

推動邊緣 AI 發(fā)展的賦能技術(shù)

邊緣 AI 市場預(yù)計將從 2022 年的 156 億美元增長到 2029 年的 1074 億美元[3]。邊緣 AI 并非新概念，但最新技術(shù)進(jìn)步使得邊緣 AI 的實現(xiàn)更加簡單和經(jīng)濟(jì)。如今推動邊緣 AI 的四項主要進(jìn)步是：

微控制器 (MCU) 和數(shù)字信號處理器 (DSP) - 矢量處理器變得更加強(qiáng)大，同時芯片供應(yīng)商也在對其進(jìn)行自定義以滿足 AI 處理的需求。這些類型的處理器目前在 AI 硬件中占據(jù)著主導(dǎo)地位。

GPU（圖形處理單元）- 最初用于圖形密集型應(yīng)用，如游戲和視頻編輯，GPU 現(xiàn)在已用于訓(xùn)練 AI 模型和運行推斷。

AI 加速器 ASIC - 雖然在 AI 相關(guān)任務(wù)中 GPU 的性能優(yōu)于 CPU，但為 AI 工作負(fù)載量身定制的自定義專用集成電路 (ASIC) 可以提供更高的速度和效率。神經(jīng)處理單元 (NPU) 是一種專門為處理 AI 模型而設(shè)計的 ASIC，因此它們比 CPU 更適合這項任務(wù)。

模型壓縮方法 - 由于邊緣設(shè)備通常在內(nèi)存和處理能力方面存在限制，因此在保持類似準(zhǔn)確性和性能水平的同時壓縮模型至關(guān)重要。如今最常見的 AI 壓縮方法有：

剪枝 - 刪除不必要或不太重要的參數(shù)，以提高 AI 模型的效率、速度和內(nèi)存需求，同時最大限度地避免性能下降。

量化 - 通過降低模型中數(shù)值的精度來降低內(nèi)存負(fù)載，提高模型的推斷速度和能效。

知識蒸餾 - 將復(fù)雜模型的知識遷移到更緊湊的模型中，以模擬原始模型的行為和性能。

低秩分解 - 通過將高維數(shù)據(jù)分解為低維表示來壓縮高維數(shù)據(jù)，以簡化復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型，同時保留辨識特征。

使用邊緣 AI 減少對云計算的依賴

雖然邊緣 AI 可能不會完全取代基于云的計算，但處理日益增長的海量數(shù)據(jù)的需求清楚地表明了一點：工程師無法忽視當(dāng)今邊緣 AI 改變游戲規(guī)則的優(yōu)勢。邊緣 AI 的主要優(yōu)勢是實時的處理和決策，這會縮短延遲并降低與耗電和云處理相關(guān)聯(lián)的成本。基于局部數(shù)據(jù)運行推斷會減少發(fā)送到公共云、私有云或混合云進(jìn)行處理的原始數(shù)據(jù)。云服務(wù)在特定應(yīng)用中至關(guān)重要，并且可以通過在邊緣設(shè)備上運行數(shù)據(jù)推斷來得到增強(qiáng)。

通過減少對持續(xù)互聯(lián)網(wǎng)連接的依賴，工程師能夠在許多行業(yè)更高效地實現(xiàn)邊緣 AI 模型?，F(xiàn)已有超出 400 個邊緣計算用例[4]，涵蓋 19 個行業(yè)和 6 個技術(shù)領(lǐng)域。集成到邊緣設(shè)備中的 AI 模型在一些應(yīng)用中（例如汽車和醫(yī)學(xué)）可能能夠拯救生命。

邊緣 AI 支持在設(shè)備上的實時智能決策，可顯著提高許多應(yīng)用的效率、響應(yīng)能力和自適應(yīng)性。

汽車安全關(guān)鍵型系統(tǒng)

汽車就是一個邊緣設(shè)備在本地收集和處理數(shù)據(jù)從而減少必須發(fā)送到云的數(shù)據(jù)量的一個示例。由于汽車電子控制單元 (ECU) 的自包含性質(zhì)，數(shù)據(jù)處理必須在本地執(zhí)行，安全關(guān)鍵決策必須實時作出。汽車 ECU 等邊緣設(shè)備上的機(jī)器學(xué)習(xí)模型通過使用實時數(shù)據(jù)來適應(yīng)路況并減少碰撞，從而確保乘客安全。

一家汽車制造商訓(xùn)練機(jī)器學(xué)習(xí)模型來檢測過度轉(zhuǎn)向 - 車輛后輪在轉(zhuǎn)彎時失去對路面的抓地力時會出現(xiàn)過度轉(zhuǎn)向。制造商采集了成千上萬個與車輛加速度、轉(zhuǎn)向和偏航率（角速度）相關(guān)的數(shù)據(jù)點。通過將數(shù)據(jù)加載到 MATLAB 中，工程師可以使用 Statistics and Machine Learning Toolbox [5] 訓(xùn)練機(jī)器學(xué)習(xí)模型來識別過度轉(zhuǎn)向。然后，他們使用 MATLAB Coder [6] 將機(jī)器學(xué)習(xí)模型部署并集成到 ECU 中。



MATLAB 和 Simulink 的自動代碼生成功能支持在嵌入式設(shè)備上進(jìn)行快速原型構(gòu)建和部署邊緣 AI 應(yīng)用，彌合理論和實踐之間的差距。

醫(yī)療器械中的實時決策

邊緣 AI 在醫(yī)療設(shè)備領(lǐng)域的一個優(yōu)勢是能夠快速作出決策。實時數(shù)據(jù)分析和異常檢測可實現(xiàn)及時干預(yù)，并降低與威脅生命和長期健康狀態(tài)相關(guān)聯(lián)的風(fēng)險。醫(yī)療邊緣設(shè)備還可以與云中的應(yīng)用程序進(jìn)行通信以記錄數(shù)據(jù)，而這不是一項時間敏感型任務(wù)。這樣，云計算并不會阻礙反而增強(qiáng)了邊緣設(shè)備上的數(shù)據(jù)推斷，從而創(chuàng)建了更加強(qiáng)大的設(shè)備網(wǎng)絡(luò)。

例如，某技術(shù)研究所研究小組為人工胰腺 (AP) 系統(tǒng)開發(fā)了預(yù)測算法，可檢測即將發(fā)生的低血糖和高血糖。該小組創(chuàng)建了虛擬患者，并使用 MATLAB 模擬心率和能量消耗等生理信號。完整的算法部署在移動設(shè)備上，該設(shè)備與胰島素泵、血糖監(jiān)測儀和可穿戴腕帶通信以實現(xiàn)有效的血糖濃度控制。最終，該研究小組創(chuàng)建了一個邊緣設(shè)備網(wǎng)絡(luò)，作為一個集成的健康監(jiān)控系統(tǒng)協(xié)同工作。

結(jié)束語

工程師必須管理的數(shù)據(jù)量日益增長，邊緣 AI 的實現(xiàn)有助于保持運營和成本效率，同時減少對云處理的依賴。隨著工程師構(gòu)建云推斷和 AI 賦能技術(shù)的不斷發(fā)展，將 AI 集成到邊緣設(shè)備很快成為公司打造特色產(chǎn)品的必要條件。最重要的是，邊緣 AI 應(yīng)被視為云推斷的附加工具，而不是當(dāng)前基于 AI 的系統(tǒng)的替代或全面革新。通過在邊緣實現(xiàn) AI 并將云用于允許時間延遲的應(yīng)用，任何行業(yè)的工程師都可以擴(kuò)展其 AI 工具箱。

審核編輯：劉清