新的互聯(lián)網(wǎng)是物聯(lián)網(wǎng) （IoT），它全都與數(shù)據(jù)有關(guān)——以物聯(lián)網(wǎng)之前無法想象的規(guī)模生成和處理。現(xiàn)在，通過將人工智能應(yīng)用于這些數(shù)據(jù)，我們可以獲得顯著改善的洞察力。人工智能現(xiàn)在可以識別倫敦水網(wǎng)的泄漏，因此工程師可以瞄準(zhǔn)精確的管道更換。它可以衡量人們在高峰時(shí)段使用東京澀谷交叉口對交通流量的影響。它可以衡量紐約人對時(shí)代廣場新廣告的反應(yīng)。三個(gè)例子，三個(gè)行業(yè)——公用事業(yè)、物流和營銷——都被人工智能增強(qiáng)了。

　　物聯(lián)網(wǎng)目前正在整理的數(shù)據(jù)量已經(jīng)非常龐大，但它將會變得更大，更有趣。2019 年 2 月，Gartner 表示，人工智能在組織中的采用量同比增長了兩倍。對于工程師和工程公司而言，提高設(shè)備網(wǎng)絡(luò)的智能意味著我們可以開始實(shí)現(xiàn)物聯(lián)網(wǎng)的真正潛力。

　　人工智能在工業(yè)物聯(lián)網(wǎng) （IIoT） 中最有用的地方

　　AI正在迅速成為主流計(jì)算資源可以處理的任務(wù)；我們已經(jīng)擁有人工智能，以機(jī)器學(xué)習(xí) （ML） 推理的形式在哮喘吸入器等單傳感器設(shè)備上運(yùn)行。我們可以直接在智能手機(jī)上訪問 AI 驅(qū)動的照片增強(qiáng)功能，然后在高級車輛中運(yùn)行計(jì)算機(jī)視覺應(yīng)用程序。所有這些都已經(jīng)在改善生活，但我認(rèn)為我們將在工業(yè)應(yīng)用中看到最直接的商業(yè)價(jià)值。

　　在工業(yè)環(huán)境中，任何可以提高生產(chǎn)力的技術(shù)都是有價(jià)值的，運(yùn)營數(shù)據(jù)通常用于提供對機(jī)器及其當(dāng)前狀況的洞察。工業(yè)傳感器生成的數(shù)據(jù)包含模式，通過日益復(fù)雜的分析，可以幫助預(yù)測資產(chǎn)何時(shí)會發(fā)生故障，從而在故障對生產(chǎn)力產(chǎn)生更大的整體影響之前對其進(jìn)行修復(fù)。預(yù)測和預(yù)防分析的這一分支以前已在大型服務(wù)器和“云”中進(jìn)行，但 AI 和 ML 的發(fā)展意味著它現(xiàn)在正向網(wǎng)絡(luò)邊緣靠攏。事實(shí)上，它被直接放入構(gòu)成 IIoT 的機(jī)器中。

　　邊緣機(jī)器學(xué)習(xí)

　　ML 處理向邊緣移動的原因有很多。第一個(gè)是最容易接受的：邊緣是創(chuàng)建數(shù)據(jù)的地方。不過，還有其他更關(guān)鍵的原因；最值得注意的是，因?yàn)閿?shù)據(jù)在移動帶寬和處理指令周期方面都消耗資源。如果通過物聯(lián)網(wǎng)生成的所有數(shù)據(jù)都由服務(wù)器處理，則將涉及大量的網(wǎng)絡(luò)流量和服務(wù)器功率的指數(shù)級增長。這正是谷歌等公司正在精簡他們的一些算法的原因——這樣他們就可以在邊緣人工智能驅(qū)動的設(shè)備上獨(dú)立于云運(yùn)行。

　　就像在邊緣設(shè)備中嵌入 HTML 服務(wù)器現(xiàn)在很普遍一樣，在端點(diǎn)（例如傳感器）中執(zhí)行 ML 同樣可行。但是在邊緣實(shí)現(xiàn) ML 的方式至關(guān)重要，它遵循分布式處理的概念。訓(xùn)練 AI 算法所需的處理資源相當(dāng)可觀，但實(shí)際上是非經(jīng)常性費(fèi)用。執(zhí)行推理模型所需的資源較為適中，但在數(shù)量上可能消耗與訓(xùn)練階段一樣多（如果不是更多）的處理資源。它們的不同之處在于，與訓(xùn)練不同，每個(gè)推理實(shí)例都可以與所有其他實(shí)例隔離打包和執(zhí)行，這意味著它可以輕松移植到較小的處理資源并根據(jù)需要多次復(fù)制。

　　這種分布式智能是新互聯(lián)網(wǎng)的形態(tài)，它可以在必要時(shí)再次孤立運(yùn)行，同時(shí)保留整體的一部分。邊緣處理消除了通過日益擁擠的網(wǎng)絡(luò)傳遞數(shù)據(jù)并消耗越來越寶貴的處理資源的需要。

　　機(jī)器學(xué)習(xí)架構(gòu)

　　訓(xùn)練完成后，AI 框架會提供部署路徑。對于部署在邊緣的資源受限設(shè)備，這包括 TensorFlow Lite 和 Caffe2 之類的設(shè)備。這些和其他此類平臺通常是開源的，并且通常帶有“讓您入門”的介紹；已經(jīng)經(jīng)過訓(xùn)練以提供某種形式的推理的模型。這些模型還可以使用自定義數(shù)據(jù)集進(jìn)行重新訓(xùn)練，這一過程稱為遷移學(xué)習(xí)，可以節(jié)省數(shù)小時(shí)的處理時(shí)間。

　　為了在不同的處理架構(gòu)之間移植，模型通常通過解釋器運(yùn)行，并由主機(jī)軟件使用 API 訪問。因?yàn)槟Ｐ鸵呀?jīng)過優(yōu)化，所以可以使整個(gè)實(shí)現(xiàn)適應(yīng)低 100 千字節(jié)的內(nèi)存。

　　有許多關(guān)于 ML 如何在網(wǎng)絡(luò)邊緣或網(wǎng)絡(luò)邊緣運(yùn)行的示例，其中許多將運(yùn)行基于 Linux 的操作系統(tǒng)。這些基于 CPU 的 ML 解決方案使用本質(zhì)上是通用微處理器，而不是臺式計(jì)算機(jī)中常見的耗電量大且通常面向 GPU 的大型設(shè)備。GPU 具有高度并行的執(zhí)行塊并利用多個(gè) MAC 單元，旨在盡可能快地執(zhí)行重復(fù)的、面向數(shù)學(xué)的操作，而無需考慮功耗。它們通常難以編程，需要高功率，并且通常不適合資源受限的邊緣設(shè)備。

　　TensorFlow Lite 旨在在較小的處理器上運(yùn)行一些 TensorFlow 模型，并提供可提供各種類型 ML 的預(yù)訓(xùn)練模型，包括圖像分類、對象檢測和分割。這三種模型的工作方式略有不同：圖像分類作用于整個(gè)圖像，而對象檢測將圖像分解為矩形，而分割則更深入地查看每個(gè)單獨(dú)的像素。要在 TensorFlow Lite 部署中使用經(jīng)過訓(xùn)練的 TensorFlow 模型，需要轉(zhuǎn)換模型，從而使用可選優(yōu)化來減小文件大小。該轉(zhuǎn)換器可以用作 Python 的 API，下面的代碼示例演示了如何使用它。

　　將張量流導(dǎo)入為 tf

　　轉(zhuǎn)換器 = tf.lite.TFLiteConverter.from_saved_model（saved_model_dir）

　　tflite_model = converter.convert（）

　　open（“converted_model.tflite”， “wb”）.write（tflite_model）

　　在標(biāo)準(zhǔn)處理器上運(yùn)行 ML 意味著開發(fā)人員還可以利用基于行業(yè)標(biāo)準(zhǔn)語言（如 Python）的簡單軟件解決方案。在某些情況下，這些處理器可能具有 DSP 擴(kuò)展功能，它們有助于加速部分?jǐn)?shù)據(jù)流，但本質(zhì)上通用處理器可以處理在較小設(shè)備中運(yùn)行 ML 所需的處理級別，同時(shí)仍能處理一般應(yīng)用程序代碼。

　　例如，以 CPU 為主導(dǎo)的人工智能已經(jīng)普遍用于智能手機(jī)中，用于識別照片中的特定特征。在工業(yè)應(yīng)用中也是如此，基于多核處理器（如 NXP 的 i.MX 系列）的片上系統(tǒng) （SoC） 解決方案通常用于將 ML 應(yīng)用到工業(yè)流程中。這包括機(jī)器視覺系統(tǒng)，可以識別特定產(chǎn)品在制造過程中的進(jìn)展。這些 SoC 和其他類似產(chǎn)品是當(dāng)今如何部署 ML 的完美示例。

　　超越地平線

　　雖然 CPU 或 MCU 主導(dǎo)的 AI 現(xiàn)在很普遍，但我們已經(jīng)期待設(shè)備網(wǎng)絡(luò)的最遠(yuǎn)邊緣，其中尺寸、功率和成本要求受到極大限制。這就是最新版本的 TensorFlow 的用武之地：TensorFlow Lite Micro，或稱為 TF Lite Micro，是該框架的一個(gè)版本，設(shè)計(jì)用于在可能沒有操作系統(tǒng)的微控制器上運(yùn)行，而不是在運(yùn)行 Linux 的微處理器上運(yùn)行。代碼和模型加起來只需要 45kbyte 的 Flash 和 30kbyte 的 RAM 即可運(yùn)行。這是最遠(yuǎn)邊緣的推理，在一個(gè)完全自主運(yùn)行的設(shè)備中，沒有任何其他軟件的幫助，或者同樣重要的是，額外的硬件。

　　使用 TF Lite Micro 的過程與使用 TensorFlow Lite 類似，但需要編寫深度嵌入的代碼來運(yùn)行推理。除了在代碼中包含相關(guān)的 .h 文件外，主要步驟包括： 添加代碼以允許模型寫入日志；實(shí)例化模型；為輸入分配內(nèi)存；輸出和中間數(shù)組；實(shí)例化解釋器；驗(yàn)證輸入形狀，并實(shí)際運(yùn)行模型并獲得輸出。下面的代碼片段是如何獲取輸出的示例。

　　TfLiteTensor* 輸出 = 解釋器。輸出（0）；

　　uint8_t top_category_score = 0;

　　int top_category_index;

　　for （int category_index = 0; category_index 《 kCategoryCount;

　　++類別索引）{

　　const uint8_t category_score = output-》data.uint8［category_index］;

　　if （category_score 》 top_category_score） {

　　top_category_score = category_score;

　　top_category_index = 類別索引；

　　}

　　}

　　為了在微控制器上支持機(jī)器學(xué)習(xí)，Arm 開發(fā)了 CMSIS-NN 軟件庫，它是處理神經(jīng)網(wǎng)絡(luò)的 Cortex 微控制器軟件接口標(biāo)準(zhǔn) （CMSIS） 的一部分。通過量化，將浮點(diǎn)數(shù)減少到整數(shù)（這一過程已被證明幾乎不會導(dǎo)致精度損失），CMSIS-NN 幫助開發(fā)人員將模型映射到微控制器的有限資源。

　　TF Lite Micro 等超高效的 ML 框架以及 CMSIS-NN 使得在超低功耗微控制器上運(yùn)行 ML 成為可能。這顯然有許多可能的應(yīng)用，但非常適用于永遠(yuǎn)在線系統(tǒng)的一種情況是，系統(tǒng)的大部分保持在深度睡眠模式，直到特定條件使其恢復(fù)活力，例如喚醒詞。我們可以將其視為一種新的中斷服務(wù)程序，它使用智能來決定何時(shí)需要參與芯片/系統(tǒng)的其余部分。這清楚地表明了超低功耗 ML 功能必須在邊緣產(chǎn)生巨大影響的潛力。

　　展望未來，專注于邊緣推理需求的技術(shù)開發(fā)將使高度響應(yīng)且功能強(qiáng)大的 ML 模型能夠以更低的功率水平運(yùn)行。例如，Arm 為 ArmV8-M 架構(gòu)開發(fā)了新的向量擴(kuò)展，稱為 Helium。這是 Arm Cortex-M 處理器的最新開發(fā)，它在 2015 年推出 Armv8-M 架構(gòu)時(shí)獲得了 Arm TrustZone 的安全優(yōu)勢。Helium 矢量擴(kuò)展的開發(fā)將類似于 NEON 的處理能力與安全性相結(jié)合信任區(qū)。Helium 矢量擴(kuò)展還將為 Cortex-M 類微控制器帶來顯著的性能提升，這將有助于實(shí)現(xiàn)許多新應(yīng)用，在邊緣實(shí)現(xiàn)更靈敏、更準(zhǔn)確的 ML。Helium 將使 Cortex-M 設(shè)備的機(jī)器學(xué)習(xí)性能提高 15 倍，

　　對于開發(fā)人員來說同樣重要的是，這意味著他們可以在用于其他基于微控制器的開發(fā)的同一工具鏈中訪問 ML。識別異常振動、意外噪音或警報(bào)圖像等集成功能將隱含在控制代碼中，從而簡化將 ML 置于邊緣的整個(gè)過程。

　　由于對不依賴云服務(wù)并始終與物聯(lián)網(wǎng)。

　　如果物聯(lián)網(wǎng)要擴(kuò)展到數(shù)以萬億計(jì)的設(shè)備，我們現(xiàn)在意識到需要滿足不斷增長的期望，在邊緣使用推理來限制通過日益擁擠的網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量將是必不可少的。

　　審核編輯：郭婷