為什么選擇邊緣AI？

AI市場已經發(fā)生了根本性變革。過去，AI處理主要在云端完成。End Point設備從傳感器收集數據并將其發(fā)送到云端進行推理處理和決策，結果被發(fā)送回End Point設備。這種方法需要巨大的帶寬才能將海量數據傳輸到云端。

邊緣設備越來越多地使用AI推理技術，以實現快速實時響應并提高數據隱私和安全性，同時避免與云連接產生的延遲和成本。這也降低了功耗，使其適用于電池供電的IoT應用。因此，邊緣AI具有自主性、低延遲、低功耗、低成本、更低的云端帶寬、安全性更高的優(yōu)勢，這使其對新興應用具有吸引力。

圖 1：從云端的推理遷移到邊緣的推理

MCU越來越多地用于邊緣AI。與MPU相比，它們提供更好的實時響應、更低的功耗、更低的成本，以及簡化產品設計并降低開發(fā)和BOM成本的全面集成解決方案，使其成為低功耗和成本經濟型應用的理想選擇。

現已推出具有集成硬件加速器的高性能MCU，可以處理神經網絡處理所需的線性代數運算，例如點積和快速、并行矩陣乘法、卷積和轉置。此外，還提供針對資源有限的MCU而優(yōu)化的小型神經網絡模型、軟件庫和生態(tài)系統(tǒng)解決方案。

使用RA8P1 AI加速MCU構建高能效AI應用

RA8P1 MCU是瑞薩電子首款AI加速的單核和雙核MCU，具有高性能ArmCortex-M85（CM85）和Cortex-M33（CM33）CPU內核以及ArmEthos TM-U55神經網絡處理器（NPU），是邊緣AI和物聯(lián)網應用的理想選擇，可在AI/ML、DSP和標量性能方面提供更大的提升和更低的功耗。

RA8P1 MCU基于先進的臺積電22nmULL工藝構建，提供前所未有的7300+ CoreMark原始性能和256 GOPS的AI性能，并滿足了邊緣AI應用對低功耗的需求。

這類MCU與大內存和豐富的外設集相結合，可以直接在MCU本身上實現要求苛刻的語音、視覺AI和實時分析應用程序。雙核RA8P1 MCU可實現高處理能力、兩個內核之間的高效任務劃分以及優(yōu)化的實時性能。此外，還內置了高級安全性、不可變內存和 TrustZone，以實現真正安全的AI應用程序。

RA8P1中嵌入的Ethos-U55 NPU是一款專用處理器，經過優(yōu)化，可與CPU內核協(xié)同工作，更高效、更低功耗地執(zhí)行神經網絡模型的核心運算，例如矩陣乘法和卷積。Ethos-U55針對AI模型中使用的低精度算術（8位整數）進行了優(yōu)化，可在不降低推理精度的情況下降低復雜性、內存使用和功耗。

瑞薩電子已經成功地展示了使用Ethos-U55進行推理處理的RA8P1 MCU的性能提升，并在一些AI/ML用例中展示了Ethos-U55NPU與CPU內核相比的顯著性能提升。

圖 2：與CPU內核相比，Ethos-U55 NPU的AI性能顯著提升

使用的型號：

圖像分類：ResNet8、MobileNet v2、MobileNet v3

關鍵詞識別：DS-CNN

視覺喚醒詞：MobileNet v1

對象檢測：Yolo_fastest、Yolov8N

異常檢測：ad_medium

RA8P1

https://www.renesas.cn/zh/products/ra8p1

Ethos-U55 NPU

https://developer.arm.com/documentation/102420/0200

使用RUHMI框架實現更快的應用程序開發(fā)

RA8P1 AI解決方案采用高度可配置和優(yōu)化的RUHMI框架，為AI開發(fā)人員提供更快、更高效的AI開發(fā)所需的所有工具。這是瑞薩電子第一個用于MCU和MPU 的綜合AI框架，并集成到e2中，以與框架無關的方式生成和部署高度優(yōu)化的神經網絡模型。

RUHMI支持模型優(yōu)化、量化、圖形編譯和轉換為MCU友好格式。包括對常用ML框架TensorFlow Lite、Pytorch和ONNX的原生支持，以及針對RA8P1優(yōu)化的即用型應用程序示例和模型。

圖 3：使用瑞薩電子RUHMI框架的AI工作流程

使用RUHMI框架的典型AI工作流程：

模型優(yōu)化和編譯（離線）：預先訓練的AI模型通過Tensorflow Lite、Pytorch或ONNX等常用框架輸入。使用RUHMI優(yōu)化和轉換工具，首先將模型量化為Int8中間格式并進行優(yōu)化。此過程涉及圖形分區(qū)、在NPU和CPU之間分離運算符，以及編譯為MCU友好格式（通常為*.c/*.h）。

數據輸入和預處理：RA8P1 MCU捕獲原始輸入數據（來自攝像頭的圖像、來自麥克風的音頻），并由高性能Cortex-M85內核進行預處理，以輸入到AI模型。

在NPU上執(zhí)行：然后，CPU內核將預處理后的輸入數據和編譯后的AI模型的命令流發(fā)送到Ethos-U55 NPU執(zhí)行。NPU讀取命令流，并使用輸入數據和模型權重（通常存儲在本地內存中）處理神經網絡的每一層。

輸出和后處理：一旦NPU處理完神經網絡的所有層，它就會將推理結果輸出回主CPU，然后主CPU可以執(zhí)行任何必要的后處理和操作。

RA8P1支持的AI應用

RA8P1 MCU具有高推理性能、低功耗和實時處理能力，是各個細分市場的不同AI應用的理想選擇。

以下是RA8P1支持的一些關鍵應用程序：

語音人工智能：關鍵詞識別、語音識別、語速識別、降噪、發(fā)音人識別。

視覺AI：目標檢測、圖像分類、手勢識別、人臉識別、圖像分析、駕駛員/車輛監(jiān)控。

實時分析：異常檢測、振動分析、預測性維護。

多模式應用：具有語音和視覺功能的智能HMI、使用語音和視覺檢測事件的增強型監(jiān)控攝像頭、具有視覺和聽覺輸入的機器人技術，用于環(huán)境傳感和交互。

在下一節(jié)中，我們將一起來看看RA8P1如何通過兩個應用示例幫助簡化AI實現。