流暢的開發(fā)人員體驗(yàn)是人工智能設(shè)計(jì)的基礎(chǔ)。開發(fā)工具包可以簡(jiǎn)化為邊緣和低延遲數(shù)據(jù)中心部署準(zhǔn)備訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)。

生產(chǎn)級(jí) AI 開發(fā)套件在克服軟件支持限制和 AI 采用障礙方面變得至關(guān)重要，尤其是在加速受尺寸和功耗限制的端點(diǎn)設(shè)備中的邊緣推理時(shí)。這就是人工智能開發(fā)套件彌合流行的訓(xùn)練框架（如 TensorFlow）與高度受限的邊緣和物聯(lián)網(wǎng)部署之間差距的地方。

以人工智能專家為其智能處理單元 （IPU） 平臺(tái)開發(fā)的Mythic SDK為例，主要針對(duì)智能相機(jī)系統(tǒng)、工業(yè)機(jī)器人和智能家電。Mythic IPU 架構(gòu)具有一組磁貼，每個(gè)磁貼都有三個(gè)硬件組件。

首先，一個(gè)大型模擬計(jì)算陣列存儲(chǔ)龐大的神經(jīng)網(wǎng)絡(luò)權(quán)重。其次，有一個(gè)本地 SRAM 存儲(chǔ)器用于在神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)之間傳遞數(shù)據(jù)。第三，單指令多數(shù)據(jù) （SIMD） 單元滿足模擬計(jì)算陣列未處理的處理操作，納米處理器控制塊的排序和操作。

Mythic SDK 軟件運(yùn)行兩個(gè)階段：優(yōu)化和編譯。Mythic 優(yōu)化套件將神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換為與模擬內(nèi)存計(jì)算兼容的形式，包括從浮點(diǎn)值量化為 8 位整數(shù)。

Mythic Graph Compiler 執(zhí)行自動(dòng)映射、打包和代碼生成。Mythic SDK 生成并編譯二進(jìn)制映像以在 IPU 架構(gòu)上運(yùn)行。接下來(lái)，通過一系列自動(dòng)化步驟處理從神經(jīng)網(wǎng)絡(luò)計(jì)算圖到機(jī)器代碼的轉(zhuǎn)換，包括映射、優(yōu)化和代碼生成。

因此，開發(fā)人員擁有一個(gè)打包的二進(jìn)制文件，其中包含主機(jī)驅(qū)動(dòng)程序在實(shí)時(shí)環(huán)境中對(duì)加速器芯片進(jìn)行編程和運(yùn)行神經(jīng)網(wǎng)絡(luò)所需的一切。

嵌入式系統(tǒng)中的神經(jīng)網(wǎng)絡(luò)微控制器供應(yīng)商 STMicroelectronics 還推出了一個(gè)工具箱，允許開發(fā)人員生成優(yōu)化代碼以在其微控制器 （MCU） 上運(yùn)行神經(jīng)網(wǎng)絡(luò)。開發(fā)人員可以使用在 Caffe、Keras、TensorFlow、Lasagne 和 ConvNetJS 等流行庫(kù)上預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，然后將它們轉(zhuǎn)換為可以在 MCU 上運(yùn)行的 C 代碼。

這就是人工智能——通常使用幾乎無(wú)限的云資源——可以在具有計(jì)算和內(nèi)存限制的嵌入式平臺(tái)上高效運(yùn)行的方式。該工具包通過使用神經(jīng)網(wǎng)絡(luò)對(duì)來(lái)自傳感器和麥克風(fēng)等物聯(lián)網(wǎng)節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行分類，而不是使用傳統(tǒng)的信號(hào)處理技術(shù)，從而實(shí)現(xiàn)人工智能。

STMicroelectronics 在其STM32CubeMX MCU 配置和軟件代碼生成生態(tài)系統(tǒng)中添加了 AI 功能。它以STM32Cube.AI的形式出現(xiàn) ，用作 STM32CubeMX 代碼生成器的擴(kuò)展包。STM32Cube.AI 在公司的 STM32 MCU 上運(yùn)行，可作為功能包提供，其中包括用于人類活動(dòng)識(shí)別和音頻場(chǎng)景分類的示例代碼。

圖 1：STM32Cube.AI 擴(kuò)展包可在 STM32CubeMX 代碼生成器中下載，支持 Caffe、帶有 TensorFlow 后端的 Keras、Lasagne 和 ConvNetJS 框架以及來(lái)自 Keil、IAR 和 System Workbench 的 IDE。（圖片：意法半導(dǎo)體）

STM32CubeMX 代碼生成器在 STM32 MCU 上映射神經(jīng)網(wǎng)絡(luò)，然后優(yōu)化生成的庫(kù)，而 STM32Cube.AI 功能包利用 ST 的 SensorTile 參考板在訓(xùn)練過程之前捕獲和標(biāo)記傳感器數(shù)據(jù)。參考板運(yùn)行由優(yōu)化的神經(jīng)網(wǎng)絡(luò)啟用的推理。這些代碼示例也可用于 SensorTile 參考板和 ST 的 BLE Sensor 移動(dòng)應(yīng)用程序。

機(jī)器學(xué)習(xí)工具包另一個(gè)值得注意的 AI 開發(fā)工具包也來(lái)自 MCU 供應(yīng)商。NXP Semiconductors 的eIQ 是一個(gè)機(jī)器學(xué)習(xí) （ML） 工具包，支持 TensorFlow Lite、Caffe2 和其他神經(jīng)網(wǎng)絡(luò)框架以及非神經(jīng) ML 算法。它有助于在用于語(yǔ)音、視覺和異常檢測(cè)應(yīng)用的各種神經(jīng)網(wǎng)絡(luò)框架和推理引擎上進(jìn)行模型轉(zhuǎn)換。

eIQ 軟件環(huán)境提供了構(gòu)建和優(yōu)化云訓(xùn)練的 ML 模型的工具，以便它們可以在資源受限的邊緣設(shè)備上高效運(yùn)行，適用于廣泛的工業(yè)、物聯(lián)網(wǎng)和汽車應(yīng)用。它還具有數(shù)據(jù)采集和管理工具以及對(duì) GLOW 和 XLA 等神經(jīng)網(wǎng)絡(luò)編譯器的支持。

eIQ 工具套件支持 NXP 的 MCU 和應(yīng)用處理器系列，還使設(shè)計(jì)人員能夠?yàn)?a href="http://www.makelele.cn/v/tag/448/" target="_blank">深度學(xué)習(xí)算法的每一層選擇和編程嵌入式計(jì)算引擎。自動(dòng)選擇過程顯著提高了性能并縮短了上市時(shí)間。

隨著eIQ Auto的推出，恩智浦已將 eIQ 機(jī)器學(xué)習(xí)開發(fā)環(huán)境擴(kuò)展到汽車 AI 設(shè)計(jì)。汽車級(jí)工具包使開發(fā)人員能夠在視覺、駕駛員更換、傳感器融合、駕駛員監(jiān)控和其他不斷發(fā)展的汽車應(yīng)用中實(shí)施基于深度學(xué)習(xí)的算法。eIQ Auto 中的推理引擎與 Automotive SPICE 兼容。

Arm 的 AI 工具鏈NXP 的 eIQ 和 ST 的 STM32Cube.AI 這兩個(gè) AI 開發(fā)平臺(tái)都與 Arm 的生態(tài)系統(tǒng)相關(guān)聯(lián)。例如，STM32Cube.AI 工具集支持 Arm 的 Cortex-M55 處理器。同樣，恩智浦正在將 Arm 的 Ethos-U55 機(jī)器學(xué)習(xí)加速器整合到其 MCU 和應(yīng)用處理器中。

Arm 的 Cortex-M 軟件工具鏈具有對(duì)Cortex-M55和Ethos-U55的支持。與之前的 Cortex-M 版本相比，Cortex-M55 的 ML 性能提升高達(dá) 15 倍，DSP 性能提升高達(dá) 5 倍。Cortex-M55 可以輕松與 Ethos-U55 配對(duì)，Ethos-U55 是 Arm 的 microNPU，旨在加速區(qū)域受限嵌入式和物聯(lián)網(wǎng)設(shè)備中的機(jī)器學(xué)習(xí)推理。

圖 2：Ethos-U55 機(jī)器學(xué)習(xí)加速器與 Cortex-M 內(nèi)核一起工作，以縮小 AI 芯片的占用空間，從而有效地服務(wù)于受限的嵌入式設(shè)計(jì)。（圖片：手臂）

Arm 的 Cortex-M 軟件工具鏈旨在為 AI 工作負(fù)載創(chuàng)建統(tǒng)一的開發(fā)流程，同時(shí)優(yōu)化領(lǐng)先的機(jī)器學(xué)習(xí)框架。例如，Arm 已經(jīng)開始使用 TensorFlow Lite 進(jìn)行優(yōu)化工作。谷歌和 Arm 聯(lián)手優(yōu)化 Arm 處理器架構(gòu)上的 TensorFlow，以便在功率受限和成本敏感的嵌入式設(shè)備上實(shí)現(xiàn)機(jī)器學(xué)習(xí)。