蘇勇（Andrew SU）是瑞薩電子中國(guó)市場(chǎng)部的在AI產(chǎn)品方向上的高級(jí)技術(shù)專(zhuān)家，負(fù)責(zé)瑞薩電子的AI相關(guān)產(chǎn)品和技術(shù)方案面向中國(guó)市場(chǎng)的產(chǎn)品定義和運(yùn)營(yíng)。

什么是RUHMI？

伴隨著瑞薩新推出了集成了Ethos-U55 NPU和Arm Cortex-M85 CPU內(nèi)核的全新高性能RA8P1微控制器，瑞薩提供了一套用于將常用AI模型部署到高性能計(jì)算平臺(tái)的工具，以充分利用目標(biāo)平臺(tái)的硬件AI計(jì)算加速單元完成AI計(jì)算任務(wù)，這就是RUHMI。

RUHMI的全稱(chēng)是“Robust Unified Heterogenous Model Integration”，意為“健壯的、通用的、可適配異構(gòu)芯片平臺(tái)的模型轉(zhuǎn)換器”。如圖1所示。

圖 1：RUHMI的全稱(chēng)

使用RUHMI工具集，可將常用機(jī)器學(xué)習(xí)開(kāi)發(fā)平臺(tái)，例如TensorFlow、PyTorch開(kāi)發(fā)的以及ONNX格式保存的模型轉(zhuǎn)換成可直接部署在瑞薩處理器平臺(tái)（例如RA8P1）上的C源碼（由CPU執(zhí)行）和二進(jìn)制可執(zhí)行程序（由NPU執(zhí)行）。

特別對(duì)于集成了Ethos-U55這樣的專(zhuān)用NPU的硬件平臺(tái)，使用RUHMI工具集完成部署的機(jī)器學(xué)習(xí)模型執(zhí)行效率，要遠(yuǎn)高于使用通用工具實(shí)現(xiàn)同樣的功能。

熟悉瑞薩AI產(chǎn)品家族的開(kāi)發(fā)者可能會(huì)想到為支持瑞薩自主研發(fā)DRP-AI硬件加速引擎而開(kāi)發(fā)的DRP-AI TVM工具，可以將一些視覺(jué)AI模型部署到RZ/V芯片平臺(tái)上（Arm Cortex-A55+DRP-AI），實(shí)際上，RUHMI的設(shè)計(jì)就借鑒了DRP-AI TVM的關(guān)鍵技術(shù)。

RUHMI面向不同階段的開(kāi)發(fā)者提供了命令行和圖形化界面兩種使用方式，用以為用戶提供更好的AI編譯器/轉(zhuǎn)換器開(kāi)發(fā)體驗(yàn)。并且隨著RUHMI后續(xù)支持更多瑞薩的芯片產(chǎn)品，將會(huì)整合MCU和MPU的AI開(kāi)發(fā)工具鏈，將硬件的差異性同模型開(kāi)發(fā)分離出來(lái)，讓AI應(yīng)用開(kāi)發(fā)者更專(zhuān)注于模型的設(shè)計(jì)和開(kāi)發(fā)，而硬件層面上始終可以受益于最優(yōu)化的執(zhí)行效率。

RUHMI的技術(shù)細(xì)節(jié)

RUHMI是一個(gè)工具集，內(nèi)部包含一系列可以單獨(dú)完成任務(wù)的工具。例如，RUHMI使用模型解析器（Model Importer/Parser）將多種開(kāi)源的模型結(jié)構(gòu)文件轉(zhuǎn)換成中間層代碼（Intermediate Representation），然后通過(guò)模型優(yōu)化器（Model Optimizer）對(duì)模型進(jìn)行優(yōu)化，包括量化（將FT32量化成INT8）、微調(diào)和剪枝，然后將能夠被硬件加速單元（NPU）處理的計(jì)算過(guò)程和需要軟件處理（CPU）的計(jì)算過(guò)程分割開(kāi)來(lái)，分別生成適用于專(zhuān)用硬件單元和CPU的源碼或可執(zhí)行二進(jìn)制文件。

圖 2：RUHMI的功能框圖

開(kāi)始使用RUHMI開(kāi)發(fā)

使用RUHMI的開(kāi)發(fā)流是非常簡(jiǎn)單的。對(duì)于開(kāi)發(fā)者，先通過(guò)瑞薩的RUHMI產(chǎn)品主頁(yè)訪問(wèn)到RUHMI在GitHub上的項(xiàng)目主頁(yè)，然后下載對(duì)應(yīng)的工具軟件包并安裝到本地主機(jī)，運(yùn)行工具轉(zhuǎn)換，然后將轉(zhuǎn)換后的代碼/二進(jìn)制文件集成到嵌入式工程的源碼工程中，編譯下載，即可完成部署。如圖3所示。

圖 3：使用RUHMI的開(kāi)發(fā)流

其中，RUHMI在GitHub上的項(xiàng)目主頁(yè)如圖4-5所示。

左右滑動(dòng)查看圖4-5

RUHMI在GitHub站點(diǎn)的項(xiàng)目主頁(yè)

使用RUHMI對(duì)模型進(jìn)行轉(zhuǎn)換，有兩種方式，命令行和圖形用戶界面。圖形界面適合對(duì)模型轉(zhuǎn)換器進(jìn)行簡(jiǎn)單試用，對(duì)于資深開(kāi)發(fā)者建議使用命令行方式，以使用更多功能的API，并方便集成至自動(dòng)化工作流中。另外，命令行開(kāi)發(fā)方式還可適用于Linux系統(tǒng)平臺(tái)。如圖6所示。

圖 6：RUHMI的命令行和圖形用戶界面

RUHMI的圖形用戶界面工具是集成至瑞薩的e2Studio集成開(kāi)發(fā)環(huán)境中，生成的源文件和二進(jìn)制文件最終在e2Studio環(huán)境中編譯生成部署在目標(biāo)芯片的固件文件，可以下載至芯片中運(yùn)行。

樣例和性能

實(shí)際上，首次發(fā)布的RUHMI工具包中已經(jīng)包含了兩個(gè)用例，基于瑞薩官方的EK-RA8P1電路板，分別實(shí)現(xiàn)了人臉識(shí)別和圖像分類(lèi)兩個(gè)模型在RA8P1芯片上的部署。設(shè)計(jì)程序的系統(tǒng)框圖，如圖7所示。

圖 7：RUHMI的兩個(gè)樣例工程：人臉識(shí)別和圖像分類(lèi)

通過(guò)分別運(yùn)行這兩個(gè)用例，啟用NPU（Ethos-U55）的情況下，相對(duì)于不使用NPU的，執(zhí)行推理提速將近20倍。如圖8所示。

圖 8：RUHMI使用NPU明顯提速

樣例和性能

目前，RUHMI在GitHub站點(diǎn)上的產(chǎn)品主頁(yè)已經(jīng)對(duì)公眾開(kāi)放，提供充分的文檔、軟件工具以及樣例工程，開(kāi)發(fā)者可以前往下載，安裝并試用。

瑞薩電子將面向中國(guó)的開(kāi)發(fā)者組織線上和線下的培訓(xùn)和技術(shù)交流。