在嵌入式AI領(lǐng)域，瑞芯微（Rockchip）RK系列NPU憑借低功耗、高兼容性的特性，廣泛應(yīng)用于智能監(jiān)控、邊緣計(jì)算、物聯(lián)網(wǎng)設(shè)備等場(chǎng)景。近期發(fā)布的《RKNN Compiler Support Operator List v2.0.0-beta》文檔，不僅更新了6大主流平臺(tái)的算子支持細(xì)節(jié)，還新增了exSDPAttention、exMatMul等硬件加速算子，為開(kāi)發(fā)者提供了更清晰的開(kāi)發(fā)指引。

今天就帶大家全面梳理這份文檔的核心內(nèi)容，從平臺(tái)特性到算子細(xì)節(jié)，從開(kāi)發(fā)注意事項(xiàng)到場(chǎng)景適配，幫你快速找到適合自身需求的RK NPU方案。

一、平臺(tái)全景：6大系列各有側(cè)重，覆蓋從入門到高端

瑞芯微RK NPU家族涵蓋從入門級(jí)到高端旗艦的全場(chǎng)景需求，每個(gè)平臺(tái)在算子支持、性能優(yōu)化上各有側(cè)重，開(kāi)發(fā)者可根據(jù)設(shè)備算力、功耗、精度需求精準(zhǔn)選型。

1. RK3566/3568：入門級(jí)嵌入式AI首選

?核心定位：低功耗、小算力場(chǎng)景，適合對(duì)成本敏感的嵌入式設(shè)備

?算子支持：基礎(chǔ)算子全覆蓋——Add/Sub/Mul、卷積（Conv/Depthwise Conv）、池化（Global Avg/MaxPool、AveragePool）、激活函數(shù)（ReLU、LeakyReLU、Mish）均支持；部分支持GRU/LSTM（擴(kuò)展為exGRU/exLSTM算子），滿足輕量時(shí)序模型需求。

?數(shù)據(jù)類型：int8（量化推理）、float16（半精度推理）雙支持，平衡精度與性能。

?關(guān)鍵約束：Global AveragePool的height范圍需注意——RKNN-Toolkit2支持[1,343]，Compiler僅支持[1,7]；Transpose僅支持5種固定軸順序（如perm=[0,3,1,2]）。

?適用場(chǎng)景：智能家居設(shè)備（如智能音箱、小家電AI交互）、小型監(jiān)控?cái)z像頭、低功耗物聯(lián)網(wǎng)傳感器。

2. RK3588：高端旗艦，多核協(xié)同提升AI性能

?核心定位：中高端邊緣計(jì)算，支持多任務(wù)并發(fā)推理

?算子亮點(diǎn)：

?新增exSDPAttention（注意力機(jī)制）、exMatMul（矩陣乘）硬件加速，適配Transformer類模型（如輕量NLP模型）；

?卷積類Fuse OP成熟：支持Conv+ReLU/Clip/Sigmoid/Tanh等10 +種組合，減少算子調(diào)度開(kāi)銷；

?Softmax硬件支持channel/width雙方向（axis=1/3），channel最大支持8192。

?獨(dú)家特性：業(yè)內(nèi)首個(gè)支持多核協(xié)同的RK NPU平臺(tái)，Add、Conv、Concat等基礎(chǔ)算子已實(shí)現(xiàn)多核并行，算力利用率提升40%+。

?適用場(chǎng)景：高端智能相機(jī)（多目標(biāo)檢測(cè)+跟蹤）、邊緣AI網(wǎng)關(guān)（同時(shí)處理視頻分析+數(shù)據(jù)轉(zhuǎn)發(fā)）、工業(yè)質(zhì)檢設(shè)備。

3. RV1103/1106：低功耗安防專用，優(yōu)化監(jiān)控場(chǎng)景

?核心定位：安防領(lǐng)域低功耗方案，主打輕量視覺(jué)推理

?算子優(yōu)化：針對(duì)監(jiān)控場(chǎng)景強(qiáng)化——Global Pool、Conv算子適配小分辨率視頻流；支持exSoftmaxMask（帶掩碼的Softmax），可快速實(shí)現(xiàn)目標(biāo)遮擋場(chǎng)景的推理修正。

?數(shù)據(jù)類型：以int8為主（量化推理功耗更低），部分支持float16，適配安防場(chǎng)景的低精度需求。

?關(guān)鍵優(yōu)勢(shì)：Transpose支持NCHW轉(zhuǎn)NHWC等4種模式，且對(duì)齊要求寬松（8bit 16對(duì)齊、16bit 8對(duì)齊），視頻數(shù)據(jù)格式轉(zhuǎn)換效率更高。

?適用場(chǎng)景：智能門鈴、低功耗攝像頭（電池供電）、車載環(huán)視（輕量感知任務(wù)）。

4. RK3562：中端均衡之選，強(qiáng)化時(shí)序模型支持

?核心定位：中端嵌入式AI，平衡算力與成本

?算子特色：

?支持GRU（exGRU）算子，sequence/input_size分別要求4/8對(duì)齊，適配時(shí)序數(shù)據(jù)（如語(yǔ)音、傳感器時(shí)序）；

?LayerNorm支持預(yù)歸一化（pre_norm），可防止推理溢出，適配Transformer類模型；

?硬件支持exSDPAttention，輕量NLP任務(wù)推理速度提升明顯。

?適用場(chǎng)景：工業(yè)檢測(cè)（如流水線缺陷識(shí)別）、中端物聯(lián)網(wǎng)設(shè)備（帶語(yǔ)音交互的智能終端）。

5. RK3576：V2.0.0-beta新增平臺(tái)，聚焦Transformer優(yōu)化

?核心定位：新發(fā)布中端平臺(tái)，主打Transformer模型適配

?算子亮點(diǎn)：

?硬件支持exSDPAttention、exMatMul，解決Transformer模型在嵌入式設(shè)備上的推理瓶頸；

?Conv+Add+ReLU等組合Fuse OP全覆蓋，CNN模型推理效率優(yōu)化；

?多核協(xié)同初步支持（Conv、Depthwise Conv），后續(xù)版本將擴(kuò)展更多算子。

?適用場(chǎng)景：需要兼顧CNN與Transformer推理的設(shè)備（如帶文本分類的圖像識(shí)別終端）、邊緣AI盒子。

6. RK2118：簡(jiǎn)化開(kāi)發(fā)，float16專屬平臺(tái)

?核心定位：輕量浮點(diǎn)推理場(chǎng)景，降低多精度適配成本

?獨(dú)特之處：僅支持float16數(shù)據(jù)類型，無(wú)需兼顧int8量化適配，開(kāi)發(fā)流程簡(jiǎn)化；基礎(chǔ)算子（Conv、Pool、激活函數(shù)）全覆蓋，exGlu算子支持，滿足輕量浮點(diǎn)模型需求。

?約束說(shuō)明：無(wú)int8支持，不適合對(duì)功耗、算力要求嚴(yán)苛的場(chǎng)景。

?適用場(chǎng)景：對(duì)推理精度要求高的輕量設(shè)備（如醫(yī)療便攜檢測(cè)設(shè)備、高精度傳感器數(shù)據(jù)處理終端）。

二、核心共性與差異化：開(kāi)發(fā)者必知的關(guān)鍵特性

1.全平臺(tái)共性優(yōu)勢(shì)

?數(shù)據(jù)類型：除RK2118外，均支持int8（量化）+float16（半精度），兼顧“低功耗”與“高精度”需求；

?基礎(chǔ)算子全覆蓋：Add、Sub、Mul、Conv、Pool（Avg/Max）、激活函數(shù)（ReLU、Sigmoid、Mish）等核心算子全平臺(tái)支持，模型遷移成本低；

?廣播機(jī)制統(tǒng)一：遵循ONNX NCHW規(guī)范，支持4種廣播方式（如A (N,C,H,W)與B (C,1,1)、B (H,W)廣播），算子調(diào)用邏輯一致；

?Fallback保障：不支持的算子自動(dòng)轉(zhuǎn)CPU執(zhí)行（CPU支持ArgMin/ArgMax、GRU、InstanceNormalization等超100種算子），模型兼容性拉滿；

?GPU輔助：GPU僅支持MatMul算子（float16，需設(shè)置GPU優(yōu)先），滿足矩陣乘場(chǎng)景的算力補(bǔ)充。

2.平臺(tái)差異化亮點(diǎn)速查表

平臺(tái)	核心優(yōu)勢(shì)	數(shù)據(jù)類型	獨(dú)家特性	適用場(chǎng)景
RK3566/3568	入門級(jí)成本低	int8/float16	無(wú)	低功耗小設(shè)備
RK3588	多核協(xié)同，算力強(qiáng)	int8/float16	多核并行、exSDPAttention	高端邊緣計(jì)算
RV1103/1106	低功耗，安防優(yōu)化	int8為主	Transpose效率優(yōu)化	低功耗攝像頭
RK3562	時(shí)序模型支持	int8/float16	exGRU、LayerNorm pre_norm	工業(yè)檢測(cè)、語(yǔ)音交互
RK3576	新平臺(tái)，Transformer優(yōu)化	int8/float16	硬件exMatMul	多模型融合設(shè)備
RK2118	簡(jiǎn)化開(kāi)發(fā)，浮點(diǎn)專屬	float16 only	無(wú)int8適配成本	高精度輕量設(shè)備

三、開(kāi)發(fā)避坑指南：關(guān)鍵約束與建議

1.輸入輸出規(guī)格需注意

?寬度對(duì)齊：零拷貝API下，RK3566/3568（int8 channel=1,3,4時(shí)8對(duì)齊）、RK3588（int8 16對(duì)齊）、RV1103/1106（16對(duì)齊），需通過(guò)w_stride屬性查詢實(shí)際對(duì)齊要求；

?維度限制：多數(shù)平臺(tái)默認(rèn)支持4維輸入（NCHW），非4維輸入需CPU fallback；

?輸出Layout：NC1HWC2格式需Channel對(duì)齊（如RK3588 int8最后一層卷積需32對(duì)齊）。

1.算子約束要牢記

?Concat/Split：Channel方向需對(duì)齊（8bit 8對(duì)齊、16bit 4對(duì)齊，RK3576/RK2118為16/8對(duì)齊）；

?Resize：僅支持最近鄰/線性插值，放大倍數(shù)≤8倍；

?GRU/LSTM：sequence建議4對(duì)齊，hidden_size建議8對(duì)齊，雙向模式僅支持batch=1。

1.版本選擇有技巧

?優(yōu)先使用V2.0.0-beta版本：新增RK3576/RK2118支持，修復(fù)歷史約束（如RK3588 Transpose限制），硬件加速算子更豐富；

?參考配套文檔：《Rockchip_RKNPU_User_Guide_RKNN_SDK》可獲取零拷貝API、mean/scale配置細(xì)節(jié)，避免踩坑。

四、結(jié)語(yǔ)：RK NPU，嵌入式AI的靈活工具箱

瑞芯微RK系列NPU通過(guò)6大平臺(tái)的差異化布局，覆蓋了從入門到高端、從低功耗到高性能的全場(chǎng)景嵌入式AI需求。無(wú)論是需要成本敏感的小家電，還是追求算力的邊緣網(wǎng)關(guān)，亦或是專注安防的低功耗攝像頭，都能找到適配的方案。

隨著V2.0.0-beta版本新增硬件加速算子（exSDPAttention、exMatMul）和新平臺(tái)支持，RK NPU的Transformer模型適配能力進(jìn)一步增強(qiáng)，為嵌入式AI開(kāi)發(fā)者提供了更靈活的選擇。

如需獲取完整算子支持列表（含詳細(xì)參數(shù)約束、輸入輸出計(jì)算示例），可參考瑞芯微官方文檔《RKNN Compiler Support Operator List v2.0.0-beta》，也歡迎在評(píng)論區(qū)交流你的開(kāi)發(fā)場(chǎng)景，一起探討RK NPU的最佳實(shí)踐！