作者：Arm 工程部首席軟件工程師 Gian Marco Iodice

自 Arm KleidiAI 首次集成到 XNNPack 已過去整整一年。KleidiAI 是一款高度優(yōu)化的軟件庫(kù)，旨在加速 Arm CPU 上的人工智能 (AI) 推理。在過去一年中，從推出 INT4 矩陣乘法 (matmul) 優(yōu)化以增強(qiáng) Google Gemma 2 模型性能開始，到后續(xù)完成多項(xiàng)底層技術(shù)增強(qiáng)，Arm 在 XNNPack 上實(shí)現(xiàn)了顯著的性能提升。

而更值得注意的是，開發(fā)者對(duì)此無(wú)需做任何改動(dòng)。所有這些提升均實(shí)現(xiàn)了完全透明化，既不用修改代碼，也無(wú)需額外的依賴項(xiàng)。只需像往常一樣基于 XNNPack 構(gòu)建并運(yùn)行應(yīng)用，就能自動(dòng)享受到 Arm 通過 KleidiAI 引入的最新底層優(yōu)化。

本文就將為你詳細(xì)介紹最新的增強(qiáng)功能。

XNNPack 中的最新 KleidiAI 優(yōu)化

面向 SDOT 和 i8mm 的 F32 x INT8 矩陣乘法

在先前 INT4 優(yōu)化基礎(chǔ)上，此次優(yōu)化聚焦于通過動(dòng)態(tài)量化加速 INT8 矩陣乘法，拓寬性能提升的覆蓋范圍，以支持各類 AI 模型。從卷積神經(jīng)網(wǎng)絡(luò)到前沿的生成式 AI 模型（例如 2025 年 5 月發(fā)布的 Stable Audio Open Small），這項(xiàng)優(yōu)化帶來(lái)了切實(shí)可見的性能提升。例如，該優(yōu)化使擴(kuò)散模塊 (diffusion module) 的性能提升了 30% 以上。

與此前的 INT4 增強(qiáng)功能一樣，INT8 優(yōu)化借助 SDOT 指令和 i8mm 指令，在各類 CPU 上提升了動(dòng)態(tài)量化性能。

面向 F32、F16 和 INT8 矩陣乘法的 SME2 優(yōu)化

近期最令人振奮的進(jìn)展之一，是 Armv9 架構(gòu)上對(duì)可伸縮矩陣擴(kuò)展 (SME2)的支持。這為 F32 (Float32)、F16 (Float16) 和 INT8 矩陣乘法帶來(lái)了顯著的性能躍升，為新的高性能應(yīng)用鋪平道路。因此，無(wú)論是對(duì)于當(dāng)前還是未來(lái)的 AI 工作負(fù)載，都能從一開始實(shí)現(xiàn)無(wú)縫加速，且無(wú)需任何額外投入。

什么是 SME2？

SME2 是 Armv9-A CPU 架構(gòu)中引入的一項(xiàng)全新 Arm 技術(shù)。SME2 基于可伸縮向量擴(kuò)展 (SVE2) 技術(shù)構(gòu)建，并通過可惠及 AI、計(jì)算機(jī)視覺、線性代數(shù)等多個(gè)領(lǐng)域的特性拓展了其應(yīng)用范圍。

SME2 的一項(xiàng)突出特性是矩陣外積累加 (Matrix Outer Product Accumulate, MOPA) 指令，該指令能夠?qū)崿F(xiàn)高效的外積運(yùn)算。如下圖所示，外積與點(diǎn)積的區(qū)別在于，點(diǎn)積的運(yùn)算結(jié)果是一個(gè)標(biāo)量，而外積則由兩個(gè)輸入向量生成一個(gè)矩陣。

通過以下矩陣乘法示例來(lái)直觀理解這一區(qū)別：

該矩陣乘法可分解為一系列外積運(yùn)算，如下圖所示：

明確這一概念后，再來(lái)深入探討構(gòu)成優(yōu)化的矩陣乘法例程核心的 SME2 匯編指令：

FMOPA za0.s, p0/m, p1/m, z1.s, z3.s

各操作數(shù)的含義如下：

FMOPA：浮點(diǎn)矩陣外積累加指令。

ZA0.s：用于存儲(chǔ)和累積外積結(jié)果的 ZA 寄存器塊。

p0/m 和 p1/m：用于定義有效計(jì)算通道（掩碼操作）的 Predicate 寄存器。

z1.s 和 z3.s：參與外積運(yùn)算的輸入向量。

該指令支持多種數(shù)據(jù)類型，涵蓋浮點(diǎn)格式（如 F32 和 F16）及整數(shù)類型（如 INT8）。得益于 SVE 技術(shù)的應(yīng)用，它具備向量長(zhǎng)度無(wú)關(guān)性，這意味著其能隨硬件向量尺寸自動(dòng)適配擴(kuò)展，無(wú)需修改任何代碼。

為展現(xiàn) SME2 的性能潛力，不妨看看它在 Google Gemma 3 模型中通過 INT8 外積指令加速 INT4 矩陣乘法的效果。相比同一設(shè)備未啟用 SME2 的情況，當(dāng) Gemma 3 模型部署在支持 SME2 的硬件上時(shí)，聊天機(jī)器人用例的 AI 響應(yīng)速度最高可提升六倍。

此外，借助單 CPU 核心上的 SME2 加速，Gemma 3 能在一秒內(nèi)開始對(duì)一篇四段文字的文本內(nèi)容生成摘要，充分印證了該架構(gòu)在響應(yīng)速度與運(yùn)行效率上的提升。

優(yōu)化所帶來(lái)的實(shí)際意義

通過這些更新，XNNPack 成為首個(gè)支持 SME2 的 AI 推理庫(kù)，能夠在 Arm CPU 上進(jìn)一步實(shí)現(xiàn)前所未有的性能表現(xiàn)。

無(wú)論是專注于生成式 AI 還是基于 CNN 神經(jīng)網(wǎng)絡(luò)的開發(fā)者，都能在無(wú)需修改任何代碼的情況下，在其應(yīng)用上實(shí)現(xiàn)顯著的性能提升。

展望 Arm KleidiAI 的未來(lái)

過去一年的實(shí)踐證明，透明化加速不僅切實(shí)可行，更已具備實(shí)際應(yīng)用價(jià)值。隨著 KleidiAI 不斷突破 XNNPack 上的性能表現(xiàn)，開發(fā)者可專注于打造出色的 AI 體驗(yàn)，而運(yùn)行時(shí)性能也將持續(xù)提升。