試想這樣的場(chǎng)景：當(dāng)你正在發(fā)消息時(shí)，手機(jī)能在你輸入過(guò)程中實(shí)時(shí)翻譯文字，還能即時(shí)總結(jié)整段對(duì)話內(nèi)容；或是在拍照時(shí)，手機(jī)能在你按下快門之前，迅速解析復(fù)雜場(chǎng)景畫面，并自動(dòng)對(duì)關(guān)鍵主體進(jìn)行聚焦。換言之，以往需要停頓處理的手機(jī)應(yīng)用，如今已能實(shí)時(shí)預(yù)判并滿足你的需求。

這種轉(zhuǎn)變正是對(duì)當(dāng)前世界的直接回應(yīng)：每一次點(diǎn)擊、每一次滑動(dòng)、每一秒的關(guān)注都至關(guān)重要?，F(xiàn)在的用戶希望應(yīng)用能夠快速思考、即時(shí)響應(yīng)，并妥善保護(hù)用戶的隱私信息。這些需求最終落到了開發(fā)者肩上，開發(fā)者因而承受著越來(lái)越大的壓力：不僅要讓應(yīng)用運(yùn)行起來(lái)，更需要在設(shè)備端完整實(shí)現(xiàn)先進(jìn)的實(shí)時(shí)體驗(yàn)，而無(wú)需依賴云端，同時(shí)還不能犧牲電池續(xù)航或減緩響應(yīng)。

令人欣慰的是，第二代 Arm 可伸縮矩陣擴(kuò)展 (SME2)為全球數(shù)百萬(wàn)移動(dòng)端開發(fā)者帶來(lái)了端側(cè)人工智能 (AI) 加速的功能，有助于實(shí)現(xiàn)更迅捷、更智能的端側(cè)體驗(yàn)。

隨時(shí)隨地高效加速

得益于 Arm KleidiAI 與主流框架（包括 Google LiteRT、PyTorchExecuTorch、ONNX Runtime和阿里巴巴 MNN）的深度集成，SME2 可實(shí)現(xiàn)自動(dòng)啟用，將 AI 計(jì)算遷移至 Arm CPU 上 。當(dāng)今約 99% 的智能手機(jī)均運(yùn)行于 Arm CPU 計(jì)算平臺(tái)之上。此舉不僅為開發(fā)者在處理其工作負(fù)載時(shí)提供了更大的靈活性，還能釋放 GPU 的帶寬資源。

由于 Arm CPU 能在安全且一致的架構(gòu)上處理混合計(jì)算管線，開發(fā)者無(wú)需為不同設(shè)備層級(jí)重新構(gòu)建方案。只需優(yōu)化一次，即可在整個(gè)生態(tài)系統(tǒng)中復(fù)用。SME2 通過(guò)為 Armv9 架構(gòu)添加專用矩陣處理指令，使 CPU 能夠處理支撐著當(dāng)今大語(yǔ)言模型和視覺(jué)模型的密集數(shù)學(xué)運(yùn)算，同時(shí)顯著降低功耗與延遲。

由此打造出可在數(shù)十億臺(tái)移動(dòng)設(shè)備上運(yùn)行的更具吸引力、更智能、更直觀的應(yīng)用，并帶來(lái)切實(shí)可量化的提升表現(xiàn)，其中包括：

AI 響應(yīng)速度提升高達(dá) 5 倍；

語(yǔ)音工作負(fù)載延遲降低 4.7 倍；

音頻生成速度提升 2.8 倍；

在常見(jiàn)的移動(dòng)端 AI 應(yīng)用場(chǎng)景中顯著節(jié)省電量。

得益于此，支付寶可支持在設(shè)備上即時(shí)生成旅行視頻，谷歌也能在其各類應(yīng)用中提供實(shí)時(shí)摘要與翻譯服務(wù)。

對(duì)用戶而言，應(yīng)用體驗(yàn)變得更加迅捷、本地化且安全可信。對(duì)開發(fā)者而言，鑒于實(shí)時(shí)推理不再導(dǎo)致電量快速耗盡或手機(jī)過(guò)熱，他們能夠在相同的散熱與功耗限制下挖掘更多可能性。開發(fā)者還可無(wú)拘束地進(jìn)行創(chuàng)新實(shí)驗(yàn)，靈活適配多代硬件，并在 CPU 上實(shí)現(xiàn)以前只有服務(wù)器端才能實(shí)現(xiàn)的 AI 性能。

一次構(gòu)建，隨處運(yùn)行

每個(gè)開發(fā)者都深知碎片化帶來(lái)的挑戰(zhàn)，包括各異的芯片組、不同的性能特性，以及無(wú)休止的調(diào)優(yōu)工作。SME2 通過(guò) CPU 實(shí)現(xiàn) AI 加速的標(biāo)準(zhǔn)化，為開發(fā)者提供了統(tǒng)一、可移植的移動(dòng)端 AI 基礎(chǔ)。

基于 SME2 構(gòu)建的應(yīng)用在 iOS 和安卓系統(tǒng)上都能實(shí)現(xiàn)一致的性能表現(xiàn)，從 vivo X300 系列和 OPPO Find X9 系列等旗艦手機(jī)，到搭載 Arm CPU 的中端和入門款智能手機(jī)，都能流暢運(yùn)行。無(wú)論是要為創(chuàng)意類應(yīng)用優(yōu)化視覺(jué)模型，還是面向全球市場(chǎng)部署語(yǔ)音助手，代碼的運(yùn)行效果都可精準(zhǔn)預(yù)判。這不僅簡(jiǎn)化了測(cè)試流程，減少了性能倒退問(wèn)題，還能加快產(chǎn)品上市進(jìn)程。

隨著 Arm 架構(gòu)的持續(xù)演進(jìn)，KleidiAI 會(huì)自動(dòng)實(shí)現(xiàn)性能提升，無(wú)需開發(fā)者重構(gòu)代碼 —— 這正是打造一個(gè)能與開發(fā)者共同成長(zhǎng)的平臺(tái)的價(jià)值所在。開發(fā)者只需更新其框架、啟用 SME2，就能直觀感受到應(yīng)用運(yùn)行速度的大幅提升。

端側(cè)智能的下一個(gè)前沿領(lǐng)域

歸根結(jié)底，端側(cè) AI 的核心并非為設(shè)備堆砌更多智能功能，而是讓智能更貼近用戶的日常應(yīng)用場(chǎng)景。與此同時(shí)，用戶不愿等待技術(shù)追趕需求，開發(fā)者也無(wú)需等待。借助 SME2 和 KleidiAI，開發(fā)者將能夠彌合這一差距，將 CPU 變成現(xiàn)成可用的 AI 引擎，實(shí)時(shí)響應(yīng)用戶的每一次點(diǎn)擊與交互。

因此，作為開發(fā)者的你，如果要打造新一代卓越的移動(dòng)端體驗(yàn)，不妨聚焦于最重要的層面，從核心入手。更新你的框架，啟用 SME2，然后見(jiàn)證當(dāng)智能響應(yīng)跟上用戶操作速度時(shí)，你的應(yīng)用力所能及的表現(xiàn)也將達(dá)到新高度。

* 本文為 Arm 原創(chuàng)文章，轉(zhuǎn)載請(qǐng)留言聯(lián)系獲得授權(quán)并注明出處。