阿里MNN支持華為NPU，優(yōu)化MNN的性能和精度問(wèn)題
今天上午據(jù)軟件綠色聯(lián)盟消息，阿里MNN已經(jīng)接入華為 HiAI生態(tài)，正式支持華為NPU。
據(jù)了解，阿里MNN為Mobile Neural Network，是阿里巴巴淘系技術(shù)部開(kāi)源的端側(cè)推理引擎，目前已覆蓋淘寶、天貓、優(yōu)酷和UC等20多個(gè)手機(jī)應(yīng)用，每天穩(wěn)定運(yùn)行超過(guò)500億次，已經(jīng)接受了兩屆“雙11”的考驗(yàn)。
官方表示，當(dāng)App功能日益強(qiáng)大時(shí)，性能和精度的矛盾就逾顯尖銳；官方表示利用HiAI Foundation芯片能力開(kāi)放，阿里MNN快速轉(zhuǎn)化和遷移已有模型，并借助異構(gòu)調(diào)度和NPU加速，大幅提升應(yīng)用算力和能效比，可以優(yōu)化MNN的性能和精度問(wèn)題。比如會(huì)加快以圖搜圖的搜索速度，耗電方面也會(huì)降低；此外，掃商家Logo也是運(yùn)用了此功能。
責(zé)任編輯：gt
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
華為
+關(guān)注
關(guān)注
218文章
36013瀏覽量
262157 -
阿里
+關(guān)注
關(guān)注
6文章
465瀏覽量
34198
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
在Zephyr OS上啟用NPU的實(shí)用方案
今天，我們將正式在 Zephyr中加入NPU軟件支持，讓模型不僅能“跑起來(lái)”，還能“跑得飛快”。是的，本期開(kāi)始就是實(shí)戰(zhàn)環(huán)節(jié)！
IMX95 - NPU 不工作的原因？怎么解決？
: Created TensorFlow Lite XNNPACK delegate for CPU.
我的問(wèn)題是：哪個(gè) SDK 版本真正正確支持 NPU？會(huì)升級(jí)到最新版本內(nèi)核 6.12.34可能有幫助嗎？我寧愿不回滾到內(nèi)核 6.6如果可能的話。謝謝。
發(fā)表于 02-26 11:21
【新品發(fā)布】艾為重磅發(fā)布端側(cè)AI高性能NPU語(yǔ)音芯片，打造智能語(yǔ)音體驗(yàn)新標(biāo)桿
數(shù)模龍頭艾為電子全新推出高性能NPU神經(jīng)網(wǎng)絡(luò)智能語(yǔ)音處理芯片：AWA89601，集成音頻專用NPU（神經(jīng)網(wǎng)絡(luò)處理器），通過(guò)聲音模型訓(xùn)練與NPU硬件結(jié)合，該芯片在AI降噪、AI人聲增強(qiáng)、
如何利用NPU與模型壓縮技術(shù)優(yōu)化邊緣AI
隨著人工智能模型從設(shè)計(jì)階段走向?qū)嶋H部署，工程師面臨著雙重挑戰(zhàn)：在計(jì)算能力和內(nèi)存受限的嵌入式設(shè)備上實(shí)現(xiàn)實(shí)時(shí)性能。神經(jīng)處理單元(NPU)作為強(qiáng)大的硬件解決方案，擅長(zhǎng)處理 AI 模型密集的計(jì)算需求。然而
實(shí)戰(zhàn)RK3568性能調(diào)優(yōu)：如何利用迅為資料壓榨NPU潛能-在Android系統(tǒng)中使用NPU
《實(shí)戰(zhàn)RK3568性能調(diào)優(yōu)：如何利用迅為資料壓榨NPU潛能-在Android系統(tǒng)中使用NPU》
開(kāi)源鴻蒙MNN AI應(yīng)用開(kāi)發(fā)與MNN移植經(jīng)驗(yàn)
本期內(nèi)容由AI Model SIG提供，介紹了在開(kāi)源鴻蒙中，利用MNN開(kāi)源框架開(kāi)發(fā)AI應(yīng)用以及基于MNN源碼編譯與Har包封裝的方法。
基于米爾瑞芯微RK3576開(kāi)發(fā)板的Qwen2-VL-3B模型NPU多模態(tài)部署評(píng)測(cè)
RKLLM-Toolkit），支持 Hugging Face 格式模型的量化（如 w4a16、w8a8）和優(yōu)化，適配 RK3588、RK3576 等高性能 NPU 芯片，通過(guò)降低模型
發(fā)表于 08-29 18:08
無(wú)法在NPU上推理OpenVINO?優(yōu)化的 TinyLlama 模型怎么解決？
在 NPU 上推斷 OpenVINO?優(yōu)化的 TinyLlama 模型。
遇到的錯(cuò)誤：
get_shape was called on a descriptor::Tensor with dynamic shape
發(fā)表于 07-11 06:58
鴻蒙5開(kāi)發(fā)寶藏案例分享---性能優(yōu)化案例解析
鴻蒙性能優(yōu)化寶藏指南：實(shí)戰(zhàn)工具與代碼案例解析
大家好呀！今天在翻鴻蒙開(kāi)發(fā)者文檔時(shí)，意外挖到一個(gè) 性能優(yōu)化寶藏庫(kù) ——原來(lái)官方早就提供了超多實(shí)用工具和案例，但很多小伙伴可能沒(méi)發(fā)現(xiàn)！這篇就
發(fā)表于 06-12 16:36
芯原超低能耗NPU可為移動(dòng)端大語(yǔ)言模型推理提供超40 TOPS算力
AI需求而設(shè)計(jì)，不僅能夠?yàn)锳I PC等終端設(shè)備提供強(qiáng)勁算力支持，而且能夠應(yīng)對(duì)智慧手機(jī)等移動(dòng)終端對(duì)低能耗更為嚴(yán)苛的挑戰(zhàn)。 芯原的超低能耗NPU IP具備高度可配置、可擴(kuò)展的架構(gòu)，支持混合精度
瑞芯微NPU使用攻略
核心要點(diǎn)：定義與功能硬件加速單元：RKNPU是集成在瑞芯微芯片中的專用NPU，專注于加速深度學(xué)習(xí)算法，如圖像識(shí)別、目標(biāo)檢測(cè)、語(yǔ)音處理等，同時(shí)優(yōu)化功耗與性能平衡。支
HarmonyOS優(yōu)化應(yīng)用內(nèi)存占用問(wèn)題性能優(yōu)化一
應(yīng)用開(kāi)發(fā)過(guò)程中注重內(nèi)存管理，積極采取措施來(lái)減少內(nèi)存占用，以優(yōu)化應(yīng)用程序的性能和用戶體驗(yàn)。
HarmonyOS提供了一些內(nèi)存管理的工具和接口，幫助開(kāi)發(fā)者有效地管理內(nèi)存資源：
onMemoryLevel接口
發(fā)表于 05-21 11:27
Arm CPU適配通義千問(wèn)Qwen3系列模型
與阿里巴巴開(kāi)源的輕量級(jí)深度學(xué)習(xí)框架 MNN 已深度集成。得益于此，Qwen3-0.6B、Qwen3-1.7B 及 Qwen3-4B 三款模型能夠在搭載 Arm 架構(gòu) CPU 的移動(dòng)設(shè)備上無(wú)縫運(yùn)行，為用戶提供卓越的端側(cè) AI 推理能力。
超越CPU/GPU：NPU如何讓AI“輕裝上陣”？
和計(jì)算速度上更具優(yōu)勢(shì)，尤其適合移動(dòng)設(shè)備、邊緣計(jì)算和嵌入式AI場(chǎng)景。 ? NPU有幾大核心特點(diǎn)：其一是專用架構(gòu)，針對(duì)神經(jīng)網(wǎng)絡(luò)計(jì)算優(yōu)化，支持并行處理大量矩陣運(yùn)算（如INT8/FP16低精度
Arm與阿里巴巴合作加速端側(cè)多模態(tài)AI體驗(yàn)
Arm 控股有限公司（納斯達(dá)克股票代碼：ARM，以下簡(jiǎn)稱“Arm”）近日發(fā)布與阿里巴巴淘天集團(tuán)輕量級(jí)深度學(xué)習(xí)框架 MNN 的又一新合作。
工商網(wǎng)監(jiān)
評(píng)論