背景

在之前的文章中，我們介紹了基于AXCL軟件框架的算力疊加方案，能夠助力樹莓派生態(tài)在當(dāng)下火爆的AI大模型部署場景：愛芯分享 | 樹莓派&AXCL：樹莓派離線大模型新范式

在推廣的過程中，樹莓派生態(tài)客戶反饋希望能提供一種兼容原裝Raspberry PI HAT的M.2 2242的AI Card版本。經(jīng)過國內(nèi)優(yōu)秀的AIOT硬件設(shè)計公司M5Stack長達(dá)幾個月的反復(fù)設(shè)計，終于在本周正式上架了LLM?8850?Card，非常和Raspberry PI 5匹配。

描述

LLM?8850?Card是一款面向邊緣設(shè)備的M.2 M-KEY 2242?AI加速卡，把42?mm的袖珍體積與Axera AX8850?SoC的24?TOPS?@?INT8算力結(jié)合起來，為Raspberry Pi 5、RK3588、x86 PC等主機“一插即強”地擴展多模態(tài)大模型與視頻分析能力?？ㄉ吓鋫湮⑿蜏u輪風(fēng)扇+鋁合金CNC鰭片的主動散熱系統(tǒng)，由板載EC根據(jù)溫度?電流曲線智能調(diào)速，長期滿載也能維持低溫穩(wěn)態(tài)，避免密閉機殼內(nèi)的熱衰減。

板載DCDC+PMIC電源鏈路由EC進(jìn)行實時功耗管理，實現(xiàn)“按需供電、按需散熱”，大幅提升整機穩(wěn)定性。支持AXCL?Runtime，支持C/Python API一鍵部署YOLO?v8/11、CLIP、Whisper、Llama3.2、InternVL3、Qwen3等主流CNN、Transformer、LLM與多模態(tài)模型。

同時利用AX8850的VPU硬件管線，提供H.264/H.265 8K編解碼與同編同解轉(zhuǎn)碼加速與縮放/裁切，兼顧AI與視頻流處理。支持host使用ffmpeg直接調(diào)用硬件視頻編解碼器。

快速上手

具體教程請參考M5Stack官方的教程，非常詳細(xì)，適合有樹莓派開發(fā)經(jīng)驗的工程師直接上手。

產(chǎn)品特性

應(yīng)用場景

工業(yè)/商用SBC算力升級：Raspberry?Pi 5、RK3588、TI?AM62x等板卡本地運行目標(biāo)檢測、缺陷識別

具身智能機器人：AMR/AGV/服務(wù)機器人即插即得“感知?決策?控制”本地鏈

AIPC&邊緣智能終端：在迷你PC內(nèi)提供離線Copilot、客服問答、會議字幕&即時翻譯

NVR/NAS智能化改造：舊存儲盒增添多路AI車牌抓拍、事件摘要檢索+硬件轉(zhuǎn)碼

智能交互設(shè)備：語音助手、智能門鈴、廣告機實現(xiàn)本地LLM+TTS的低時延對話

AI視覺網(wǎng)關(guān)：交通路口、園區(qū)閘機前端推理，實時客流統(tǒng)計與危險行為告警

解決方案

以下基于樹莓派5+LLM8850 Card的各種解決方案從本月開始已陸續(xù)釋放到GitHub和Huggingface開源社區(qū)，請大家持續(xù)關(guān)注。

7.1 AI NAS（CasaOS）

借助于樹莓派優(yōu)秀的軟件生態(tài)，我們已基于當(dāng)前最流行的開源NAS解決方案CasaOS進(jìn)行了LLM8850算力卡的適配，將完美地解決CasaOS中智能相冊Immich（已完成文搜圖大模型適配）在樹莓派5上運行占用CPU資源巨大的問題。

7.2 AI NVR（Frigate）

Frigate是目前最流行的開源NVR項目，在樹莓派的用戶群體中，很多玩家基于Frigate打造自己的家庭私有NVR管理平臺。基于LLM8850算力卡，不僅可以將傳統(tǒng)的目標(biāo)檢測算法遷移到算力卡上，甚至可以將原本Frigate推薦在NV GPU卡上運行的多模態(tài)大模型也運行到算力卡，將NVR升級為文搜大模型NVR。

7.3 文搜圖

無論是AI NAS還是AI NVR，其底層核心技術(shù)便是基于多模態(tài)Transformer模型實現(xiàn)了文搜圖功能，我們已適配國內(nèi)外各種CLIP模型并整理成SDK交付包，方便已有項目快速集成升級。

7.4 會議轉(zhuǎn)錄

本地會議轉(zhuǎn)錄采用VAD+聲紋識別+ASR架構(gòu)，RTF＜0.2，處理1小時的會議錄音只需要10分鐘。

7.5 本地翻譯

本地離線翻譯采用VAD+ASR+LLM+TTS架構(gòu)，可根據(jù)具體使用場景更換對應(yīng)模塊的算法模型，更加靈活。

7.6 語音克隆

基于LLM的增強式語音生成模型，目前已適配CosyVoice2。

7.7 視頻增強

由視頻超分、視頻插幀兩種方案組成，目前已開源。

感謝

感謝M5Stack優(yōu)秀的工程師們設(shè)計出如此驚艷的端側(cè)AI算力產(chǎn)品，讓更多的社區(qū)開發(fā)者能夠接觸到大模型時代帶來的技術(shù)革新。