我們拿到瑞芯微RK182X算力協(xié)處理器評(píng)估套件實(shí)物后，第一時(shí)間基于創(chuàng)龍科技RK3588工業(yè)評(píng)估板進(jìn)行了實(shí)測(cè)，用真實(shí)數(shù)據(jù)告訴你，這款“AI推理外掛”究竟有多強(qiáng)！

▍端側(cè)算力，硬核升級(jí)

RK182X是瑞芯微針對(duì)端側(cè)AI大模型推出的算力協(xié)處理器，它在性能與成本之間取得了出色平衡。它采用先進(jìn)3D堆疊封裝技術(shù)，內(nèi)嵌2.5GB/5GB高帶寬DRAM，算力高達(dá)20TOPS，端側(cè)生成速度理論可突破100 tokens/s，可輕松駕馭3B/7B大模型。

在兼容性與擴(kuò)展性方面，RK182X同樣表現(xiàn)突出：兼容OpenAI API接口，可大幅降低開(kāi)發(fā)集成門(mén)檻；支持多個(gè)RK182X協(xié)處理器靈活疊加，可根據(jù)實(shí)際需求彈性擴(kuò)容算力，無(wú)論是輕量型AI場(chǎng)景還是高密度計(jì)算任務(wù)，都能精準(zhǔn)適配。

▍性能實(shí)測(cè)，數(shù)據(jù)說(shuō)話

為驗(yàn)證RK182X在真實(shí)場(chǎng)景下的推理能力，我們針對(duì)主流大語(yǔ)言模型(LLM)與視覺(jué)檢測(cè)模型(CNN)進(jìn)行了性能實(shí)測(cè)。

針對(duì)熱門(mén)的Qwen2.5系列模型，RK182X展現(xiàn)出卓越的推理能力，可流暢運(yùn)行7B模型，解碼吞吐率達(dá)到70.27 tokens/s，滿(mǎn)足端側(cè)實(shí)時(shí)交互需求。

備注：測(cè)試基于InputTokens（輸入Token數(shù)）=128，New Tokens（新生成Token數(shù)）=128TTFT：模型生成第一個(gè)token所需的時(shí)間TPS：模型每秒能生成的token數(shù)量
模型性能及用戶(hù)體驗(yàn)等級(jí)參考如下：

RK182X在典型CNN模型上表現(xiàn)出優(yōu)秀的推理性能，單核推理幀率高達(dá)35.41fps，而在多batch多核并行模式下，幀率進(jìn)一步提升至212.65fps，展現(xiàn)出超強(qiáng)的批量處理與并行計(jì)算能力。

▍模型生態(tài)，全面覆蓋

RK182X系列已全面兼容LLM（大語(yǔ)言模型）、VLM（視覺(jué)語(yǔ)言模型）、CNN（卷積神經(jīng)網(wǎng)絡(luò)）3大主流AI模型，無(wú)論是文本交互、圖文理解還是圖像識(shí)別任務(wù)，都能提供穩(wěn)定高效的算力支撐，可快速完成模型部署。

▍場(chǎng)景落地，即插即用

目前，創(chuàng)龍科技已完成RK3588評(píng)估板 + RK182X評(píng)估套件的適配工作，可提供詳細(xì)測(cè)試步驟文檔。
RK3588負(fù)責(zé)多任務(wù)調(diào)度與復(fù)雜邏輯處理，RK182X專(zhuān)注高負(fù)載AI推理，該組合可廣泛應(yīng)用于智能機(jī)器人、工業(yè)視覺(jué)檢測(cè)、邊緣計(jì)算網(wǎng)關(guān)、輸電線路巡檢、鐵路巡防等場(chǎng)景，為端側(cè)AI部署提供強(qiáng)勁算力支撐。
RK182X算力卡通過(guò)PCIe高速接口與RK3588評(píng)估板協(xié)同工作。
審核編輯 黃宇