海量參數(shù)的大模型給AI行業(yè)帶來(lái)顛覆性的體驗(yàn)，然而在端側(cè)設(shè)備中，由于有限的DRAM帶寬、硬件算力、存儲(chǔ)容量端等瓶頸，讓端側(cè)大模型長(zhǎng)期停留在概念階段，實(shí)時(shí)響應(yīng)速度、輸出長(zhǎng)度等核心訴求難以落地。

Rockchip全新高性能端側(cè)大模型協(xié)處理器RK182X，以硬核技術(shù)突破瓶頸，重構(gòu)端側(cè)智能格局，引領(lǐng)端側(cè)大模型落地。

3D 堆疊架構(gòu)突破帶寬瓶頸

RK182X 作為針對(duì)端側(cè)3B/7B大模型的協(xié)處理器，通過先進(jìn)的3D堆疊封裝技術(shù)，集成高帶寬嵌入式片內(nèi)DRAM（2.5GB/5GB版本），端側(cè)生成速率超100 tokens/s，端到端延遲低至0.1s，能夠提供包括文本、語(yǔ)音、圖片、視頻、傳統(tǒng)CNN等大模型在內(nèi)全方位的模型算法支持。

7B大模型30TPS帶寬需求：3.5GBx30=105GB/s

傳統(tǒng)2D芯片的DDR只能提供44-100GB的理論帶寬，而3D堆疊芯片的DDR能提供1TB/s DRAM 的理論帶寬！

RK182X LLM/VLM性能

RK182X有著專為AI設(shè)計(jì)的NPU架構(gòu)，并通過PCIe高速接口，與主SOC協(xié)同工作，內(nèi)置高帶寬DRAM，助力大模型的本地化部署和高效運(yùn)行。

以下是 RK182X 在運(yùn)行LLM時(shí)的表現(xiàn)：

數(shù)據(jù)基于RKNN3 SDK，所有模型使用w4a16量化，LLM input為128

以下是 RK182X 在運(yùn)行VLM時(shí)的表現(xiàn)：

數(shù)據(jù)基于RKNN3 SDK，所有模型使用w4a16量化

VL的LLM部分input為128

RK182X應(yīng)用案例演示

應(yīng)用案例1：視頻摘要

RK182X的端側(cè)VLM視頻分析以及實(shí)時(shí)預(yù)警方案中，RK3588對(duì)視頻進(jìn)行一個(gè)預(yù)處理，RK182X對(duì)VLM模型進(jìn)行推理加速，對(duì)畫面內(nèi)容作出實(shí)時(shí)且準(zhǔn)確的分析。以下是視頻摘要的案例演示：

從視頻中看出，RK182X對(duì)視頻中人物的行為、動(dòng)作及所在場(chǎng)景都做出了準(zhǔn)確的分析判斷，并且會(huì)對(duì)異常行為發(fā)出預(yù)警，適用于攝像頭監(jiān)控、安防NVR后端、車載哨兵模式等場(chǎng)景。AI處理均在端側(cè)離線的情況下進(jìn)行，保障用戶的隱私安全。

應(yīng)用案例2：視頻檢索

視頻檢索的應(yīng)用場(chǎng)景中，模型通過遍歷視頻資源，提取視頻序列存儲(chǔ)到數(shù)據(jù)庫(kù)，再通過圖文模態(tài)相似度比對(duì)，顯示檢索結(jié)果。以下是視頻檢索的案例演示：

從視頻可以看出，模型對(duì)視頻資源行為內(nèi)容的高精度匹配，對(duì)于超大視頻數(shù)據(jù)庫(kù)也能進(jìn)行快速匹配。該功能可適用于安防NVR后端、各類監(jiān)控等應(yīng)用場(chǎng)景。

應(yīng)用案例3：同聲傳譯

同聲傳譯是通過高速PCIe總線互聯(lián)，RK3588集成音頻3A算法，實(shí)現(xiàn)精準(zhǔn)拾音，RK182X則部署了同聲傳譯模型，首包延遲僅3.2秒。采用離線端部署，無(wú)需網(wǎng)絡(luò)，不僅保護(hù)隱私，還可以實(shí)現(xiàn)穩(wěn)定實(shí)時(shí)的語(yǔ)言翻譯。以下是同聲傳譯中會(huì)議模式的演示：

從視頻中可以看出模型低延遲、高準(zhǔn)確率的表現(xiàn)，同聲傳譯可應(yīng)用于視頻會(huì)議、商務(wù)洽談、留學(xué)旅游等跨語(yǔ)言交流的場(chǎng)景。

應(yīng)用案例4：陪伴機(jī)器人

陪伴機(jī)器人的應(yīng)用場(chǎng)景中，RK3588作為“小腦”，負(fù)責(zé)運(yùn)動(dòng)控制，而RK1828作為“大腦”負(fù)責(zé)感知決策，在對(duì)話（LLM）和場(chǎng)景分析（VLM）的方面都能發(fā)揮其極強(qiáng)優(yōu)勢(shì)，其中VLM在端側(cè)運(yùn)行，能夠有效保護(hù)用戶的隱私。雙模組架構(gòu)實(shí)現(xiàn)端云結(jié)合，同時(shí)滿足了表現(xiàn)效果和場(chǎng)景需求。

Firefly RK182X開發(fā)套件

RK182X開發(fā)套件采用雙模組結(jié)構(gòu)設(shè)計(jì)，通過PCIe接口連接，其中RK3588負(fù)責(zé)任務(wù)調(diào)度和數(shù)據(jù)預(yù)處理，RK182X專注AI推理，支持模型并行和多任務(wù)協(xié)作，確保高效分工和低延遲響應(yīng)。

Firefly RK182X 開發(fā)套件

1. 增強(qiáng)AI加速

基于RK182X的端側(cè)VLM視頻分析以及實(shí)時(shí)預(yù)警方案，其中RK3588對(duì)視頻進(jìn)行一個(gè)預(yù)處理，RK182X對(duì)VLM模型進(jìn)行推理加速，對(duì)畫面內(nèi)容作出實(shí)時(shí)且準(zhǔn)確的分析。

2. 高性能計(jì)算

RK3588采用8核CPU架構(gòu)，集成高性能VPU，支持8K視頻編解碼，結(jié)合RK182X實(shí)現(xiàn)高效視頻AI分析。

3. 邊緣低延遲

本地AI處理減少網(wǎng)絡(luò)依賴，實(shí)現(xiàn)毫秒級(jí)響應(yīng)和數(shù)據(jù)隱私保護(hù)，可在弱網(wǎng)環(huán)境下維持實(shí)時(shí)決策，提升整體系統(tǒng)可靠性和安全性。

4. 多網(wǎng)口連接

配備8個(gè)網(wǎng)口，支持高吞吐量數(shù)據(jù)傳輸和多設(shè)備互聯(lián)，適用于泛安防、教育、安全生產(chǎn)等場(chǎng)景。

5. 存儲(chǔ)擴(kuò)展性

通過SATA接口擴(kuò)展SSD/HDD，高效處理 AI 數(shù)據(jù)集或視頻日志，避免云端傳輸風(fēng)險(xiǎn)。

搶先體驗(yàn)雙核AI性能

Firefly RK182X開發(fā)套件為AI大模型提供強(qiáng)勁算力，多任務(wù)并行處理的能力。可支持語(yǔ)音識(shí)別、視頻編解碼、長(zhǎng)上下文對(duì)話等應(yīng)用場(chǎng)景，廣泛適用于智慧安防、智能機(jī)器人、邊緣AI計(jì)算、智能座艙、監(jiān)控分析、工業(yè)視覺檢測(cè)等領(lǐng)域。

現(xiàn)已正式上線發(fā)售，點(diǎn)擊前往購(gòu)買。