在邊緣計(jì)算領(lǐng)域，算力與實(shí)時(shí)性之間的博弈從未停止。近期基于米爾MYD-LR3576 開發(fā)板+PCIe M.2接口Hailo-8算力卡進(jìn)行了一系列深度測(cè)試，一組實(shí)測(cè)數(shù)據(jù)，或許能幫你重新審視邊緣AI的“性能天花板”。

圖：米爾基于RK3576開發(fā)板

一、RK3576 的算力極限在哪里？

RK3576內(nèi)置NPU由2核組成，具備6 TOPS 算力，在常規(guī)輕量級(jí)模型推理中表現(xiàn)不俗。但在實(shí)際項(xiàng)目中，我們通過多路并發(fā)測(cè)試發(fā)現(xiàn)，當(dāng)4路YOLOv5模型同時(shí)推理時(shí)，NPU負(fù)載率已超過75%。一旦增加到第5路，整體延遲急劇飆升，系統(tǒng)響應(yīng)明顯劣化。

在單路推理場(chǎng)景下，YOLOv5（640×640）耗時(shí)約26ms，折算下來僅能穩(wěn)定處理30fps的攝像頭數(shù)據(jù)。

這意味著什么？

當(dāng)攝像頭升級(jí)到60fps甚至120fps的高幀率場(chǎng)景時(shí)，單靠RK3576的NPU已經(jīng)無法做到逐幀實(shí)時(shí)處理。要么丟幀，要么延遲不斷累積——這在工業(yè)高速檢測(cè)、智慧交通、機(jī)器人導(dǎo)航等對(duì)實(shí)時(shí)性要求嚴(yán)苛的應(yīng)用中，是不可接受的。

二、Hailo-8算力卡介紹

Hailo-8 是一款專為邊緣 AI 推理設(shè)計(jì)的專用加速器，擁有26TOPS算力，面向嵌入式設(shè)備和低功耗場(chǎng)景，提供高效、可擴(kuò)展的 AI 計(jì)算能力。官方網(wǎng)址：https://hailo.ai/。為什么 Hailo-8 能在相同功耗下實(shí)現(xiàn)數(shù)倍于傳統(tǒng) NPU 的性能？答案不在算力數(shù)字，而在架構(gòu)：

1. 數(shù)據(jù)流架構(gòu)（Dataflow Architecture）

傳統(tǒng)NPU像“工廠”從倉(cāng)庫(kù)（DDR）來回搬運(yùn)數(shù)據(jù)，效率受限于搬運(yùn)速度。而Hailo-8的數(shù)據(jù)流架構(gòu)讓數(shù)據(jù)在芯片內(nèi)部“流水線式”流動(dòng)，大幅減少對(duì)外部?jī)?nèi)存的依賴。簡(jiǎn)單說：算力不再是瓶頸，內(nèi)存帶寬才是——而Hailo-8繞開了這個(gè)瓶頸。

2. 無外部 DRAM 依賴

Hailo-8不依賴外部大帶寬內(nèi)存，推理過程中幾乎不與CPU/NPU爭(zhēng)搶DDR資源。在多路視頻并發(fā)場(chǎng)景下，這意味著系統(tǒng)不會(huì)因?yàn)椤皳寖?nèi)存”而掉幀，整體穩(wěn)定性大幅提升。

三、實(shí)測(cè)數(shù)據(jù)：讓性能說話

在相同模型條件下（YOLOv5s）：

在更復(fù)雜模型（YOLOv8s）測(cè)試中，Hailo-8算力卡benchmark測(cè)試如下：

root@rk3576:~# hailortcli benchmark ./yolov8s.hef
Starting Measurements...
=======Summary=======FPS(hw_only)=208.543(streaming) = 208.1Latency (hw) = 7.03997 msDevice 000000.0: Power in streaming mode (average) = 3.07729 W(max) = 3.13305 W

7毫秒的推理延遲意味著：即使是120fps的高速攝像頭，系統(tǒng)也能輕松應(yīng)對(duì)，做到逐幀實(shí)時(shí)處理。

我們還運(yùn)行了Hailo-8自帶的攝像頭實(shí)時(shí)推理示例，效果如下：

四、應(yīng)用場(chǎng)景：當(dāng)實(shí)時(shí)性成為剛需

這套方案能解決哪些實(shí)際問題？我們來看幾個(gè)典型場(chǎng)景：

工業(yè)高速視覺檢測(cè)：120fps工業(yè)相機(jī)捕捉高速產(chǎn)線上的工件，Hailo-8的8ms推理延遲確保缺陷被實(shí)時(shí)發(fā)現(xiàn)并剔除，避免漏檢流入下一道工序。

智慧交通卡口：車輛高速通過時(shí)，系統(tǒng)需毫秒級(jí)完成檢測(cè)+識(shí)別+跟蹤。208 FPS的吞吐能力讓單節(jié)點(diǎn)可同時(shí)處理多模型，不丟車、不漏牌。

安防邊緣節(jié)點(diǎn)：4路以上4K視頻同時(shí)分析，Hailo-8的高吞吐讓單節(jié)點(diǎn)覆蓋范圍翻倍，大幅降低每路視頻的硬件成本。

五、總結(jié)：彈性算力，從容應(yīng)對(duì)高幀率挑戰(zhàn)

通過以上測(cè)試，我們可以清晰地看到：

引入Hailo-8算力卡后，YOLOv5推理時(shí)間縮短至8ms，YOLOv8實(shí)測(cè)達(dá)到208 FPS的吞吐量，不僅輕松覆蓋120fps攝像頭的全幀率推理，更預(yù)留了充足的算力余量。

彈性算力，按需選擇：成本敏感項(xiàng)目可單獨(dú)使用RK3576；高幀率、低延遲場(chǎng)景只需增加Hailo-8模塊，無需更換主控。

突破架構(gòu)局限，實(shí)現(xiàn)真正實(shí)時(shí)：Hailo-8的數(shù)據(jù)流架構(gòu)將有效算力利用率提升至80%以上，配合RK3576的PCIe 2.1接口，讓推理延遲從毫秒級(jí)壓縮至微秒級(jí)。

為未來預(yù)留空間：算法快速迭代的今天，RK3576+Hailo-8的組合為未來兩年的算法升級(jí)提供了充足的算力冗余，保護(hù)客戶的硬件投資。

延伸閱讀：如果你想深入了解RK3576的NPU的極致利用技巧，歡迎查閱我們此前的文章：《看過來，RK3576NPU方案你用對(duì)了嗎？》