瑞芯微RK3576芯片平臺(tái)實(shí)現(xiàn)多路AHD高清攝像頭輸入演示，基于觸覺智能RK3576開發(fā)板Purple Pi OH2演示。

AHD簡介

• AHD簡介

AHD全稱為Analog High Definition，是一種基于模擬傳輸?shù)母咔逡曨l技術(shù)。其核心優(yōu)勢(shì)在于通過同軸電纜實(shí)現(xiàn)500米無壓縮高清信號(hào)傳輸，支持1080P分辨率，并采用亮色分離、模擬濾波及3D降噪技術(shù)提升圖像質(zhì)量。

• 應(yīng)用場(chǎng)景

觸覺智能RK3576核心板作為一款高性能AIoT模組，憑借其8核CPU+16M ISP+6Tops算力NPU的強(qiáng)大性能，在與AHD高清攝像頭組合，可應(yīng)用于以下領(lǐng)域：機(jī)器人（如智能割草機(jī)）、車載NVR（行車記錄/監(jiān)控系統(tǒng)）、新零售智能終端（無人售貨柜、智能零售亭、廣告機(jī)）、電梯樓宇對(duì)講與門禁系統(tǒng)、農(nóng)機(jī)平板等。

• 演示環(huán)境

演示設(shè)備為觸覺智能RK3576開發(fā)板Purple Pi OH2，系統(tǒng)固件為Debian12。其配套核心板，40.5×40.5mm極致小尺寸郵票孔，支持LPDDR4或LPDDR5高速內(nèi)存，率先適配開源鴻蒙OpenHarmony5.0國產(chǎn)操作系統(tǒng)，100%全國產(chǎn)，支持最高-40~85℃工業(yè)級(jí)環(huán)境。

軟硬件系統(tǒng)框架解析

• 硬件連接框架

觸覺智能RK3576系列產(chǎn)品（核心板/開發(fā)板/行業(yè)主板）采用的AHD攝像頭連接方案為分層結(jié)構(gòu)設(shè)計(jì)，整個(gè)硬件連接框架分為攝像頭層、轉(zhuǎn)換層、處理層和顯示層4層連接：

（1）攝像頭層由多路AHD攝像頭組成，這些攝像頭布置在不同位置，從多個(gè)角度采集視頻數(shù)據(jù)。

（2）轉(zhuǎn)換層由AHD轉(zhuǎn)接板實(shí)現(xiàn)，負(fù)責(zé)將模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)。

（3）處理層以觸覺智能RK3576系列產(chǎn)品（核心板/開發(fā)板/行業(yè)主板）為核心，負(fù)責(zé)對(duì)視頻流進(jìn)行編解碼、分析和合成。

（4）顯示層則通過多種顯示接口實(shí)現(xiàn)視頻輸出，如HDMI、DP或MIPI-DSI接口。

• 軟件架構(gòu)

以Linux系統(tǒng)為例，利用GStreamer框架實(shí)現(xiàn)視頻采集、處理和推送。軟件架構(gòu)主要包括設(shè)備驅(qū)動(dòng)層、中間件層和應(yīng)用層。設(shè)備驅(qū)動(dòng)層負(fù)責(zé)管理硬件設(shè)備，如AHD轉(zhuǎn)接板、顯示接口等；中間件層提供視頻處理、編碼解碼、AI分析等功能；應(yīng)用層則實(shí)現(xiàn)具體的業(yè)務(wù)邏輯，如視頻監(jiān)控、行為分析、人臉識(shí)別等。

對(duì)于AI視覺應(yīng)用，軟件架構(gòu)還可以利用RK3576強(qiáng)大的6Tops算力NPU為基礎(chǔ)，集成AI推理框架，如RKNN（Rockchip Neural Network SDK）。RKNN是瑞芯微推出的神經(jīng)網(wǎng)絡(luò)推理框架，支持多種深度學(xué)習(xí)框架的模型轉(zhuǎn)換和優(yōu)化并高效運(yùn)行。通過RKNN，開發(fā)者可以實(shí)現(xiàn)人臉識(shí)別、車輛檢測(cè)、行為分析等AI功能，并將這些功能集成到GStreamer管道中，實(shí)現(xiàn)對(duì)視頻流的實(shí)時(shí)分析。

測(cè)試方法&實(shí)測(cè)演示

測(cè)試方法&實(shí)測(cè)演示

4路AHD攝像頭（4×1080P@30FPS輸入）
畫面預(yù)覽命令：

gst-launch-1.0 v4l2src device=/dev/video3 ! video/x-raw, format=NV12, width=1280, height=720, framerate=30/1 ! videoconvert ! xvimagesink render-rectangle="<960,540,960,540>" sync=false & gst-launch-1.0 v4l2src device=/dev/video0 ! video/x-raw, format=NV12, width=1280, height=720, framerate=30/1 ! videoconvert ! xvimagesink render-rectangle="<0,0,960,540>" sync=false & sleep 2 gst-launch-1.0 v4l2src device=/dev/video1 ! video/x-raw, format=NV12, width=1280, height=720, framerate=30/1 ! videoconvert ! xvimagesink render-rectangle="<960,0,960,540>" sync=false & sleep 2 gst-launch-1.0 v4l2src device=/dev/video2 ! video/x-raw, format=NV12, width=1280, height=720, framerate=30/1 ! videoconvert ! xvimagesink render-rectangle="<0,540,960,540>" sync=false & sleep 2

8路AHD攝像頭（4×720P@30FPS+4×1080P@30FPS輸入）
畫面預(yù)覽命令：

gst-launch-1.0 v4l2src device=/dev/video0 ! video/x-raw, format=NV12, width=1920, height=1080, framerate=30/1 ! videoconvert ! xvimagesink render-rectangle="<0,0,480,360>" sync=false & sleep 2 gst-launch-1.0 v4l2src device=/dev/video1 ! video/x-raw, format=NV12, width=1920, height=1080, framerate=30/1 ! videoconvert ! xvimagesink render-rectangle="<480,0,480,360>" sync=false & sleep 2 gst-launch-1.0 v4l2src device=/dev/video2 ! video/x-raw, format=NV12, width=1920, height=1080, framerate=30/1 ! videoconvert ! xvimagesink render-rectangle="<960,0,480,360>" sync=false & sleep 2 gst-launch-1.0 v4l2src device=/dev/video3 ! video/x-raw, format=NV12, width=1920, height=1080, framerate=30/1 ! videoconvert ! xvimagesink render-rectangle="<1440,0,480,360>" sync=false & sleep 2 gst-launch-1.0 v4l2src device=/dev/video11 ! video/x-raw, format=NV12, width=1280, height=720, framerate=30/1 ! videoconvert ! xvimagesink render-rectangle="<0,400,480,360>" sync=false & sleep 2 gst-launch-1.0 v4l2src device=/dev/video12 ! video/x-raw, format=NV12, width=1280, height=720, framerate=30/1 ! videoconvert ! xvimagesink render-rectangle="<480,400,480,360>" sync=false & sleep 2 gst-launch-1.0 v4l2src device=/dev/video13 ! video/x-raw, format=NV12, width=1280, height=720, framerate=30/1 ! videoconvert ! xvimagesink render-rectangle="<960,400,480,360>" sync=false & sleep 2 gst-launch-1.0 v4l2src device=/dev/video14 ! video/x-raw, format=NV12, width=1280, height=720, framerate=30/1 ! videoconvert ! xvimagesink render-rectangle="<1440,400,480,360>" sync=false &

8路AHD攝像頭（8×1080P@30FPS輸入）
畫面預(yù)覽命令：

gst-launch-1.0 v4l2src device=/dev/video0 ! video/x-raw, format=NV12, width=1920, height=1080, framerate=30/1 ! videoconvert ! xvimagesink render-rectangle="<0,0,480,360>" sync=false & sleep 2 gst-launch-1.0 v4l2src device=/dev/video1 ! video/x-raw, format=NV12, width=1920, height=1080, framerate=30/1 ! videoconvert ! xvimagesink render-rectangle="<480,0,480,360>" sync=false & sleep 2 gst-launch-1.0 v4l2src device=/dev/video2 ! video/x-raw, format=NV12, width=1920, height=1080, framerate=30/1 ! videoconvert ! xvimagesink render-rectangle="<960,0,480,360>" sync=false & sleep 2 gst-launch-1.0 v4l2src device=/dev/video3 ! video/x-raw, format=NV12, width=1920, height=1080, framerate=30/1 ! videoconvert ! xvimagesink render-rectangle="<1440,0,480,360>" sync=false & sleep 2 gst-launch-1.0 v4l2src device=/dev/video11 ! video/x-raw, format=NV12, width=1920, height=1080, framerate=30/1 ! videoconvert ! xvimagesink render-rectangle="<0,400,480,360>" sync=false & sleep 2 gst-launch-1.0 v4l2src device=/dev/video12 ! video/x-raw, format=NV12, width=1920, height=1080, framerate=30/1 ! videoconvert ! xvimagesink render-rectangle="<480,400,480,360>" sync=false & sleep 2 gst-launch-1.0 v4l2src device=/dev/video13 ! video/x-raw, format=NV12, width=1920, height=1080, framerate=30/1 ! videoconvert ! xvimagesink render-rectangle="<960,400,480,360>" sync=false & sleep 2 gst-launch-1.0 v4l2src device=/dev/video14 ! video/x-raw, format=NV12, width=1920, height=1080, framerate=30/1 ! videoconvert ! xvimagesink render-rectangle="<1440,400,480,360>" sync=false &

如需停止預(yù)覽，輸入以下命令：

killall gst-launch-1.0

實(shí)測(cè)數(shù)據(jù)
觸覺智能RK3576開發(fā)板得益于其強(qiáng)悍配置，多路AHD高清攝像頭輸入實(shí)現(xiàn)了畫面毫秒級(jí)延遲！

1路攝像頭1080P@30FPS輸入畫面延遲，實(shí)測(cè)為89毫秒，實(shí)拍圖：

4路攝像頭1080P@30FPS輸入畫面延遲，實(shí)測(cè)僅146毫秒，實(shí)拍圖：

8路攝像頭1080P@30FPS輸入畫面延遲，實(shí)測(cè)僅233毫秒，實(shí)拍圖：

內(nèi)存CPU的占用率：