作者：Hello,Panda

做事情講究個(gè)“謀定而后動(dòng)”，做研發(fā)尤其如此，準(zhǔn)備工作一定要做得充分了，需求一定要理解明確了，方可開始吭哧吭哧繼續(xù)往下干。

樓主先準(zhǔn)備以ZCU104為平臺(tái)，實(shí)現(xiàn)一個(gè)視頻處理和傳輸系統(tǒng)，算是熟悉ZYNQ UltraScale+ MPSoC器件。

總體要求是：設(shè)計(jì)一個(gè)圖像采集、處理和傳輸系統(tǒng)，實(shí)時(shí)視頻分辨率不小于4000×3000，幀率不小于30fps，視頻可通過HDMI2.0(或DP)接口本地實(shí)時(shí)顯示。JPEG壓縮的圖片和H.265壓縮后的視頻存儲(chǔ)在本地SATA盤中，實(shí)時(shí)碼流可通過GigE Vision傳輸?shù)街鳈C(jī)。系統(tǒng)總體框架如下圖1所示。

圖1 系統(tǒng)總體框架

一、硬件平臺(tái)
本階段先使用ZCU104平臺(tái)進(jìn)行驗(yàn)證，Camera和SFP接口通過FMC擴(kuò)展板實(shí)現(xiàn)。

二、軟件需求
軟件包括PL和PS兩個(gè)部分，其中PL部分實(shí)現(xiàn)Camera IF、ISP、Encoder、GigE Vision和HDMI2.0接口；PL部分運(yùn)行Linux操作系統(tǒng)，使用QT圖形界面，驅(qū)動(dòng)DP顯示和SSD存儲(chǔ)。

1. PL部分
PL部分主要實(shí)現(xiàn)接口和算法。

（1）相機(jī)接口（Camera IF）

Camera IF硬件上通過FMC接口板接入，支持LVDS（LVDS通道數(shù)不大于15對(duì)）、MIPI D-PHY、MIPI C-PHY接入。Camera 分辨率不低于4000×3000，幀率不低于30fps，8bit、10bit或12bit Raw（Bayer）數(shù)據(jù)輸入。

（2）圖像信號(hào)處理（ISP）

本階段ISP實(shí)現(xiàn)基本功能,主要包括：Demosaic、CCM、3A、Dpc、Gamma、Denoise、Enhance等基本內(nèi)容，ISP需保證對(duì)輸入圖像實(shí)時(shí)處理。

（3）Encoder

Encoder主要有兩部分，一個(gè)H.265視頻流壓縮，一個(gè)是JPEG靜態(tài)圖片壓縮。H.265使用芯片內(nèi)置的硬核，JPEG壓縮通過邏輯實(shí)現(xiàn)。H.265至少保證4000×3000分辨率30fps實(shí)時(shí)壓縮。

（4）GigE Vision網(wǎng)絡(luò)傳輸

GigE Vision采用10G光口傳輸，硬件在FMC擴(kuò)展板上實(shí)現(xiàn)。GigE Vision可實(shí)時(shí)傳輸原始圖像、ISP處理后的圖像、H.265碼流和JPEG靜態(tài)圖片，通過xml配置文件指定支持的源和格式。

（5）HDMI2.0接口

基于GTH，符合HDMI2.0標(biāo)準(zhǔn)，顯示原圖或ISP后的圖像，可疊加OSD。

2. PS部分
PS部分運(yùn)行Linux操作系統(tǒng)，運(yùn)行QT疊加生成OSD。

（1）調(diào)度功能

PS需配置PL工作的各項(xiàng)參數(shù)，獲取系統(tǒng)狀態(tài)，運(yùn)行3A算法的C部分。PS部分還需處理PL的各中斷，以協(xié)同處理存儲(chǔ)、顯示等工作。

（2）存儲(chǔ)和顯示

實(shí)現(xiàn)DP和SATA驅(qū)動(dòng)，存儲(chǔ)和讀出PL生成的視頻流文件請(qǐng)求。運(yùn)行QT，生成人機(jī)交互界面。

三、總結(jié)
整個(gè)系統(tǒng)基于AXI4總線架構(gòu)，SoC軟件硬件協(xié)同處理，需要保證良好的可擴(kuò)展性，以便擴(kuò)展下一步的圖像檢測(cè)和識(shí)別算法、AI算法等。

編輯：hfy