前 言

本文檔聚焦于RK3562處理器的視頻圖像處理框架與處理能力。同時(shí)，通過詳細(xì)的視頻開發(fā)案例演示基于RK3562的視頻開發(fā)流程，旨在助力用戶高效、精準(zhǔn)地評估該芯片在視頻處理領(lǐng)域的性能表現(xiàn)。

開發(fā)環(huán)境

Windows開發(fā)環(huán)境：Windows7 64bit、Windows10 64bit

Linux開發(fā)環(huán)境：VMware16.2.5、Ubuntu20.04.6 64bit

sysroot：rk3562-Tronlong-Desktop-20.04-sysroot-[版本號].tar.gz

系統(tǒng)版本：Tronlong-Desktop20.04（類Ubuntu）、Linux-5.10.209、U-Boot-2017.09

備注：本文基于2GByte LPDDR4X、16GByte eMMC配置單板機(jī)進(jìn)行演示。

術(shù)語表

為便于閱讀，下表對文檔出現(xiàn)的關(guān)鍵術(shù)語進(jìn)行解釋；對于廣泛認(rèn)同釋義的術(shù)語，在此不做注釋。

注意事項(xiàng)

（1）無特殊說明情況下，本文默認(rèn)從eMMC啟動系統(tǒng)，使用DEBUG作為調(diào)試串口，使用欣瑞達(dá)的XT070YTA23R_A6LVDS電阻屏作為顯示輸出。

圖 1

（2）請先參考《應(yīng)用開發(fā)手冊》的“開發(fā)環(huán)境搭建說明”章節(jié)完成應(yīng)用開發(fā)環(huán)境搭建。

（3）我司提供的視頻圖像處理開發(fā)案例存放于產(chǎn)品資料的“4-軟件資料Demoplatform-demos”目錄。為方便您系統(tǒng)了解相關(guān)案例信息，下表對本文所涉及的全部視頻案例的測試結(jié)果進(jìn)行了匯總，同時(shí)亦標(biāo)注出每個(gè)案例所適配的視頻模塊型號。

1視頻圖像處理框架

本章節(jié)主要介紹RK3562J/RK3562平臺的視頻圖像處理框架。由于RK3562J和RK3562芯片的引腳和外設(shè)資源均一致，因此下述以RK3562處理器為例進(jìn)行說明。

為方便說明RK3562的視頻圖像處理框架，下文將相關(guān)視頻接口和協(xié)處理器劃分為以下5個(gè)部分：

（1）視頻圖像輸入

接口：MIPI CSI RX、PCIe2.1；

協(xié)處理器：VICAP(Video Input Processor)，ISP(Image Signal Processor)。

（2）視頻圖像輸出

接口：LVDS、MIPI DSI TX、RGB/BT656/BT1120；

協(xié)處理器：VOP(Video Output Processor)。

（3）視頻圖像Graphics Engine

2D協(xié)處理器：2D Graphics Engine；

3D協(xié)處理器：GPU Mali-G52-2EE。

（4）視頻圖像編解碼

協(xié)處理器：VPU(Video Process Unit)。

（5）視頻圖像視覺算法加速

協(xié)處理器：NPU(Neural Process Unit)、GPGPU（General Purpose computing on GPU，同上述GPU Mali-G52-2EE）。

1.1視頻圖像輸入

1.1.1MIPICSIRX接口

（1）兼容MIPI接口規(guī)范V1.2

（2）支持4Lane，最高2.5Gbps/Lane

（3）支持MIPI-HS，MIPI-LP模式

（4）支持的模式

Camera x2：2 MIPI CSI DPHY (4 Lane)

Camera x4：4 MIPI CSI DPHY (2 Lane)

常見視頻輸入數(shù)據(jù)量理論帶寬及Lane數(shù)量要求：

備注：以下評估結(jié)果不含數(shù)據(jù)傳輸協(xié)議相關(guān)開銷，協(xié)議開銷約為幾個(gè)百分點(diǎn)。

Raw8下1920x1080@60fps數(shù)據(jù)量為1920 x 1080 x 1 x 8 x 60 / 10^9 ≈0.99Gbps 1 Lane

YUV422下1920x1080@60fps數(shù)據(jù)量為1920 x 1080 x 2 x 8 x 60 / 10^9 ≈1.99Gbps 1 Lane

Raw8下UHD 3840x2160@60fps數(shù)據(jù)量為3840 x 2160 x 1 x 8 x 60 / 10^9 ≈3.98Gbps 2 Lane

YUV422下UHD 3840x2160@60fps數(shù)據(jù)量為3840 x 2160 x 2 x 8 x 60 / 10^9 ≈7.96Gbps 4 Lane

以O(shè)V13850攝像頭為例，該攝像頭的視頻輸入數(shù)據(jù)量理論帶寬及Lane數(shù)量要求如下：

根據(jù)OV13850數(shù)據(jù)手冊說明，使用4個(gè)Lane時(shí)最大輸出為4224x3136@30fps Raw10。此時(shí)，總數(shù)據(jù)量約為4224 x 3136 x 1 x 10 x 30 / 10^9 ≈3.974 Gbps，平攤至4個(gè)Lane約0.99Gbps/Lane，小于2.5Gbps/Lane。

其它：

使用Raw格式輸入時(shí)，還應(yīng)考慮ISP的處理能力。

1.1.2VICAP

Video Input Processor，從MIPI CSI RX接收Camera圖像數(shù)據(jù)。

（1）輸入接口

最多同時(shí)支持4路接入：MIPI CSI RX x 4

（2）支持輸出輸入MIPI CSI數(shù)據(jù)（格式：RAW8/10/12/14、YUV422）

（3）支持輸出RAW數(shù)據(jù)、YUV數(shù)據(jù)（格式：NV16/NV12/YUV400/YUYV）

（4）支持直接發(fā)送RAW數(shù)據(jù)到ISP

1.1.3ISP

Dual Pipe ISP，從VICAP接收Camera圖像并進(jìn)行圖像處理。

（1）輸入接口

最多同時(shí)支持4路接入。

（2）圖像數(shù)據(jù)處理能力

13M：4224x3136@30fps。

1.1.4PCIe接口

（1）PCIe 2.1（與USB3.0復(fù)用Multi-PHY）

支持RC模式，1Lane；

最大理論帶寬：5Gbps（支持1920x1080@60fpsRGB24視頻輸入，數(shù)據(jù)量約為2.985Gbps）。

備注：PCIe接口常用于接收來自FPGA端的圖像輸入。

1.2視頻圖像輸出

VOP會從內(nèi)存中讀取視頻數(shù)據(jù)和UI數(shù)據(jù)進(jìn)行縮放、裁剪、圖層疊加等處理，然后將數(shù)據(jù)發(fā)送至不同顯示接口進(jìn)行圖像的顯示。VOP的處理及接口能力決定了最終的圖像輸出能力。

（1）RGB Parallel Display

2048x1080@60fps。

（2）BT656/BT1120

BT1120：支持1920x1080/I輸出；

BT656：支持720x576/I輸出。

（3）MIPI DSI TX

2048x1080@60fps。

（4）LVDS

800x1280@60fps。

1.3視頻圖像編解碼

1.3.1視頻解碼

1.3.2視頻編碼

1.3.3JPEG解碼

（1）最高支持65536x65536分辨率（429500萬像素）。

1.3.4JPEG編碼

（1）最高支持8192x8192分辨率；

（2）性能可達(dá)每秒9000萬像素。

1.4視頻圖像Graphics Engine

1.4.12D Graphics Engine

2D Graphics Engine是一個(gè)2D圖形處理加速引擎，可實(shí)現(xiàn)圖像的旋轉(zhuǎn)，縮放，裁剪，混合和RGB/YUV轉(zhuǎn)換等。主要特性如下：

（1）輸入：ARGB/RGB888/RGB565/RGB4444/RGB5551/YUV420/YUV422/YUYV/YUV422SP10bit/YUV420SP10bit(YUV-8bits out)，最大8192x8192；

（2）輸出：ARGB/RGB888/RGB565/RGB4444/RGB5551/YUV420/YUV422/YUYV，最大4096x4096；

（3）旋轉(zhuǎn)：90/180/270度；

（4）鏡像：x-mirror、y-mirror；

（5）Alpha Blending功能支持：per pixel alpha和fading。

1.4.2Mali-G52-2EE

Mali-G52-2EE支持2D/3D圖形處理加速。主要特性如下：

3D API支持：OpenGLES 1.1/2.0/3.2、Vulkan1.0/1.1、OpenCL 2.0 Full Profile。

1.5視頻圖像視覺算法加速

1.5.1NPU(Neural Process Unit)

NPU是一個(gè)神經(jīng)網(wǎng)絡(luò)推理加速引擎。主要特性如下：

（1）算力1TOPS；

（2）支持INT4/INT8/INT16/FP16；

（3）支持的深度學(xué)習(xí)框架：TensorFlow，Caffe，Pytorch，MXNet等。

1.5.2GPGPU(General Purpose computing on GPU)

Mali-G52-2EE亦為GPGPU，通過OpenCL進(jìn)行通用計(jì)算，可實(shí)現(xiàn)計(jì)算加速和神經(jīng)網(wǎng)絡(luò)推理加速。

計(jì)算加速：OpenCL 2.0Full Profile；

神經(jīng)網(wǎng)絡(luò)推理加速：TVM（基于OpenCL），使用參考：https://tvm.apache.org/docs。

1.6單板機(jī)視頻接口說明

（1）視頻圖像輸入

MIPI CSI RX接口：

PCIe接口：

支持FPGA基于PCIe 2.1 1Lane RC/EP的視頻輸入測試。

（2）視頻圖像輸出

單板機(jī)板載2個(gè)視頻輸出接口：LVDS LCD、MIPI LCD。我司軟件系統(tǒng)對視頻輸出接口配置如下，且系統(tǒng)默認(rèn)按“配置一”進(jìn)行配置，如需使用其它配置，需修改Linux設(shè)備樹。

審核編輯 黃宇