視覺是人類最高級別的感知，以視頻、圖像等形式為信息載體可以創(chuàng)造出豐富多彩的應(yīng)用。視覺信息處理技術(shù)的實(shí)現(xiàn)和發(fā)展極大改變了現(xiàn)代社會的生產(chǎn)活動：智能設(shè)備的拍照和視頻、醫(yī)學(xué)成像、人臉識別、科學(xué)可視化、行車記錄、安防監(jiān)控、國防探測、太空探索等前沿領(lǐng)域無不滲透著視覺信息處理技術(shù)，視覺信息處理已無處不在，并形成龐大的上下游產(chǎn)業(yè)。

隨著算法水平不斷進(jìn)步和計(jì)算機(jī)處理能力以及存儲能力的提升，再加上市場日益增長的消費(fèi)應(yīng)用升級的推動，從真實(shí)世界中得到的視覺信息數(shù)據(jù)通過ADC采集、再到數(shù)字化的算法處理分析、再經(jīng)過DAC的轉(zhuǎn)換輸出技術(shù)，已經(jīng)發(fā)展到相當(dāng)復(fù)雜的水平，其中圖像傳感器采集數(shù)據(jù)的像素不斷提升，圖像信號處理器能夠?qū)崿F(xiàn)自動對焦、自動曝光、壞點(diǎn)去除、鏡頭陰影矯正、去馬賽克、顏色矯正、伽馬矯正、降噪、數(shù)據(jù)的壓縮和存儲等各種功能，滿足更前沿的應(yīng)用場景使得當(dāng)前圖像處理設(shè)計(jì)需要支持復(fù)雜多樣的功能，同時當(dāng)前數(shù)字圖像處理的應(yīng)用越來越趨向于小型化SoC系統(tǒng)以適應(yīng)移動互聯(lián)網(wǎng)的蓬勃發(fā)展，實(shí)現(xiàn)多重功能和高集成度需求使得當(dāng)前的SoC設(shè)計(jì)復(fù)雜度指數(shù)級提升，同時對設(shè)計(jì)的仿真驗(yàn)證提出了更高要求，不僅需要對圖形處理設(shè)計(jì)模塊進(jìn)行大量測試驗(yàn)證，還需要對目標(biāo)SoC進(jìn)行充分的評估和驗(yàn)證。

亞科鴻禹VeriTiger原型驗(yàn)證系統(tǒng)

圖像處理解決方案

圖像處理是最直觀可視的應(yīng)用功能實(shí)現(xiàn)，FPGA原型驗(yàn)證系統(tǒng)利用真實(shí)的傳感設(shè)備和輸出顯示設(shè)備提供直觀可視的DUT執(zhí)行結(jié)果展現(xiàn)，是最適合進(jìn)行圖像處理設(shè)計(jì)功能驗(yàn)證的手段。亞科鴻禹VeriTiger原型驗(yàn)證系統(tǒng)為各類圖像處理設(shè)計(jì)提供高性能原型驗(yàn)證解決方案。

VeriTiger圖像處理原型驗(yàn)證解決方案整體框架

VeriTiger原型驗(yàn)證系統(tǒng)圖像處理解決方案的硬件環(huán)境由VeriTiger原型驗(yàn)證母板、配套功能子卡、采集攝像頭、輸出顯示器、數(shù)據(jù)傳輸連接線組成，通過子卡提供真實(shí)的外設(shè)來構(gòu)建設(shè)計(jì)原型，進(jìn)行功能驗(yàn)證并提供深度調(diào)試。配合我司自研軟件ProtoWizard可以進(jìn)行時鐘電壓的配置，bit文件的燒錄以及統(tǒng)一的子卡管理。

為應(yīng)對不同的視覺信息處理場景，圖像處理SoC設(shè)計(jì)會選用各種類型的接口協(xié)議以滿足對采集像素、傳輸速度、集成度等的不同需求。DP、HDMI、MIPI是當(dāng)前最為常見的多媒體處理接口類型，亞科鴻禹基于VeriTiger原型驗(yàn)證平臺，提供成熟的DP、HDMI、MIPI子卡硬件以及工程方案。在SoC原型驗(yàn)證過程中，采用VeriTiger原型驗(yàn)證平臺和相關(guān)子卡組成完整的驗(yàn)證解決方案，進(jìn)行SoC相關(guān)場景接口的驗(yàn)證，可極大縮短原型驗(yàn)證平臺的搭建時間，提升驗(yàn)證效率，從而進(jìn)一步縮短SoC的開發(fā)時間。

01

“DP外設(shè)驗(yàn)證需求” 解決方案：

通過亞科鴻禹自研的HSMGT-DSIP、HSPI2-GPIO等子卡完成原型環(huán)境創(chuàng)建，啟動工程驗(yàn)證。HSMGT-DSIP為DISPLAY輸入輸出子卡，該方案支持Xilinx原生的DISPLAY協(xié)議，通過調(diào)用Xilinx提供的DisplayPort 1.4 RX Subsystem和DisplayPort 1.4 TX Subsystem IP，選擇本地或AXI4-Stream視頻輸入接口，支持MST和SST輸出。其中包含一個專用輸入DP接口和一個專用輸出DP接口，一組GPIO。使用時可單獨(dú)開發(fā)DP的TX發(fā)送端或RX接收端功能；RX端可將HPD、AUX等信號抓取，針對調(diào)試DP握手時遇到的問題提供更多的解決思路。

TX工程整體結(jié)構(gòu)如下圖：

視頻數(shù)據(jù)由Stream Pattern Generator產(chǎn)生，通過CRC校驗(yàn)后傳輸給TX Subsystem，經(jīng)過處理后給到Video PHY Controller，最后通過DP Mainlink輸出。

RX工程整體結(jié)構(gòu)如下圖：

數(shù)據(jù)由DP Mainlink進(jìn)入，經(jīng)過Video PHY Controller處理后給到RX Subsystem，隨后進(jìn)行EDID等數(shù)據(jù)的確認(rèn)，建立握手后數(shù)據(jù)經(jīng)過CRC校驗(yàn)，給到ILA。

方案適用于驗(yàn)證：

大型視頻處理系統(tǒng)中串行數(shù)字視頻數(shù)據(jù)接收和發(fā)送的插件設(shè)計(jì)。

02

“HDMI外設(shè)驗(yàn)證需求” 解決方案：

通過亞科鴻禹自研的HSMGT-HD20等子卡完成原型環(huán)境創(chuàng)建，啟動工程驗(yàn)證。HSMGT-HD20子卡為HDMI2.0輸入輸出子卡。該方案通過調(diào)用Xilinx提供的HDMI Transmitter/Receiver Subsystem IP，從PHY層接收捕獲的TMDS數(shù)據(jù)，然后從HDMI流中提取視頻和音頻流，并將其轉(zhuǎn)換為視頻和音頻流，以便進(jìn)行視頻、音頻的處理，隨后由HDMI Transmitter Subsystem將處理好的視頻和音頻流傳輸?shù)紿DMI流，從而完成視頻流的傳輸，可選擇AXI4-Stream、Native Video作為HDMI 1.4/2.0子系統(tǒng)的視頻接口。該子卡包含一個專用輸入HDMI接口和一個專用輸出HDMI接口，一個時鐘芯片，一個顯示端口重定時器。該子卡輸出為TI的PHY，輸入直接接到了FPGA的MGT通道。使用時可以單獨(dú)開發(fā)HDMI的TX或者RX功能；TX端掛載了顯示端口重定時器，支持高達(dá)6Gbps的數(shù)據(jù)速率。搭配時鐘芯片，可滿足不同分辨率輸出下所需求的時鐘速率。

下圖為該工程整體結(jié)構(gòu)：

工程支持兩種工作方式：

1. Passthrough工作模式。

該模式下，視頻數(shù)據(jù)通過Source端給入HDMI RX Subsystem，經(jīng)過處理后由HDMI TX Subsystem輸出到Sink端，完成視頻數(shù)據(jù)的接收和發(fā)送。

2. TX工作模式。

該模式下，視頻數(shù)據(jù)由MicroBlaze產(chǎn)生，經(jīng)過處理后通過HDMI TX Subsystem輸出到Sink端。

方案適用于驗(yàn)證：

HDMI視頻系統(tǒng)中HDMI接收和發(fā)送的插件設(shè)計(jì)。

03

“MIPI（Mobile Industry

Processor Interface）

外設(shè)驗(yàn)證需求”解決方案：

MIPI移動產(chǎn)業(yè)處理器接口(Mobile Industry Processorinterface)是為移動應(yīng)用處理器制定的開放標(biāo)準(zhǔn)?，F(xiàn)代移動應(yīng)用設(shè)備由于高分辨率的要求，現(xiàn)在基本上都是基于MIPI協(xié)議來實(shí)現(xiàn)的。方案通過亞科鴻禹自研的HSPI2-MIPI等子卡完成原型環(huán)境創(chuàng)建，啟動工程驗(yàn)證。HSPI2-MIPI子卡為MIPI攝像頭子板，用于視頻接收。該方案采用MIPI CSI-2 RX Subsystem IP，該子系統(tǒng)從MIPI CSI-2攝像機(jī)傳感器捕獲圖像，并輸出AXI4- Stream視頻數(shù)據(jù)，以便進(jìn)行圖像處理。該子系統(tǒng)允許快速選擇頂級參數(shù)，并自動完成大部分較低級別參數(shù)化，AXI4-Stream視頻接口允許與其他基于AXI4-Stream的子系統(tǒng)無縫連接。該子卡包含兩路MIPI微型接頭，支持ov9281，ov9280；兩路FPC接口，支持ov5640；支持三路MMCX差分對。兩種不同的攝像頭接口，為客戶提供了不同的選擇。

工程整體結(jié)構(gòu)：

數(shù)據(jù)通過Sensor采集后給到 MIPI CSI-2 RX Subsystem，經(jīng)過Sensor Demosaic，將拜爾圖像傳感器捕獲的圖像還原出符合色彩顯示設(shè)備的真實(shí)世界色彩后給到VDMA，VDMA將視頻數(shù)據(jù)緩存并輸出。輸出視頻數(shù)據(jù)格式支持AXI-Stream和MIPI PHY形式。

方案適用于驗(yàn)證：

高集成度、高傳輸速率要求的移動設(shè)備圖像處理設(shè)計(jì)。

審核編輯：劉清