介紹一下使用FPGA實(shí)現(xiàn)低延遲的成像系統(tǒng)

目前商用領(lǐng)域的成像系統(tǒng)還是以嵌入式ASIC為主（成品時(shí)間快，性價(jià)比高），對于一些軍工、醫(yī)學(xué)等特殊領(lǐng)域還是以FPGA為主，在特殊領(lǐng)域里延遲是最先考慮的問題（成本不是主要問題），所以今天介紹一下使用FPGA實(shí)現(xiàn)低延遲的成像系統(tǒng)，這里說明一下，整個(gè)系統(tǒng)調(diào)試比較麻煩（和sensor有關(guān)），很大可能調(diào)試不出圖像，所以大家只需要知道有這個(gè)架構(gòu)即可，有需求可以自己調(diào)試。

低延遲架構(gòu)

我們這次使用的是AMD-Xilinx FPGA，大部分的圖像處理都有IP可以使用，在官方文檔中有相關(guān)的架構(gòu)，具體如下：

上面的架構(gòu)是比較通用的架構(gòu)，官方也有例程可以參考，但是上面架構(gòu)多了一個(gè)VDMA，這就導(dǎo)致視頻傳輸?shù)臅r(shí)候有1到幾幀的延遲，這對于低延遲、高分辨率的情形肯定是不能容忍的。所以官方對于特殊情況建議使用下面的架構(gòu)：

去掉了VDMA，但是對于時(shí)鐘系統(tǒng)要去更高，對于視頻輸入輸出在不同時(shí)鐘域情況下是使用不了的，所以整體要求比較高。但是砍掉了VDMA和DDR，所以整體成本會低很多。關(guān)于沒有VDMA情況下的各個(gè)IP的設(shè)置及測試可以看下面的文章《不使用VDMA情況下使用AXI4總線實(shí)現(xiàn)視頻輸入輸出（低延遲首選）》。

FPGA系統(tǒng)架構(gòu)設(shè)計(jì)

我們還是參考上面的架構(gòu)來設(shè)計(jì)我們的系統(tǒng)。

當(dāng)我們與圖像sensor對接時(shí)，我們通常會以不同的格式接收圖像，例如 MIPI 、并行接口，在我們接收視頻之前，我們需要先配置sensor按照我們的需求運(yùn)行。通常，sensor需要通過 I2C 或 SPI 進(jìn)行配置。

這次演示的平臺：

7系列FPGA

MT9M114 sensor

sensor 的接口非常簡單，可以分為視頻接口和配置接口（IIC）。

視頻接口由 10 位數(shù)據(jù)（分為 8 位和 2 位）、幀和行有效、像素時(shí)鐘和參考時(shí)鐘 (24 MHz) 組成。

配置接口由連接到sensor的 I2C 和復(fù)位IO組成。

該解決方案的架構(gòu)如下：軟核處理器（MicroBlaze）通過 I2C 配置sensor。雖然圖像處理路徑將在 FPGA 中實(shí)現(xiàn)，但由于這是一種低成本應(yīng)用，該解決方案不會使用 DDR 存儲器中實(shí)現(xiàn)外部幀緩沖區(qū)，而是圖像處理流水線將完全在 FPGA 中實(shí)現(xiàn)。

Sensor中由于我們配置的是RAW數(shù)據(jù)，所以還需要使用Sensor Demosaic和Gamma（基本成像IP）IP。

該設(shè)計(jì)還將使用軟核處理器來控制視頻時(shí)序和圖像處理路徑的其他相關(guān)配置任務(wù)。

Vivado 工程構(gòu)建

搭建MicroBlaze 系統(tǒng)

添加其他IP

整個(gè)系統(tǒng)需要的IP主要如下：

CAM 接口 - 此接口與 sensor接口連接，簡單處理數(shù)據(jù)（選擇RAW數(shù)據(jù)的位數(shù)），此IP非必須

Video to AXIS - 這會將并行視頻轉(zhuǎn)換為 AXI 流格式

Sensor Demosaic - 將代表 R、G 或 B 的 RAW 像素值轉(zhuǎn)換為 24 位 RGB 格式

Video Timing Generator - 生成輸出格式的視頻時(shí)序信號

AXI Stream to Video Out - 將 AXI Stream 轉(zhuǎn)換為并行視頻

AXI IIC - 連接到 MicroBlaze，用于配置sensor