利用新型的處理硬件架構，以10至100 Gbit / s或更高的速度處理視頻流。

背景

諸如3D成像，虛擬現(xiàn)實和廣播之類的高級視覺系統(tǒng)依賴一個或多個高分辨率，高速相機。這些攝像頭系統(tǒng)每秒捕獲并傳輸多個千兆像素，這些像素需要實時處理或壓縮。盡管攝像頭傳感器技術和支持接口正在迅速發(fā)展，但是傳統(tǒng)的基于PCIe / CPU / GPU的PC體系結構卻缺乏以這種數(shù)據(jù)速率捕獲，處理和存儲圖像所需的性能。

基于高端FPGA的圖像采集卡具有超快的收發(fā)器和巨大的板載內(nèi)存帶寬，為實時處理和壓縮提供了必要的基礎設施。開放式FPGA架構允許開發(fā)人員定制其采集路徑，并嵌入自己的圖像處理算法和壓縮塊。有了Gidel的ProcVision IDE這樣的支持生態(tài)環(huán)境和開發(fā)工具，F(xiàn)PGA代碼開發(fā)被大大簡化和加速，不再需要深厚的FPGA專業(yè)知識。因此，視覺系統(tǒng)設計者現(xiàn)在可以以前所未有的性能實現(xiàn)定制的、具有成本效益的千兆像素解決方案。

圖像傳感器正在引領潮流

CMOS圖像傳感器技術的進步使多百萬像素的成像器能夠以具有成本效益的價格獲得數(shù)百至數(shù)千FPS的幀率。Gpixel、Luxima Technology、Teledyne e2v、AMS/CMOSIS、安森美和索尼等公司正在為這一發(fā)展做出重大貢獻(見圖1)。

圖1：在通用視頻接口標準的有效帶寬上的高端圖像傳感器的分辨率和幀速率。

下一代圖像傳感器將產(chǎn)生每秒160千兆比特（Gbps）及以上的數(shù)據(jù)速率。此外，多攝像頭的應用已經(jīng)變得無處不在，特別是在從虛擬現(xiàn)實到廣播、監(jiān)控、醫(yī)療成像以及三維或高分辨率的質(zhì)量檢測等領域。例如，一個三維體育廣播系統(tǒng)，可能包括30多個攝像頭，每個攝像頭的分辨率為65MP，速度為30fps。

最新的高端圖像傳感器和多攝像頭應用分別提供每秒幾千兆像素和幾百兆比特的數(shù)據(jù)。這些巨大的數(shù)據(jù)速率需要被實時捕獲、預處理、分析，而且往往還需要以高精度同步和低延遲的方式進行壓縮和存儲--這一要求遠遠超過了基于CPU架構的能力。相反，這種需求只能通過利用FPGA、GPU和/或CPU的獨特能力的新型異構處理解決方案來滿足。

高帶寬挑戰(zhàn)

對于超過20Gbps的傳感器數(shù)據(jù)傳輸速率，在標準化的相機接口中只有少數(shù)選擇：25、50或100GigE、多鏈路CoaXPress v2和PCIe。在20+Gbps時，光纜取代銅纜，將傳輸距離從25米延長到40公里。

高帶寬成像的另一個挑戰(zhàn)在于將視頻流傳輸?shù)街鳈C的高性能處理器，無論是GPU、FPGA還是CPU。視頻采集卡的主板接口通常是PCIe Gen.3 x8，有效帶寬僅為48Gbps。此外，在主機處理系統(tǒng)中，CPU/GPU和顯卡與主存儲器之間的RAM橋必須運行得足夠快，以避免幀丟失。智能網(wǎng)卡成功地分配了PCIe上的峰值負載，并大大減少了主機CPU上的工作量，但這往往是以處理能力不足導致的圖像幀丟失為代價的。

秒千兆像素實時處理解決方案

想要達到幾十上百Gbps的數(shù)據(jù)速率，除了昂貴的ASIC之外，只有基于高端FPGA的圖像采集卡架構才能提供必要的處理性能來克服上述挑戰(zhàn)。這些采集卡擁有遠甚于傳統(tǒng)的預處理步驟，以執(zhí)行復雜的成像算法，從小波變換一直到深度學習推理和實時壓縮。壓縮是克服PCIe和主機內(nèi)存帶寬瓶頸的一個強制性功能。

這種高端圖像采集卡的設計本身就是一個挑戰(zhàn)，特別是在涉及利用來自多個圖像區(qū)域或多個傳感器的數(shù)據(jù)的算法的實現(xiàn)時。為了規(guī)避可能的瓶頸并實現(xiàn)分布式處理的靈活性，圖像采集卡必須包括功能強大的收發(fā)器，足夠的FPGA資源，高機載內(nèi)存訪問權限和快速DMA卸載引擎。

這樣的圖像采集卡通常包括訪問速度為TB/s的FPGA內(nèi)部存儲器，以及訪問速度為數(shù)百GB/s的10+ GB DDR4板載存儲器。 在FPGA上實現(xiàn)機器視覺算法通常需要在FPGA編程方面有深入的專業(yè)知識。此外，在單個FPGA上實現(xiàn)多攝像機采集和處理需要集成多接口，攝像機協(xié)議，多源處理算法，存儲器控制器，I / O端口控制和主機橋。除了性能優(yōu)化的架構之外，至關重要的是，圖像采集卡還應由集成開發(fā)環(huán)境（IDE）支持，該集成開發(fā)環(huán)境使非FPGA專家能夠開發(fā)成像算法并集成多個FPGA功能塊。

高帶寬優(yōu)化的開放式FPGA采集卡

以色列技術領導者吉德爾（Gidel）擁有近三十年的經(jīng)驗，創(chuàng)建了一個針對超高帶寬和多傳感器采集而優(yōu)化的現(xiàn)成圖像采集生態(tài)系統(tǒng)，使開發(fā)人員可以將自己的專有算法代碼添加到現(xiàn)有的采集流水線。得益于專用的開發(fā)套件，添加圖像處理算法和定制采集路徑非常簡單，甚至可以由非FPGA專家執(zhí)行。Gidel的開發(fā)套件可在不影響性能的情況下極大地加速系統(tǒng)開發(fā)。

Gidel的PCIe圖像采集卡，模塊和載板使視覺系統(tǒng)設計人員可以利用FPGA技術的最新進展，例如Intel的Stratix 10和Arria 10系列。Gidel的最新Proc10N模塊能夠同時捕獲和處理多達4 x 100 GigE攝像機或16 x 10 GigE攝像機，并具有精確的低延遲同步。通過以300 GB/s的速度訪問DRAM，Proc10N甚至可以在帶寬要求最高的應用中實現(xiàn)實時處理。Stratix 10 NX具有出色的矩陣計算功能，帶有專用的Tensor塊，是高性能推理計算（包括復雜的深度學習網(wǎng)絡）的理想選擇。

編輯：jq