來(lái)自UAS的實(shí)時(shí)全動(dòng)態(tài)視頻（FMV）已成為軍事和情報(bào)行動(dòng)中不可或缺的一部分。隨著這些視頻流在作戰(zhàn)中發(fā)揮越來(lái)越大的作用，圖像質(zhì)量不一致或較差正在成為任務(wù)成功的威脅。幸運(yùn)的是，基于FPGA的并行處理技術(shù)的進(jìn)步現(xiàn)在允許實(shí)時(shí)圖像處理，可以顯著提高UAS視頻饋送的質(zhì)量和實(shí)用性。FMV路由平臺(tái)也是確保FMV數(shù)據(jù)落入正確手中不可或缺的一部分。

軍事戰(zhàn)略家正在與無(wú)人駕駛飛機(jī)系統(tǒng)（UASs）合作，以提供當(dāng)今作戰(zhàn)環(huán)境所需的視覺(jué)監(jiān)視。去年，空軍首次訓(xùn)練了比傳統(tǒng)戰(zhàn)斗機(jī)和轟炸機(jī)飛行員加起來(lái)更多的無(wú)人駕駛飛機(jī)飛行員。機(jī)器人技術(shù)，尤其是UAS，已經(jīng)改變了作戰(zhàn)的性質(zhì)。

UASs可以將視頻直接傳輸?shù)礁浇牡孛婵刂普荆蛲ㄟ^(guò)衛(wèi)星廣播到全球的指揮中心。它們提供了戰(zhàn)斗區(qū)的按需特寫(xiě)視圖，否則這是不可能實(shí)現(xiàn)的。無(wú)人機(jī)使指揮官能夠在安全距離內(nèi)做出決定和執(zhí)行任務(wù)，而不會(huì)危及其部隊(duì)的生命。負(fù)責(zé)UAS突破性能力和隨后的戰(zhàn)爭(zhēng)轉(zhuǎn)型的關(guān)鍵使能技術(shù)是全動(dòng)態(tài)視頻（FMV）。實(shí)際上，如果沒(méi)有來(lái)自飛機(jī)機(jī)載攝像頭的FMV，飛行員將無(wú)法從地面遠(yuǎn)程導(dǎo)航UAS。

問(wèn)題在于，即使是從最佳角度看，即使是最復(fù)雜的相機(jī)，也可能無(wú)法提供關(guān)鍵任務(wù)應(yīng)用所需的清晰可靠的可見(jiàn)性。例如，現(xiàn)場(chǎng)部署的UAS飛機(jī)會(huì)遇到大氣條件，如黃昏，黎明，霧，霧，煙霧和明亮的陽(yáng)光。此外，在UAS等移動(dòng)平臺(tái)上生成高質(zhì)量圖像由于其運(yùn)動(dòng)和由此產(chǎn)生的圖像視角而帶來(lái)了一些有趣的挑戰(zhàn)。視頻圖像的質(zhì)量可能會(huì)因攝像機(jī)視場(chǎng)狹窄、數(shù)據(jù)鏈路降級(jí)、帶寬限制或高度混亂的視覺(jué)場(chǎng)景（如城市地區(qū)或山區(qū)地形）而受到影響。事實(shí)上，軍方報(bào)告說(shuō)，F(xiàn)MV圖像的質(zhì)量不一致是一個(gè)嚴(yán)重的問(wèn)題。任務(wù)的成功通常取決于積極識(shí)別目標(biāo)的能力，這需要清晰的圖像，在許多情況下，需要增強(qiáng)的圖像。

幸運(yùn)的是，現(xiàn)在可以解決這些問(wèn)題并顯著提高FMV圖像質(zhì)量。基于FPGA的并行處理技術(shù)的最新進(jìn)展現(xiàn)在提供了使用復(fù)雜的圖像處理軟件算法所需的計(jì)算能力，這些算法可以實(shí)時(shí)產(chǎn)生顯著增強(qiáng)的FMV。將FMV路由到適當(dāng)手中的平臺(tái)也是不可或缺的。

并行處理打破了速度障礙

數(shù)字圖像處理科學(xué)已經(jīng)產(chǎn)生了大量有用的圖像處理軟件算法。這些算法中的大多數(shù)最初都是為處理靜止圖像而開(kāi)發(fā)的。這些算法往往是計(jì)算密集型的，在過(guò)去，處理器技術(shù)無(wú)法提供跟上FMV需求所需的速度。若要了解 FMV 的處理要求，請(qǐng)考慮以下示例。每秒的幀數(shù)、每幀的行數(shù)和每行的像素?cái)?shù)取決于視頻標(biāo)準(zhǔn)。美國(guó)國(guó)家電視系統(tǒng)委員會(huì) （NTSC） 標(biāo)清視頻以 720 x 480 或全 D1 分辨率以每秒 30 幀的速度進(jìn)行數(shù)字化，從而產(chǎn)生 10.4 MHz 的像素速率。此外，高清 （HD） 視頻標(biāo)準(zhǔn)每幀的數(shù)據(jù)量高達(dá) 6 倍。因此，計(jì)算負(fù)載可能高出六倍。

每個(gè)像素所需的實(shí)際處理量取決于圖像處理算法。例如，流行的邊緣檢測(cè)算法要求每個(gè)像素大約 130 次操作。再加上以多種分辨率運(yùn)行，使用時(shí)鐘速度為600 MHz的可編程DSP串行實(shí)現(xiàn)該算法只能處理每秒460萬(wàn)像素。這不足以支持高分辨率的實(shí)時(shí)視頻流。例如，高清全動(dòng)態(tài)視頻 （HD FMV） 流更適合以 30 fps 的速度處理算法，全分辨率為 1，920 x 1，080 像素：像素速率為 1600 萬(wàn)像素/秒。此外，處理一個(gè)樣本所需的時(shí)間可能長(zhǎng)于兩個(gè)連續(xù)樣本到達(dá)之間的時(shí)間，因此需要并行執(zhí)行操作。因此，數(shù)字視頻信號(hào)的實(shí)時(shí)處理需要并行處理來(lái)處理高數(shù)據(jù)吞吐量。

如今，有一些FPPA可以實(shí)時(shí)處理FMV，并且可以擴(kuò)展以處理任意數(shù)量的視頻流。與其他處理器相比，F(xiàn)PGA的優(yōu)勢(shì)在于其無(wú)與倫比的并行處理能力。FPGA受益于任意數(shù)量的數(shù)據(jù)路徑和操作，直至器件容量的限制。但是，盡管FPGA的速度很快，但要實(shí)現(xiàn)實(shí)時(shí)FMV所需的零延遲目標(biāo)，就需要一些獨(dú)創(chuàng)性。訣竅是根據(jù)第一幀計(jì)算必要的調(diào)整，但將其應(yīng)用于下一幀，依此類推。下一幀的計(jì)算與當(dāng)前幀的處理并行完成，因此不會(huì)引入延遲。

開(kāi)放式架構(gòu)算法提供高質(zhì)量的圖像

使用基于FPGA的圖像處理平臺(tái)可以應(yīng)用現(xiàn)有和新的圖像處理算法來(lái)解決高質(zhì)量FMV圖像的許多障礙。

這樣的平臺(tái)將受益于一個(gè)開(kāi)放的架構(gòu)，該架構(gòu)將促進(jìn)算法移植，從而更容易地利用市售的各種圖像處理算法。

現(xiàn)有的圖像處理算法為從 FMV 流中獲取新的有用信息提供了無(wú)數(shù)的可能性。有圖像增強(qiáng)算法可以過(guò)濾掉視覺(jué)干擾，同時(shí)調(diào)整對(duì)比度和顏色，以幫助眼睛專注于感興趣的元素。其他算法可以精確定位隱藏在大景觀中的主題，就像大海撈針一樣。圖像馬賽克算法可以將來(lái)自多個(gè)攝像頭和多個(gè)視角的圖像拼接在一起，形成一個(gè)統(tǒng)一的更高分辨率視圖。還有編碼/解碼和壓縮/解壓縮算法，使圖像數(shù)據(jù)傳輸和存儲(chǔ)更加高效。算法可以單獨(dú)使用，也可以將多個(gè)算法應(yīng)用于同一視頻流。

基于 FPGA 的圖像 處理 算法 可以 在 并行 和 順序 模式 中 運(yùn)行。在并行模式下，圖像幀可以同時(shí)饋送到多個(gè)FPGA中，每個(gè)FPGA都在其分配的感興趣區(qū)域工作。在順序（或菊花鏈模式）下，一個(gè)FPGA的輸出被饋送到隨后的FPGA中以進(jìn)行額外的處理。例如，視頻流可能首先需要處理以消除空間或時(shí)間噪聲，然后再流入發(fā)生穩(wěn)定、對(duì)象識(shí)別或其他功能的第二種算法。因此，許多不同類型的算法對(duì)于UAS應(yīng)用非常重要。這些算法包括色度摳像、穩(wěn)定、融合、局部自適應(yīng)對(duì)比度和跟蹤移動(dòng)器等。

用于動(dòng)態(tài)、增強(qiáng)型 FMV 路由的平臺(tái)

以實(shí)時(shí)速度捕獲高質(zhì)量圖像只是解決方案的一部分。能夠在正確的時(shí)間將正確的視覺(jué)信息發(fā)送給正確的人也同樣重要。例如，地面站人員可能會(huì)使用來(lái)自UAS的FMV來(lái)駕駛飛機(jī)，而華盛頓的指揮人員將需要同一視頻饋送的不同視圖來(lái)識(shí)別目標(biāo)。

將大規(guī)模視頻路由功能與復(fù)雜的圖像處理相結(jié)合的集成平臺(tái)將是軍事現(xiàn)場(chǎng)行動(dòng)的理想選擇。此平臺(tái)可能使用交換結(jié)構(gòu)作為視頻矩陣交換機(jī)，以允許將任何視頻輸入路由到任何視頻輸出，包括多個(gè)輸出。視頻輸入可以路由到任何算法或算法的任意組合。這樣的平臺(tái)可以獲取任何視頻源，并將其路由到連接的顯示器或網(wǎng)絡(luò)連接的任意組合。它可以將多個(gè)源路由到一個(gè)監(jiān)視器，或路由到監(jiān)視器中的虛擬屏幕。操作員可以打開(kāi)或關(guān)閉圖像處理功能，或者使用觸摸屏交換主窗口和畫(huà)中畫(huà)窗口。

這種類型的平臺(tái)提供任務(wù)可配置的聊天，移動(dòng)地圖，平視顯示器，傳感器視頻和態(tài)勢(shì)感知。對(duì)于UAS監(jiān)控，該技術(shù)可以安裝在UAS地面控制站（GCS）上，以將圖像增強(qiáng)和邊緣檢測(cè)算法應(yīng)用于傳入的視頻流。邊緣檢測(cè)算法將識(shí)別異常形狀并突出顯示監(jiān)視和炸彈損壞評(píng)估（BDA）的細(xì)節(jié)。

突破性的圖像清晰度

來(lái)自UAS的實(shí)時(shí)，高質(zhì)量，實(shí)時(shí)FMV已成為軍事和情報(bào)行動(dòng)中不可或缺的一部分。新的 COTS 系統(tǒng)利用 FPGA 進(jìn)行實(shí)時(shí)、可擴(kuò)展的圖像處理，例如 Z 微系統(tǒng)隨處圖像 （AIA） 系統(tǒng)，可提供前所未有的視覺(jué)清晰度。

審核編輯：郭婷