借助物聯(lián)網(wǎng)、機(jī)器學(xué)習(xí)和人工智能等新時(shí)代技術(shù)，公司正在通過(guò)以創(chuàng)新方式融合物理現(xiàn)實(shí)和數(shù)字信息來(lái)重新構(gòu)想和創(chuàng)建智能多媒體應(yīng)用程序。多媒體解決方案涉及音頻/視頻編解碼器、圖像/音頻/視頻處理、邊緣/云應(yīng)用，在少數(shù)情況下還包括 AR/VR。本博客將討論任何多媒體解決方案中嵌入式視頻處理器內(nèi)核所涉及的軟件基礎(chǔ)架構(gòu)。

　　視頻處理器是基于 RTL 的硬化 IP 塊，可用于領(lǐng)先的 FPGA 板。借助這個(gè)嵌入式內(nèi)核，用戶可以原生支持視頻會(huì)議、視頻流以及基于 ML 的圖像識(shí)別和面部識(shí)別應(yīng)用，具有低延遲和高資源效率。但是，在部署視頻處理器之前可能會(huì)出現(xiàn)與操作系統(tǒng)支持、H.264/265 處理、驅(qū)動(dòng)程序開(kāi)發(fā)等相關(guān)的軟件級(jí)別問(wèn)題。

　　讓我們從視頻處理器的概述開(kāi)始，看看如何為半導(dǎo)體公司解決這些問(wèn)題，使最終用戶能夠獲得其產(chǎn)品優(yōu)勢(shì)。

　　嵌入式視頻處理器內(nèi)核

　　視頻處理器是一個(gè)多組件解決方案，由視頻處理引擎本身、DDR4 塊和同步塊組成。這些組件一起專用于支持分辨率高達(dá) 4k UHD （3840x2160p60） 的 H.264/.265 編碼和解碼，對(duì)于該 FPGA 器件系列的最高速度等級(jí)，最高可達(dá) 4096x2160p60。支持的級(jí)別和配置文件包括用于 HEVC 的最高 L5.1 高級(jí)層和用于 AVC 的 L5.2。這三款產(chǎn)品都是基于 RTL 的嵌入式 IP 產(chǎn)品，它們部署在目標(biāo) FPGA 器件系列的可編程邏輯結(jié)構(gòu)中，并經(jīng)過(guò)優(yōu)化/“強(qiáng)化”以實(shí)現(xiàn)最大的資源效率和性能。

　　視頻處理器引擎能夠同時(shí)編碼和解碼多達(dá) 32 個(gè)視頻流。這是通過(guò)將 2160p60 帶寬拆分到所有預(yù)期通道來(lái)實(shí)現(xiàn)的，支持 480p30 分辨率的視頻流。H.264 解碼支持在 L5.2 2160p60 高 4:2：2 配置文件 （CAVLC） 上高達(dá) 960Mb/s 的比特流和高達(dá) 533Mb/s L5.1 2160p60 Main 4:2：2 比特流的 H.265 解碼10b 內(nèi)部配置文件 （CABAC.）

　　視頻處理器引擎還內(nèi)置了顯著的多功能性。速率控制選項(xiàng)包括 CBR、VBR 和恒定 QP。在較低幀速率下支持比 2160p60 更高的分辨率。該引擎可以處理 8b 和 10b 色深以及 4:0：0、4:2：0 和 4:2：2 的 YCbCr 色度格式。

　　微架構(gòu)包括獨(dú)立的編碼器和解碼器部分，每個(gè)部分由嵌入式 32b 可合成 MCU 通過(guò)單個(gè) 32b AXI-4 Lite I/F 從屬主機(jī) APU 管理。每個(gè) MCU 都有由專用 32b AXI-4 主控器支持的 L1 指令和數(shù)據(jù)緩存。系統(tǒng)內(nèi)存的數(shù)據(jù)傳輸通過(guò)一個(gè) 4 通道 128b AXI-4 主 I/F 進(jìn)行，該 I/F 在編碼器和解碼器之間分離。還有一個(gè)嵌入式 AXI 性能監(jiān)視器，可直接測(cè)量總線事務(wù)和延遲，無(wú)需為每個(gè) MCU 鎖定固件以外的其他軟件開(kāi)銷。

　　DDR4 塊是一個(gè)組合的內(nèi)存控制器和 PHY?？刂破鞑糠滞ㄟ^(guò) SDRAM 優(yōu)化 R/W 事務(wù)，而 PHY 執(zhí)行 SerDes 和時(shí)鐘管理任務(wù)。還有一些額外的支持模塊提供系統(tǒng)內(nèi)存的初始化和校準(zhǔn)。五個(gè) AXI 端口和一個(gè) 64b SODIMM 端口提供高達(dá) 2677 MT/s 的性能。

　　第三個(gè)塊同步視頻處理器引擎編碼器和 DMA 之間的數(shù)據(jù)事務(wù)。它可以緩沖多達(dá) 256 個(gè) AXI 事務(wù)并確保低延遲性能。

　　該公司的集成開(kāi)發(fā)環(huán)境 （IDE） 用于根據(jù)比特流數(shù)量、所選編解碼器和所需配置文件來(lái)確定給定應(yīng)用所需的視頻處理器內(nèi)核數(shù)量以及用于編碼或解碼的緩沖區(qū)配置。通過(guò)工具鏈，用戶可以選擇 AVC 或 HEVC 編解碼器、I/B/P 幀編碼、分辨率和級(jí)別、每秒幀數(shù)顏色格式和深度、內(nèi)存使用以及壓縮/解壓縮操作。IDE 還提供帶寬要求和功耗的估計(jì)值。

　　嵌入式軟件支持

　　任何硬件到視頻處理的嵌入式軟件開(kāi)發(fā)支持可分為以下幾類：

　　視頻編解碼器驗(yàn)證和功能測(cè)試

　　Linux 支持，包括內(nèi)核開(kāi)發(fā)、驅(qū)動(dòng)程序開(kāi)發(fā)和應(yīng)用程序支持

　　工具和框架開(kāi)發(fā)

　　參考設(shè)計(jì)開(kāi)發(fā)和部署

　　根據(jù)需要使用和貢獻(xiàn)開(kāi)源組織

　　視頻處理器上的 AVC 和 HEVC 編解碼器的驗(yàn)證非常廣泛。它必須以 3840x2160p60 性能級(jí)別執(zhí)行，以便在裸機(jī)和 Linux 支持的環(huán)境中進(jìn)行編碼和解碼。從原型設(shè)計(jì)到全面生產(chǎn)，低延遲性能也得到了驗(yàn)證。

　　Linux 工作專注于多媒體框架和級(jí)別，以定制內(nèi)核和驅(qū)動(dòng)程序。這包括 v4l2 子系統(tǒng)、DRM 框架和用于同步塊的驅(qū)動(dòng)程序，以確保低延遲性能。

　　編解碼器和 Linux 項(xiàng)目有效地引導(dǎo)自己代表客戶開(kāi)發(fā)各種參考設(shè)計(jì)。編碼和解碼的邊緣設(shè)計(jì)、從低延遲視頻會(huì)議到 32 通道視頻流、基于感興趣區(qū)域的編碼和 ML 人臉檢測(cè)的開(kāi)發(fā)，所有這些都可以通過(guò)使用經(jīng)過(guò)仔細(xì)考慮的開(kāi)放式選擇來(lái)完成源工具、框架和功能。在下面找到這些產(chǎn)品的摘要：

　　GStreamer – 一個(gè)開(kāi)源的多操作系統(tǒng)多媒體組件庫(kù)，可以以流水線方式組裝，遵循面向?qū)ο蟮脑O(shè)計(jì)方法和插件架構(gòu)，用于多媒體播放、編輯、錄制和流式傳輸。它支持多媒體應(yīng)用程序的快速構(gòu)建，并在 GNU LGPL 許可下提供。GStreamer 產(chǎn)品還包括各種非常有用的工具，包括 gst-launch（用于構(gòu)建和運(yùn)行 GStreamer 管道）和 gsttrace（一個(gè)基本的跟蹤工具。）

　　StreamEye – 一種開(kāi)源工具，為深入分析視頻流提供數(shù)據(jù)和圖形顯示。

　　Gstshark – 作為 Ridgerun 的一個(gè)開(kāi)源項(xiàng)目提供，該工具提供了用于分析和調(diào)試 GStreamer 多媒體應(yīng)用程序構(gòu)建的基準(zhǔn)測(cè)試和跟蹤功能。

　　FFmpeg 和 FFprobe – 都是 FFmpeg 開(kāi)源項(xiàng)目的一部分，它們是面向多媒體軟件開(kāi)發(fā)人員的與硬件無(wú)關(guān)的多操作系統(tǒng)工具。FFmpeg 允許用戶在多種格式之間轉(zhuǎn)換多媒體文件、更改采樣率和縮放視頻。FFprobe 是多媒體流分析的基本工具。

　　OpenMAX – 通過(guò) Khronos Group 提供，這是一個(gè) API 和信號(hào)處理函數(shù)庫(kù)，允許開(kāi)發(fā)人員使多媒體堆?？煽缬布脚_(tái)移植。

　　Yocto – 一個(gè) Linux 基金會(huì)開(kāi)源協(xié)作，它創(chuàng)建工具（包括 SDK 和 BSP）和支持功能，為嵌入式和物聯(lián)網(wǎng)應(yīng)用程序開(kāi)發(fā) Linux 自定義實(shí)現(xiàn)。社區(qū)及其 Linux 版本與硬件無(wú)關(guān)。

　　Libdrm - 一組用于支持 DRM 的開(kāi)源低級(jí)庫(kù)。Direct Rendering Manager 是一個(gè) Linux 內(nèi)核，它代表用戶程序管理基于 GPU 的視頻硬件。它通過(guò)命令隊(duì)列以仲裁模式管理程序請(qǐng)求，并管理硬件子系統(tǒng)資源，特別是內(nèi)存。libdrm 庫(kù)還包括支持 Intel、AMD 和 Nvidia 的 GPU 的函數(shù)。Libdrm 包括 modetest 等工具，用于測(cè)試 DRM 顯示驅(qū)動(dòng)程序。

　　Media-ctl – 一種廣泛可用的開(kāi)源工具，用于在 Linux v4l2 層中配置媒體控制器管道。

　　PYUV 播放器——另一個(gè)廣泛使用的開(kāi)源工具，允許用戶播放未壓縮的視頻流。

　　Audacity – 免費(fèi)的多操作系統(tǒng)音頻編輯器。

　　上述工具/框架有助于在視頻處理、流媒體和會(huì)議下設(shè)計(jì)高效和優(yōu)質(zhì)的多媒體解決方案。

　　審核編輯：郭婷