本文作者：AMD 工程師 Padmini Boreddy

一文看懂AMD Vivado2024.1 中 “AMD VersalCPM5 QDMA Gen4x8 ST Only Performance Design” CED 示例。

本篇博文演示了在AMD Vivado Design Suite 2024.1 中生成 CPM5_QDMA_Gen4x8_ST_Only_Performance_Design 并使用為 QDMA 提供的驅(qū)動(dòng)程序來(lái)運(yùn)行性能測(cè)試的步驟。這是 AMD Versal 自適應(yīng) SoC CPM QDMA 端點(diǎn) (EP) 設(shè)計(jì)中可用的預(yù)設(shè)之一。

對(duì)于 PL PCIe IP，用戶可以使用“Open Example Design”選項(xiàng)來(lái)生成示例設(shè)計(jì)。

此示例設(shè)計(jì)對(duì)于 CPM5 PCIe 不適用；因此改為通過(guò) AMD CED Store GitHub 倉(cāng)庫(kù)提供示例設(shè)計(jì)。如需了解有關(guān) AMD CED Store 的更多詳細(xì)信息，請(qǐng)?jiān)L問(wèn)以下鏈接：

https://github.com/Xilinx/XilinxCEDStore

注釋：性能數(shù)據(jù)取決于硬件和軟件（系統(tǒng)調(diào)諧、使用的隊(duì)列數(shù)量等）。如果所得到的性能數(shù)據(jù)與您的預(yù)期不符，請(qǐng)聯(lián)系您的銷售代表或 AMD 技術(shù)支持。

生成 Versal 自適應(yīng) SoC CPM5 Gen4x8 QDMA 端點(diǎn)設(shè)計(jì)

步驟 1：?jiǎn)?dòng) Vivado，然后轉(zhuǎn)至“Tools -> Vivado Store”。

步驟 2：下載最新版本的目錄：

選擇“Example Designs-> PCIe -> Versal CPM QDMA EP Design”，然后單擊“Update”。

步驟 3：從“Quick Start”頁(yè)面中選擇“Open Example Project”。

步驟 4：如下截屏所示，訪問(wèn) Versal CPM QDMA 端點(diǎn)設(shè)計(jì)：

步驟 5：根據(jù)所選開(kāi)發(fā)板會(huì)自動(dòng)選擇“CPM_Config”，針對(duì) VCK190 會(huì)選中 CPM4，針對(duì) VPK120 則選中 CPM5。選擇 Versal VPK120 評(píng)估平臺(tái)。

步驟 6：對(duì)于 CPM5_Preset，請(qǐng)選擇

CPM5_QDMA_Gen4x8_ST_Only_Performance_Design。

這是含“Streaming”選項(xiàng)的 Versal CPM5 Gen4x8 QDMA 端點(diǎn)設(shè)計(jì)。其中已啟用 4PF、240VF 和 SRIOV。

步驟 7：復(fù)查“Project Summary”，確認(rèn)所選部件和產(chǎn)品家族正確。

示例設(shè)計(jì)架構(gòu)

在其他正常工作的示例設(shè)計(jì)中，用戶邏輯功能要求在用戶邏輯專用寄存器中配置包數(shù)、包長(zhǎng)度和隊(duì)列 ID，并且需要通過(guò)配置特定寄存器來(lái)觸發(fā)包生成。

如需了解更多詳情，請(qǐng)參閱本文：運(yùn)行 Versal 自適應(yīng) SoC CPM5 PCIE Gen4x8 QDMA CED 示例設(shè)計(jì) ：

https://adaptivesupport.amd.com/s/article/000034687?language=zh_CN

ST 性能參考設(shè)計(jì)包含僅限 AXI4-Stream 的包生成器（適用于 C2H 方向），以及同時(shí)適用于 C2H 方向和 H2C 方向的性能測(cè)量工具。當(dāng)存在可用描述符時(shí)，該參考設(shè)計(jì)會(huì)生成已知的數(shù)據(jù)模式（時(shí)間戳），并在 C2H 方向上發(fā)送用戶指定的包長(zhǎng)度。此數(shù)據(jù)模式可由 dma-perf 應(yīng)用環(huán)回到 H2C 方向，并進(jìn)行性能測(cè)量。

以下截屏顯示了 CED 的“Sources”層級(jí)。cpm_pcie_qdma_ep_wrapper 模塊框圖包括 cpm_pcie_bridge_ep 塊、用于 AXI4-Stream 模式生成器和檢查器邏輯的用戶控制邏輯，以及實(shí)現(xiàn) C2H 和 H2C 性能計(jì)數(shù)器邏輯的 axi_st_module。

以下是“cpm_pcie_qdma_ep.bd”的模塊框圖：

CPM5 配置

生成的 Versal CPM5 QDMA Gen4x8 ST Only Performance Design 配置如下：

Gen4x8 DMA 模式

PCIE 控制器 1 配置為含 AXI4-Stream 接口的 QDMA

啟用 4PF、240VF 和 SRIOV

內(nèi)部模式

注釋：在此 CED 的 2023.2 及更低版本中，VF 的地址映射存在已知問(wèn)題。

這在 2024.1 版中已得到修復(fù)。如果使用 2023.2 或更低版本，需要使用下圖所示的數(shù)值更新“PCIe : BARs”選項(xiàng)卡和“SRIOV VF BARs”選項(xiàng)卡，以便在 VF 器件上執(zhí)行 C2H 和 H2C 傳輸事務(wù)。

PS PMC 配置

硬件測(cè)試

更新 CPM5 IP 配置（如上所述）后，保存設(shè)計(jì)，然后單擊“Generate Device Image”。

將 VPK120 評(píng)估板連接到主機(jī) PC。

使用 CED 生成的 PDI 文件對(duì) FPGA 進(jìn)行燒錄。

重新啟動(dòng)主機(jī) PC。

使用“l(fā)spci”命令檢查端點(diǎn)器件檢測(cè)情況。

QDMA 驅(qū)動(dòng)程序安裝

運(yùn)行以下命令。如需了解更多詳情，請(qǐng)參閱：

https://xilinx.github.io/dma_ip_drivers/master/QDMA/linux-kernel/html/build.html

使用 dma-ctl 列出系統(tǒng)中可用的功能，請(qǐng)參閱：

https://xilinx.github.io/dma_ip_drivers/master/QDMA/linux-kernel/html/dmactl.html#device-management-commands

dma-ctl dev list

SOLUTIPF 上的傳輸事務(wù)

隊(duì)列分配

如需了解更多信息，請(qǐng)參閱：
https://xilinx.github.io/dma_ip_drivers/master/QDMA/linux-kernel/html/userguide.html#allocate-the-queues-to-a-function

為 C2H 串流模式測(cè)試添加和啟動(dòng)隊(duì)列

如需了解更多信息，請(qǐng)參閱：

https://xilinx.github.io/dma_ip_drivers/master/QDMA/linux-kernel/html/dmactl.html#add-a-queue

https://xilinx.github.io/dma_ip_drivers/master/QDMA/linux-kernel/html/dmactl.html#start-a-queue

運(yùn)行不同傳輸大小的串流模式 C2H（從設(shè)備發(fā)出 DMA ）測(cè)試

如需了解更多信息，請(qǐng)參閱：
https://xilinx.github.io/dma_ip_drivers/master/QDMA/linux-kernel/html/dma_from_device.html

與 CPM QDMA 端點(diǎn)功能測(cè)試設(shè)計(jì)不同，用戶無(wú)需配置任何寄存器即可初始化數(shù)據(jù)傳輸。CED 的 `user_control` 模塊會(huì)在內(nèi)部產(chǎn)生報(bào)文。

為 H2C 串流模式測(cè)試添加和啟動(dòng)隊(duì)列

如需了解更多信息，請(qǐng)參閱：
https://xilinx.github.io/dma_ip_drivers/master/QDMA/linux-kernel/html/dmactl.html#add-a-queue

https://xilinx.github.io/dma_ip_drivers/master/QDMA/linux-kernel/html/dmactl.html#start-a-queue

運(yùn)行不同傳輸大小的串流模式 H2C（DMA 到設(shè)備）測(cè)試

如需了解更多信息，請(qǐng)參閱 :

https://xilinx.github.io/dma_ip_drivers/master/QDMA/linux-kernel/html/dma_to_device.html

運(yùn)行 dma-perf 應(yīng)用

“dma-perf”是一款定制工具，用于收集單向和雙向流量的性能指標(biāo)。

可使用“fio”等標(biāo)準(zhǔn) I/O 工具，通過(guò)字符設(shè)備接口執(zhí)行 I/O 操作。但是，大多數(shù)工具僅限于每次發(fā)送或接收 1 個(gè)包，并等待該包處理完成，因此無(wú)法使驅(qū)動(dòng)程序或硬件保持足夠繁忙以進(jìn)行性能測(cè)量。盡管 fio 也支持異步接口，但它不會(huì)在并行輪詢完成的同時(shí)持續(xù)提交 I/O 請(qǐng)求。

“dma-perf”工具會(huì)利用 libaio 庫(kù)提供的異步功能。通過(guò)使用 libaio，應(yīng)用程序可向驅(qū)動(dòng)程序提交 I/O 請(qǐng)求，驅(qū)動(dòng)程序會(huì)立即將控制權(quán)返回給調(diào)用方（即，非阻塞）。完成通知是單獨(dú)發(fā)送的，因此應(yīng)用程序隨后即可輪詢完成情況，并在收到完成通知后釋放緩沖區(qū)。

如需了解有關(guān) dma-perf 工具的更多信息，請(qǐng)參閱 QDMA Linux 內(nèi)核參考驅(qū)動(dòng)程序用戶指南，本指南托管于：

https://xilinx.github.io/dma_ip_drivers/master/QDMA/linux-kernel/html/dmaperf.html

用于串流模式測(cè)試的 dma-perf 配置文件包含在 Linux 參考內(nèi)核驅(qū)動(dòng)程序源文件內(nèi)，這些源文件托管于https://github.com/Xilinx/dma_ip_drivers的 QDMA/linux-kernel/apps/dma-perf/dmaperf_config 目錄下：

C2H 單向：st-c2h-pfetch1.zip

H2C 單向：st-h2c.zip

C2H 和 H2C 雙向：st-bi.zip

測(cè)試用例 - 1：bi_st_1_1_pfetch-cmptsz1_4096.txt

作為 dma-perf 工具輸入的配置文件為測(cè)試設(shè)置了以下標(biāo)志：

隊(duì)列的模式和方向 - 串流，雙向

PCI 總線：61，器件 - 00，功能 - 0 (PF)，每個(gè)方向單個(gè)隊(duì)列 (q_range) - 0 : 0

包數(shù) - 64，每個(gè)包大小 - 4096 字節(jié)

使用以下命令搭配 bi_st_1_1_pfetch-cmptsz1_4096.txt 配置執(zhí)行 dma-perf 測(cè)試：

qdma-perf 工具負(fù)責(zé)：

以 H2C 方向的 idx 0 添加和啟動(dòng) 1 個(gè)隊(duì)列

以 C2H 方向的 idx 0 添加和啟動(dòng) 1 個(gè)隊(duì)列

C2H 和 H2C 數(shù)據(jù)傳輸

停止并刪除已添加的 C2H 和 H2C 隊(duì)列

收集并顯示寫入 (H2C) 和讀取 (C2H) 性能結(jié)果

測(cè)試用例 - 2：bi_st_1_4_pfetch-cmptsz1_4096.txt

作為 dma-perf 工具輸入的配置文件為測(cè)試設(shè)置了以下標(biāo)志：

隊(duì)列的模式和方向 - 串流，雙向

PCI 總線：61，器件 - 00，功能 - 0 (PF)，每個(gè)方向 4 個(gè)隊(duì)列 (q_range) - 0 : 3

包數(shù) - 64，每個(gè)包大小 - 4096 字節(jié)

使用以下命令搭配 bi_st_1_4_pfetch-cmptsz1_4096.txt 配置執(zhí)行 dma-perf 測(cè)試：

qdma-perf 工具負(fù)責(zé)：

以 H2C 方向的 idx 0-3 添加和啟動(dòng) 4 個(gè)隊(duì)列

以 C2H 方向的 idx 0-3 添加和啟動(dòng) 4 個(gè)隊(duì)列

C2H 和 H2C 數(shù)據(jù)傳輸

停止并刪除已添加的 C2H 和 H2C 隊(duì)列

收集并顯示寫入 (H2C) 和讀取 (C2H) 性能結(jié)果

VF 上的傳輸事務(wù)

啟用 VF 器件

以下命令顯示了為 1 個(gè) PF 器件 (BDF: 61:00.0) 啟用 2 個(gè) VF 的操作：

以下命令列出了這些 PF 器件和 VF 器件：

如需了解更多信息，請(qǐng)參閱：
https://xilinx.github.io/dma_ip_drivers/master/QDMA/linux-kernel/html/userguide.html#instantiate-the-virtual-functions

lspci 命令列出了啟用的 PF 器件和 VF 器件，如下所示：

預(yù)留 VF 的隊(duì)列

“dma-ctl dev list”給出了預(yù)留的隊(duì)列的數(shù)量。

如需了解更多信息，請(qǐng)參閱：
https://xilinx.github.io/dma_ip_drivers/master/QDMA/linux-kernel/html/userguide.html#reserve-the-queues-for-vfs

在 VF 上添加和啟動(dòng)雙向隊(duì)列以執(zhí)行 C2H 和 H2C 串流模式測(cè)試

運(yùn)行包大小為 64 字節(jié)的 C2H 和 H2C 測(cè)試

在 VF 器件上運(yùn)行 dma-perf 應(yīng)用

作為 dma-perf 工具輸入的配置文件 vf_bi_st_1_1_pfetch-cmptsz1_4096.txt 為測(cè)試設(shè)置了以下標(biāo)志：

隊(duì)列的模式和方向 - 串流，雙向

PCI 總線：61，器件 - 02，功能 - 0 (VF)，每個(gè)方向單個(gè)隊(duì)列 (q_range) - 0 : 0

vf_perf = 1

包數(shù) - 64，每個(gè)包大小 - 4096 字節(jié)

使用以下命令搭配 vf_bi_st_1_1_pfetch-cmptsz1_4096.txt 配置執(zhí)行 dma-perf 測(cè)試：

qdma-perf 工具負(fù)責(zé)：

以 H2C 方向的 idx 0 添加和啟動(dòng) 1 個(gè)隊(duì)列

以 C2H 方向的 idx 0 添加和啟動(dòng) 1 個(gè)隊(duì)列

C2H 和 H2C 數(shù)據(jù)傳輸

停止并刪除已添加的 C2H 和 H2C 隊(duì)列

收集并顯示寫入 (H2C) 和讀取 (C2H) 性能結(jié)果

AMD 自適應(yīng) SoC 及 FPGA 中文技術(shù)支持社區(qū)