Versal AI Core 系列可借助 AI 引擎提供突破性的 AI 推斷加速。此系列應(yīng)用范圍廣泛，包括用于云端動態(tài)工作負(fù)載以及超高帶寬網(wǎng)絡(luò)，同時還可提供高級安全性功能。AI 和數(shù)據(jù)科學(xué) 家以及軟硬件開發(fā)者均可充分利用高計算密度的優(yōu)勢來加速提升任何應(yīng)用的性能。

AI 引擎是超長指令字 (VLIW) 處理器陣列，具有高度優(yōu)化的單指令流多數(shù)據(jù)流 (SIMD) 矢量單元，專用于各種計算密集 型應(yīng)用，尤其是數(shù)字信號處理 (DSP)、5G 無線應(yīng)用和人工智能 (AI) 技術(shù)（如機(jī)器學(xué)習(xí) (ML)）等。同時，AI 引擎還是硬化的塊，可提供多級并行處理能力，包括指令級并行處理和數(shù)據(jù)級并行處理。

本指南闡述了對 AI 引擎 graph 應(yīng)用進(jìn)行編譯與仿真、使用 Vitis 工具流程來集成應(yīng)用、使用 Vitis IDE、調(diào)試 AI 引擎應(yīng)用、映射器/布線器方法論、AI 引擎硬件剖析和調(diào)試方法論等內(nèi)容。

本文選取 AI 引擎架構(gòu)概述部分。

AI 引擎陣列編程要求充分理解要實(shí)現(xiàn)的算法、AI 引擎的功能以及各功能單元之間的整體數(shù)據(jù)流。AI 引擎陣列支持三種 級別的并行度：

SIMD：通過矢量寄存器，允許并行計算多個元素。

指令級別：通過 VLIW 架構(gòu)，允許在單個時鐘周期內(nèi)執(zhí)行多項(xiàng)指令。

多核：通過 AI 引擎陣列，即可在其中并行執(zhí)行數(shù)百個 AI 引擎。

雖然對于 AI 引擎而言，大部分標(biāo)準(zhǔn) C 語言代碼均可編譯，但代碼可能需要大幅重構(gòu)才能在 AI 引擎陣列上實(shí)現(xiàn)最優(yōu)性能。AI 引擎的優(yōu)勢在于，它能夠在每個時鐘周期內(nèi)執(zhí)行矢量 MAC 運(yùn)算、為下一項(xiàng)運(yùn)算加載 2 個 256 位矢量、存儲來自上一項(xiàng)運(yùn)算的單個 256 位矢量并遞增一個指針或執(zhí)行另一次標(biāo)量運(yùn)算。AI 引擎編譯器不會執(zhí)行任何自動矢量化或基于編譯指示的矢量化。代碼必須重寫后才能使用 SIMD 內(nèi)部數(shù)據(jù)類型（例如，v8int32）和矢量內(nèi)部函數(shù)（例如， mac(…)），而這些都必須在單個流水打拍循環(huán)內(nèi)執(zhí)行，才能達(dá)成最優(yōu)性能。32 位標(biāo)量 RISC 處理器具有一個 ALU、 部分非線性函數(shù)和數(shù)據(jù)類型轉(zhuǎn)換。每個 AI 引擎所能訪問的存儲器量是有限的，這表示大型數(shù)據(jù)集需要分區(qū)。

AI 引擎內(nèi)核即 AI 引擎上運(yùn)行的函數(shù)，這些函數(shù)構(gòu)成數(shù)據(jù)流 graph 規(guī)范的基本構(gòu)建塊。數(shù)據(jù)流 graph 是 Kahn 進(jìn)程網(wǎng)絡(luò)，具有確定性行為，不依賴于各種計算延遲或通信延遲。AI 引擎內(nèi)核聲明為空的 C/C++ 函數(shù)，通過提取窗口實(shí)參或串流實(shí)參來建立 graph 連接。內(nèi)核還可包含靜態(tài)數(shù)據(jù)和運(yùn)行時參數(shù)實(shí)參，包括異步實(shí)參或觸發(fā)實(shí)參。每個內(nèi)核都應(yīng)在其自己的源文件內(nèi)定義。

為了達(dá)成總體系統(tǒng)性能，必須廣泛閱讀了解有關(guān)架構(gòu)、分區(qū)、AI 引擎數(shù)據(jù)流 graph 生成和數(shù)據(jù)流連接最優(yōu)化等方面的 知識，積累相關(guān)經(jīng)驗(yàn)。

AMD 賽靈思提供了 DSP 和通信庫，其中包含經(jīng)最優(yōu)化的代碼，可用于 AI 引擎，應(yīng)盡可能多加利用。其中提供的源代碼也提供了強(qiáng)大的資源，供用戶學(xué)習(xí)有關(guān) AI 引擎內(nèi)核編碼的信息。

AI 引擎組件

AI 引擎陣列由二維 AI 引擎拼塊 (tile) 陣列構(gòu)成，其中每個 AI 引擎拼塊均包含一個 AI 引擎、存儲器模塊和拼塊互連模 塊。

AI 引擎：每個 AI 引擎都是一個超長指令字 (VLIW) 處理器，其中包含一個標(biāo)量單元、一個矢量單元、兩個加載單元和一個存儲單元。

AI 引擎拼塊：每個 AI 引擎拼塊都包含一個 AI 引擎、一個本地存儲器模塊，搭配多條通信路徑以促進(jìn)拼塊間的數(shù)據(jù)交換。

AI 引擎陣列：AI 引擎陣列是指 AI 引擎拼塊的完整二維陣列。

AI 引擎程序：AI 引擎程序包含以 C/C++ 編寫的數(shù)據(jù)流 graph 規(guī)范。該程序是使用 AI 引擎工具鏈來編譯并執(zhí)行的。

AI 引擎內(nèi)核：內(nèi)核是使用 AI 引擎矢量數(shù)據(jù)類型和內(nèi)部函數(shù)以 C/C++ 編寫的。這些函數(shù)均為 AI 引擎上運(yùn)行的計算函數(shù)。內(nèi)核構(gòu)成數(shù)據(jù)流 graph 規(guī)范的基本構(gòu)建塊。

ADF graph：ADF graph 是具有單個 AI 引擎內(nèi)核或多個 AI 引擎內(nèi)核（以數(shù)據(jù)串流連接）的網(wǎng)絡(luò)。它憑借如下特定構(gòu)造來與可編程邏輯、全局存儲器和處理器系統(tǒng)進(jìn)行交互，此類構(gòu)造有：PLIO（graph 編程中的端口屬性，用于建立往來可編程邏輯的串流連接）、GMIO（graph 編程中的端口屬性，用于建立往來全局存儲器的外部存儲器映射連接）和 RTP。

工具

Vitis 集成設(shè)計環(huán)境

Vitis 集成設(shè)計環(huán)境 (IDE) 可用于為賽靈思器件執(zhí)行系統(tǒng)編程，包括含多個 AI 引擎內(nèi)核的 Versal 器件。在此工具中，有下列功能特性可用。

最優(yōu)化 C/C++ 編譯器，用于編譯內(nèi)核與 graph 代碼，執(zhí)行所有必要的連接、布局和檢查以確保器件上的各項(xiàng)功能正常工作。

周期近似的仿真器、加速的功能仿真器和剖析工具。

調(diào)試環(huán)境，可在仿真環(huán)境和硬件環(huán)境下使用。

Vitis 命令行工具

命令行工具可用于構(gòu)建、仿真以及生成輸出文件和報告。捕獲由 IDE 生成的命令行輸出后，有助于后續(xù)集成到客戶構(gòu)建環(huán)境內(nèi)。Vitis 分析器 IDE 可用于查看報告并分析由命令行工具生成的輸出文件和報告。

Vitis Model Composer

Vitis Model Composer 可提供基于 MATLAB 和 Simulink 的高層次圖形輸入環(huán)境，用于包含 AI 引擎、HLS 和 RTL 組件的設(shè)計仿真與代碼生成。

將 AI 引擎內(nèi)核、graph、HLS 內(nèi)核與基于 RTL 的塊導(dǎo)入同一個 Simulink 設(shè)計，用于快速協(xié)同仿真。

從 Simulink 庫瀏覽器中，將經(jīng)過最優(yōu)化的 AI 引擎函數(shù)（例如，有限脈沖響應(yīng) (FIR) 和 FFT 濾波器）拖放到設(shè)計中。

使用 MATLAB 或 Simulink 中生成的激勵來驗(yàn)證設(shè)計、直觀顯示結(jié)果并將結(jié)果與黃金參考結(jié)果進(jìn)行比較。生成 graph 代碼并測試矢量。

匯編導(dǎo)入的代碼和塊庫代碼以供饋送到下游工具中。

審核編輯：郭婷