VPP的crypto框架是VPP原生的一套數(shù)據(jù)加解密框架，其目的是為VPP框架中所有Graph node提供數(shù)據(jù)加密服務(wù)。VPP的Crypto框架包含一套為Graph node準(zhǔn)備的用戶API，包括創(chuàng)建、更新和刪除密鑰，以及處理加密工作等；該框架還包括一條邏輯簡(jiǎn)單且巧妙的crypto engine API，用于作為VPP Plugin的crypto engine來注冊(cè)和上載回調(diào)函數(shù)，并根據(jù)每個(gè)crypto engine根據(jù)預(yù)設(shè)的優(yōu)先級(jí)來決定某個(gè)算法的缺省engine回調(diào)函數(shù)。目前可用的VPP crypto engine有

crypto native engine：根據(jù)不同CPU特性和指令集所特別優(yōu)化的plugin，性能最優(yōu)但支持算法較少。

ipsecmb engine：基于intel-ipsec-mb庫(kù)的plugin，僅支持英特爾的CPU。

openssl engine：支持算法最全面的純軟件實(shí)現(xiàn)，性能相比以上兩個(gè)plugin相對(duì)弱一些。

可以看到，以上的engine均為軟件實(shí)現(xiàn)。優(yōu)點(diǎn)是邏輯結(jié)構(gòu)較為簡(jiǎn)單，因?yàn)檐浖軐?shí)時(shí)返回密碼運(yùn)算結(jié)果，所以graph node可以立刻決定是否繼續(xù)或中止對(duì)某個(gè)網(wǎng)絡(luò)幀的流水線處理。然而，這一方式無法支持加密工作的卸載，如基于QAT的硬件卸載或基于多CPU Core合作的軟件卸載等。為了填補(bǔ)這一空缺我們?cè)赩PP 20.05提出了VPP 異步crypto 框架，并在VPP 20.09對(duì)其進(jìn)行了進(jìn)一步完善。

01

VPP同步crypto框架

剛才介紹到，已有的VPP Crypto框架是同步軟件實(shí)現(xiàn)，圖1簡(jiǎn)單介紹了如何在VPP IPsec中使用crypto框架。

圖1：VPP IPSec 使用 crypto 框架加密ESP Tunnel模式網(wǎng)絡(luò)幀

如圖，esp4-encrypt-tun是VPP的IPsec數(shù)據(jù)面處理的Graph Node。它將對(duì)接收到的網(wǎng)絡(luò)幀進(jìn)行SA查表，并將SA 中預(yù)存的crypto key索引號(hào)連同要加密的數(shù)據(jù)指針和長(zhǎng)度一起提交給加密算法的缺省處理函數(shù)進(jìn)行加密。加密結(jié)果將在處理完成后立刻返回給esp4-encrypt-tun，在將處理失敗的網(wǎng)絡(luò)幀丟棄后，其余幀將交由下一個(gè)graph node處理。

02

收發(fā)間卸載

在討論如何將同步變成異步以前，我們首先需要介紹一下收發(fā)間卸載。

NIC的收發(fā)在某種程度上也屬于CPU卸載范疇的一部分：CPU無需在二進(jìn)制數(shù)據(jù)和光電信號(hào)之間進(jìn)行轉(zhuǎn)換，僅需要對(duì)二進(jìn)制數(shù)據(jù)，及網(wǎng)絡(luò)幀數(shù)據(jù)進(jìn)行特定地址的讀寫即可完成網(wǎng)絡(luò)幀的收發(fā)工作，光電信號(hào)的轉(zhuǎn)換以及許多其他工作，如Checksum運(yùn)算卸載，VXLan封裝和解封卸載等，都是由NIC完成的。雖然NIC也需要一些時(shí)間完成收發(fā)工作，但并不需要讓CPU一直等待其工作完成，而是和CPU并行地異步工作著。NIC對(duì)于能收發(fā)多少網(wǎng)絡(luò)幀能立刻判定，因此CPU無需過多干預(yù)收發(fā)結(jié)果，只管讀寫即可。

那么，如果這類卸載發(fā)生在收發(fā)網(wǎng)絡(luò)幀的中間呢？

這種網(wǎng)絡(luò)幀收發(fā)之間的卸載，我們稱為收發(fā)間卸載，恰恰是QAT的工作方式。CPU將加密的工作卸載給QAT，QAT在CPU的流水線之外并行地處理加密工作。并在另一個(gè)時(shí)間點(diǎn)將處理好的工作取回，并最終交由NIC進(jìn)行發(fā)送。收發(fā)間卸載相比NIC卸載要相對(duì)復(fù)雜一些：CPU需要管理失敗的加解密命令的結(jié)果，因?yàn)镼AT的操作對(duì)象僅為內(nèi)存而非網(wǎng)絡(luò)幀，CPU需要自行管理QAT交互使用的內(nèi)存；CPU也需要針對(duì)加解密操作的結(jié)果進(jìn)行相應(yīng)的處理；如非法的加密網(wǎng)絡(luò)幀需要丟棄等。我們還需要一個(gè)獨(dú)立于收網(wǎng)絡(luò)幀之外的輪詢（polling）操作，以便將QAT處理完成的數(shù)據(jù)及時(shí)取回。

03

VPP的異步crypto框架以及在VPP IPsec中的應(yīng)用

要把圖1的同步模式轉(zhuǎn)變成異步模式，VPP的crypto 框架應(yīng)該要有一個(gè)成雙的enqueue和dequeue回調(diào)函數(shù)，同時(shí)底下應(yīng)能有不同的async crypto engine來提供這些回調(diào)函數(shù)的指針。Esp4-encrypt-tun節(jié)點(diǎn)將需要加密的數(shù)據(jù)enqueue給cryptodev engine，并最終提交給QAT。我們還要增加了一個(gè)crypto dispatch node來輪詢QAT VF，來取回加密好的網(wǎng)絡(luò)幀并傳遞給esp4-encrypt-tun-post。籍此我們完成了esp4-encrypt-tun從同步到異步的轉(zhuǎn)變，如圖2所示。

圖2：VPP IPSec 使用 Async crypto 框架加密ESP Tunnel模式網(wǎng)絡(luò)幀

但光這樣還不夠。該圖僅僅描述了IPsec ESP在TUNNEL模式下的加密工作流程。VPP Crypto 的異步框架還能：

支持多engine 。和同步的VPP Crypto框架一樣，異步框架能讓不同的算法由不同的engine來處理。

所有的graph node都能獲取異步的crypto服務(wù)。它們僅需要想crypto dispatch節(jié)點(diǎn)告知自己在取回處理完成的網(wǎng)絡(luò)幀時(shí)的下一跳節(jié)點(diǎn)名稱。

Crypto dispatch節(jié)點(diǎn)在支持輪詢模式的同時(shí)，還能在僅有限影響性能的前提下支持中斷模式，這樣能最大化VPP異步框架的適用性，如在容器中運(yùn)行等。

最后，我們還提供基于DPDK Cryptodev API的高性能Cryptodev engine，通過其實(shí)現(xiàn)對(duì)QAT卸載的高效支持。

04

如何在VPP IPSec中使用異步crypto框架及DPDK Cryptodev Engine

首先我們要保證在VPP的startup.conf中擁有足夠的QAT Virtual Function （VF）。因?yàn)橐粋€(gè)VPP Worker線程將占用一個(gè)QAT VF的硬件隊(duì)列，因此QAT VF的數(shù)量應(yīng)不小于VPP Worker內(nèi)核數(shù)量除以2。

VPP啟動(dòng)后，使用如下命令能看到QAT 硬件隊(duì)列和VPP Worker線程的綁定關(guān)系

使用如下命令還可看到算法和engine的綁定關(guān)系

Engine 名后的“*”代表其為該算法的缺省engine，這時(shí)我們可以將缺省的engine從sw_scheduler變成dpdk_cryptodev

可以看到缺省engine 變成了DPDK Cryptodev

這時(shí)我們可以在IPsec中啟動(dòng)異步模式

自此所有的IPsec工作流都將以異步的方式進(jìn)行處理。在VPP的show run命令輸出可以看到多出來的用于處理IPsec異步模式的graph node。

我們還可以切換輪詢或者中斷模式（可選），中斷模式下crypto dispatch節(jié)點(diǎn)僅在隊(duì)列中還有網(wǎng)絡(luò)幀未被取出時(shí)才會(huì)啟用。使用中斷模式將視網(wǎng)絡(luò)情況略微影響性能，但能在沒有網(wǎng)絡(luò)幀要處理時(shí)盡量小地占用CPU。

原文標(biāo)題：同步異步你說了算：VPP 的異步Crypto框架

文章出處：【微信公眾號(hào)：FPGA之家】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq