在過去的 15 年中，越來越多的企業(yè)將其傳統(tǒng)的 IT 應用程序從本地遷移到公共云。這場革命的第一階段，你可以稱之為“企業(yè)云轉(zhuǎn)型”，它讓企業(yè)從云的規(guī)模、專業(yè)知識和靈活性中獲益。這場革命的第二階段“邊緣人工智能云轉(zhuǎn)型”正在發(fā)生，它是由物聯(lián)網(wǎng)、 5G 、邊緣計算和人工智能共同推動的。它為新的 邊緣 AI 服務打開了一個可能的世界，將改變許多行業(yè)。企業(yè)和政府將通過提供一系列新服務來獲得 邊緣 AI 的價值，包括智能城市、自主汽車、工業(yè) 4 .0 、智能零售和遠程醫(yī)療。

在一個數(shù)千億設備產(chǎn)生可操作數(shù)據(jù)的世界里，網(wǎng)絡架構(gòu)需要一個范式的轉(zhuǎn)變。 5G 的興起帶來了更高的數(shù)據(jù)速度和執(zhí)行網(wǎng)絡切片的能力，這使得網(wǎng)絡即服務能夠提供各種邊緣應用和服務。由于許多邊緣服務依賴于超低延遲鏈路，它們不適合在集中位置處理所有數(shù)據(jù)的傳統(tǒng)云 IT 方法。因此，邊緣計算的興起，在這種計算中，數(shù)據(jù)的處理更接近產(chǎn)生數(shù)據(jù)的設備和使用它的最終用戶或消費者。邊緣計算優(yōu)化了帶寬利用率，減少了延遲，并確保了這些新服務更大的隱私性。這場革命的新階段是由人工智能推動的，人工智能推動了邊緣數(shù)據(jù)中心的創(chuàng)新，從傳感器的原始數(shù)據(jù)中產(chǎn)生價值，從而獲得實時見解。因此，這些未來的應用被稱為邊緣人工智能服務。

NVIDIA 與 馬維尼爾 合作，為 智能視頻分析（ IVA ） 構(gòu)建了一個加速且高效的 Edge AI 解決方案。 IVA 應用框架，如 NVIDIA 大都市 可以理解攝像機和傳感器生成的大量數(shù)據(jù)。它們通過提供智能交通和停車系統(tǒng)為智能城市提供動力，或使工業(yè)自動化的進步提高生產(chǎn)力和減少浪費。

圖 1 。 Mavenir-NVIDIA 端到端 IVA 解決方案支持智能城市、無摩擦零售、工廠樓層光學檢測等。

NVIDIA -Mavenir 高效加速 IVA 解決方案

NVIDIA 和 Mavenir 合作開發(fā)了一個 edge-AI 用例，該用例專注于城市地區(qū)或工業(yè)園區(qū)的實時目標檢測。該解決方案用于檢測感興趣的對象，支持諸如監(jiān)控機場停車場智能停車場、防止郵件被盜或協(xié)調(diào)機器人車輛等應用程序。

如圖 1 所示， NVIDIA 和 Mavenir 的端到端解決方案將 5G 連接攝像頭生成的視頻流通過 Mavenir 的 5G 核心用戶平面功能（ UPF ）路由至 NVIDIA Metropolis 平臺。所有這些都運行在一個超級融合的 2RUNVIDIA EGX 邊緣服務器上。這些分解的基礎(chǔ)設施組件組合在一起，為公共和私人 5G 客戶提供一個加速和高效的 AI 驅(qū)動的邊緣 IVA 解決方案。

包流：包生命中的一天

圖 2 。分組通過加速有效 IVA 解決方案的不同組件。

如圖 2 所示，攝像機將視頻輸入平臺。這些攝像機提供的視頻幀包通過 Uu 連接流到模擬的 RAN 。 RAN 通過 N3 連接將數(shù)據(jù)包路由到 Mavenir 5G UPF 的 GPRS 隧道協(xié)議（ GTP ）隧道中。 NVIDIA 連接 X-6 Dx SmartNICs 卸載并加速 UPF 的數(shù)據(jù)包處理，繼續(xù)通過 N6 連接將數(shù)據(jù)包從 GTP 隧道路由到 EGX 邊緣服務器 ?？捎糜诜治鰯?shù)據(jù)的附加數(shù)據(jù)分析和數(shù)據(jù)處理平臺。

每臺攝像機以 720p 的分辨率和 4Mbps 的帶寬傳輸。該用例有 160 個攝像頭，因此每個網(wǎng)絡片的總帶寬為 640 Mbps 。系統(tǒng)的有效利用成為提供高效且經(jīng)濟可行的解決方案的關(guān)鍵。

UPF 在 5G 核心中的關(guān)鍵作用

這種聯(lián)合解決方案的關(guān)鍵要素之一就是 5G 核心。我們在這個聯(lián)合解決方案中特別強調(diào)的一個方面是如何使用硬件卸載來加速 5G 系統(tǒng)的各個部分。具體來說，我們可以演示卸載 Mavenir UPF 元素以提供最高效的服務和吞吐量的好處。

圖 3 。 3GPP 5G 架構(gòu)。

如圖 3 所示， UPF 是 3GPP 5G 核心規(guī)范中的關(guān)鍵組件。它可以被認為是 5G 網(wǎng)絡的主干。 UPF 在 RAN / MEC 和數(shù)據(jù)網(wǎng)絡之間提供連接，確保數(shù)據(jù)在系統(tǒng)中的有效傳輸。

UPF 由 5G 核心的會話管理功能（ SMF ）組件管理。 SMF 根據(jù)定義的業(yè)務規(guī)則定義了通過 UPF 移動數(shù)據(jù)包的規(guī)則。因此， UPF 的角色之一是解析來自傳入數(shù)據(jù)包的會話或用戶信息，并將其與 SMF 定義的規(guī)則相匹配。

通過 5G （ 3GPP 協(xié)議中指定為 N3 和 N9 ）的連接基于 GTP 。 UPF 處理數(shù)據(jù)包通過 GTP 隧道時的解封裝和封裝。此外， UPF 處理包路由和轉(zhuǎn)發(fā)、包檢查、服務質(zhì)量（ QoS ）實施和網(wǎng)絡地址轉(zhuǎn)換（ NAT ）。作為其工作的一部分， UPF 管理數(shù)據(jù)包的接收端擴展（ RSS ），其中數(shù)據(jù)包被負載平衡并定向到 UPF 服務器內(nèi)的不同核心進行處理。

這種不同的角色為使用硬件卸載加速 UPF 性能提供了多種機會。

圖 4 。數(shù)據(jù)包轉(zhuǎn)發(fā)的硬件卸載過程。

傳統(tǒng)上，傳統(tǒng)的虛擬網(wǎng)絡功能（ vnf ）運行在通用的 CPU 上。雖然靈活，但它們在可伸縮性和對不同工作負載的響應方面受到限制。 NVIDIA 網(wǎng)絡技術(shù)使用物理硬件，如智能網(wǎng)卡和 DPU ，以高速執(zhí)行數(shù)據(jù)包處理任務。重點是管理 NIC 表中的流規(guī)則，將傳入的數(shù)據(jù)包與預定義的規(guī)則相匹配。 NVIDIA ASAP2是一項旗艦開源技術(shù)，實現(xiàn)了云、虛擬化和裸機環(huán)境的加速交換和數(shù)據(jù)包處理。

硬件比軟件更有效地執(zhí)行卸載功能。因此，可以以較高的吞吐量和較低的延遲執(zhí)行操作。此外，卸載可以釋放 CPU 來處理其他任務，而不是進行數(shù)據(jù)包處理。

盡快2將 UPF 功能卸載到硬件

圖 5 。沒有硬件加速的 UPF 管道流。

在圖中，通過非 UPN3 接口接收來自 GNO 的數(shù)據(jù)包。然后， UPF 服務器中的調(diào)度線程或核心負責 RSS 。調(diào)度器接收包并將其定向到多個工作線程或虛擬核心中的一個。這些核心然后處理剩余的 UPF 管道：

由訂戶的 IP 地址標識的特定于訂戶的規(guī)則的初始匹配

GTP 封裝/解封（基于通過 GTP 隧道的數(shù)據(jù)流）提取特定的訂戶 IP 地址

基于 SMF 規(guī)則的會話數(shù)據(jù)提取與處理

執(zhí)行以業(yè)務為中心的任務，如 QoS 和數(shù)據(jù)包計費和計數(shù)

在將要發(fā)送到數(shù)據(jù)網(wǎng)絡或 5G 系統(tǒng)中的下一跳的數(shù)據(jù)包排隊之前，重寫 NAT 的數(shù)據(jù)包頭。

這個過程是 CPU 密集型和低效的。我們可以演示通過管道進行包處理并在 smartNIC 而不是在 CPU 中執(zhí)行它的優(yōu)勢。目前與 Mavenir 的合作已經(jīng)分兩個階段演示了這種卸載。

圖 6 。部分加速流水線硬件。

圖 6 顯示了第一個卸載階段的重點是包分類、流標記、 GTP encap / decap 和 RSS 。

當數(shù)據(jù)包從 GNodeB 接收時， NIC 對 IPv4 和會話頭執(zhí)行規(guī)則匹配。這樣， NIC 理解會話上下文并執(zhí)行 RSS 功能，相應地將數(shù)據(jù)包發(fā)送給工作線程。這種卸載會立即釋放調(diào)度程序核心來執(zhí)行其他任務。

在第二個更高級的階段， UPF 管道的其他組件被卸載到 NIC 。此過程包括流標記，以維護在一個數(shù)據(jù)包與多個表匹配時要保留在會話中的匹配上下文。

在 NIC 執(zhí)行初始規(guī)則匹配之后，它將執(zhí)行 GTP encap / decap ，并在將數(shù)據(jù)包發(fā)送到工作核心之前標記數(shù)據(jù)包以進行流標記。

與第一階段卸載一樣，調(diào)度器核心被釋放。還有更多的好處。 GTP encap / decap 開銷減少， UPF 軟件匹配所需的一些 CPU 搜索周期也減少了。此外， FlowTag 標記通過創(chuàng)建具有親和力的 RSS 大大提高了 UPF 處理。當系統(tǒng)識別出一個包時，它可以將它發(fā)送到特定的線程進行處理，而不是僅僅充當工作線程 – 和核心關(guān)聯(lián)感知的負載平衡器。

未來的發(fā)展將把 UPF 管道的附加功能轉(zhuǎn)移到硬件上，從而提高系統(tǒng)的效率。

5GC UPF 卸載的性能優(yōu)勢

測試系統(tǒng)顯示了將 UPF 功能卸載到 smartNIC 的明顯優(yōu)勢。測試是通過視頻流通過 RAN 進入 UPF ，被推向邊緣 AI 。

圖 7 。 UPF 性能結(jié)果（無硬件卸載）。

Mavenir UPF 軟件配置為使用 32 個虛擬快速路徑核心運行。圖 7 顯示，作為基線測試，視頻流通過 UPF 而無需任何硬件卸載。該測試顯示 32 個快速路徑核心的最大吞吐量達到 524 Gbps。

關(guān)于作者

Ash Bhalgat 是 NVIDIA 網(wǎng)絡業(yè)務部門的云和電信市場開發(fā)高級總監(jiān)。他領(lǐng)導云和電信解決方案、技術(shù)營銷和合作伙伴生態(tài)系統(tǒng)業(yè)務開發(fā)，以推動網(wǎng)絡投資組合收入和市場份額增長。

審核編輯：郭婷