SoftBank 是一家致力于推動信息革命的全球技術(shù)公司。該公司經(jīng)營寬帶、固定線路電信、電子商務(wù)、信息技術(shù)、金融、媒體和營銷。為了改善用戶的通信體驗，并克服 5G 容量和覆蓋問題，軟銀使用了 NVIDIA Maxine GPU- 具有最先進人工智能功能的加速 SDK 來構(gòu)建虛擬協(xié)作和內(nèi)容創(chuàng)建應(yīng)用程序。

在本文中，您將了解軟銀如何使用 Maxine 超分辨率和硬件加速的編解碼操作來減少必須上傳到多址邊緣計算（ MEC ）服務(wù)器的數(shù)據(jù)量。除了解決有限帶寬的挑戰(zhàn)外， Maxine 功能（如噪音消除和虛擬背景）使軟銀能夠為用戶提供最佳的視頻會議解決方案。

使用 MEC 的好處

邊緣計算使提供商能夠?qū)⑵浼夹g(shù)部署到更接近用戶的位置。簡單地說，邊緣計算減少了關(guān)鍵任務(wù)、高吞吐量、低延遲應(yīng)用程序的帶寬和延遲預(yù)算。這是通過使用 MEC 網(wǎng)絡(luò)技術(shù)將計算從遠程云服務(wù)器移動到更靠近消費源的節(jié)點來實現(xiàn)的。邊緣計算在很大程度上依賴于網(wǎng)絡(luò)技術(shù)，如 4G ，以及最近的 5G ，以提供連接性。

圖 1 。涉及 MEC 服務(wù)器的管道的簡化概述

5G 功能（如超高速、超低延遲和多個同時連接）支持新的使用案例，如遠程醫(yī)療和智能工廠，這些都是以前無法通過無線連接實現(xiàn)的。 MEC 是實現(xiàn)低延遲、高吞吐量用例支持的關(guān)鍵。 MEC 通過部署區(qū)域 MEC 服務(wù)器并僅向云發(fā)送最低限度的必要數(shù)據(jù)，在邊緣盡可能多地進行處理，從而減少響應(yīng)延遲。 MEC 服務(wù)器通常使用 GPU 大規(guī)模并行計算能力以高速處理大量數(shù)據(jù)。

5G 網(wǎng)絡(luò)的挑戰(zhàn)

當(dāng)前的 5G 網(wǎng)絡(luò)以一種稱為非獨立（ NSA ）的配置運行。此配置結(jié)合了 4G LTE 網(wǎng)絡(luò)和 5G 基站，其中某些 5G 功能（如網(wǎng)絡(luò)切片）不可用。 5G SA （獨立）配置具有 5G 核心和基站。 5G SA 對 5G 的端到端支持加快了服務(wù)速度，降低了成本，提高了服務(wù)質(zhì)量，是部署服務(wù)的更好平臺。

當(dāng) 5G SA 配置上市時，完整的 5G 網(wǎng)絡(luò)就完成了。換言之， 5G 分兩步發(fā)展： 5G NSA 和 5G SA 。每一步都需要資本投資。

另一方面，包括軟銀在內(nèi)的一些電信運營商已經(jīng)開始在 4G LTE 和 5G NR 中使用 4G LTE 低頻段頻率。理論上，容量和覆蓋率是無線通信中的權(quán)衡。為了確保 5G SA 配置的高質(zhì)量廣域覆蓋，軟銀使用 MEC 盡可能有效地減少服務(wù)延遲。

圖 2 。 5G 頻率中容量和覆蓋率之間的權(quán)衡

此外，還有一些技術(shù)挑戰(zhàn)。移動網(wǎng)絡(luò)通常被設(shè)計為適應(yīng)比上行鏈路更高的下行鏈路速度。這種設(shè)計理念適用于一般應(yīng)用，如智能手機上的流媒體視頻，因為大部分流量是下行鏈路。然而，一些關(guān)鍵應(yīng)用需要強大的上行鏈路連接。其中之一是視頻會議，用戶需要相當(dāng)大的上行帶寬來傳輸高分辨率視頻和音頻。

當(dāng)前 5G 上行鏈路容量不足，需要載波聚合和 MIMO 天線來提供更多的上行鏈路分配。隨著越來越多的設(shè)備連接到 5G ，節(jié)省帶寬，特別是在上行鏈路中，是所有全球電信運營商面臨的共同挑戰(zhàn)。

上行鏈路帶寬密集型應(yīng)用，例如視頻會議，可以在減少的上行鏈路帶寬（例如， 500 Kbps ）下以與充足帶寬（ 100 Mbps ）相同的服務(wù)質(zhì)量來服務(wù)。在這些情況下，可以連接更多的設(shè)備，同時提供高質(zhì)量的服務(wù)。

基于 NVIDIA Maxine 的 MEC 視頻會議解決方案

NVIDIA Maxine 是一個 GPU 加速 SDK 平臺，它使視頻會議服務(wù)的開發(fā)人員能夠構(gòu)建和部署使用云中最先進模型的人工智能功能。 Maxine 包括使用 NVIDIA 研究的最新創(chuàng)新的 API ，如偽影減少、身體姿勢估計、超分辨率和噪聲消除。 Maxine 還使用其他產(chǎn)品，如 NVIDIA Riva，來提供封閉字幕和訪問虛擬助理等功能。這些功能在 NVIDIA GPU 上得到充分加速，以便在云中運行實時視頻流應(yīng)用程序。

Maxine 應(yīng)用程序使服務(wù)提供商能夠在任何設(shè)備（包括計算機、平板電腦和手機）上為每個用戶提供相同的功能。關(guān)鍵的一點是，所有的處理都是在云上進行的，因此在任何設(shè)備上運行的應(yīng)用程序都需要最少的資源。使用 Maxine 構(gòu)建的應(yīng)用程序可以輕松部署為微服務(wù)，并在 Kubernetes 環(huán)境中擴展到數(shù)十萬個流。

其想法是減輕視頻會議系統(tǒng)中涉及的計算密集型處理，減少必須上傳到 MEC 服務(wù)器的數(shù)據(jù)量。這是通過超分辨率和硬件加速編解碼操作等視頻效果的組合來實現(xiàn)的。 Maxine 還增加了生活質(zhì)量功能，如噪音消除、虛擬背景、房間回聲消除等。

這對最終用戶意味著什么？基本上，具有低帶寬連接的終端用戶在現(xiàn)場工作時會受到各種背景噪音的干擾，因此可以連接到干凈的音頻和高清晰度視頻。例如，一個工廠經(jīng)理在一個嘈雜的生產(chǎn)車間，在一個有 180p 流連接的偏遠地點，似乎在一個有 720p 流的安靜會議室里。計算資源的卸載也意味著終端用戶可以在資源有限的設(shè)備（如手機和筆記本電腦）上執(zhí)行多任務(wù)，從而延長電池壽命和更多可用內(nèi)存。

前面提到的功能包含在以下SDKs中：

視頻效果 SDK

音頻效果 SDK

增強現(xiàn)實 SDK

此外， NVIDIA 視頻編解碼器 SDK 提供硬件加速編碼和解碼，以幫助視頻會議周圍的基礎(chǔ)設(shè)施。

軟銀如何使用 NVIDIA Maxine

通常，如果要在移動電話上使用視頻會議解決方案，必須首先安裝客戶端應(yīng)用程序。就軟銀而言， Zoom 客戶端安裝在運營商網(wǎng)絡(luò)上的 MEC 服務(wù)器上，而不是移動電話上。移動電話的視頻和麥克風(fēng)輸出通過 5G 網(wǎng)絡(luò)輸入到 MEC 上的 Zoom 客戶端。 MEC 將智能手機的麥克風(fēng)和攝像頭識別為虛擬麥克風(fēng)和攝像頭，并將其用作 Zoom 客戶端的輸入。

圖 5 。軟銀和 Maxine POC ：概覽圖

以下是用于軟銀概念驗證實施的硬件和軟件規(guī)范：

Hardware

GPU ：Quadro RTX6000（驅(qū)動程序版本： 456 。 43 ）

CPU ：英特爾至強黃金 6244

Software

Windows 服務(wù)器 2019

WebRTC 本機客戶端 Momo

CUDA11 。 1

NVIDIA Maxine 視頻效果 SDK（ 2021 年 3 月 25 日 -VFX 預(yù)發(fā)布）

NVIDIA Maxine 音頻效果 SDK EA

這項工作使用了軟銀的 MEC 服務(wù)器（ Windows ）、一個改進的基于 C ++的開源 WebRTC 客戶端“ WebRTC 客戶端 Momo ”，以及一個使用視頻效果 SDK 和音頻效果 SDK API 的應(yīng)用程序。

AudioEffectSDK 中的NvAFX_RUN API （NVAFX_EFFECT_DENOISER）和視頻效果 SDK 中的NvVFX_RUN API （NVVFX_FX_SUPER_RES）用于執(zhí)行視頻超分辨率和噪聲消除。

圖 6 。視頻效果 SDK API 的示例代碼

圖 7 。 Audio Effects SDK API 的示例代碼

使用 WebRTC 協(xié)議從 5G 用戶設(shè)備發(fā)送的視頻流以低比特率（在此驗證中， H 。 264 （ CBR ） 180p ）上傳到 MEC ，以節(jié)省上行鏈路帶寬。 MEC 以低比特率接收降級的音頻和視頻，并使用 Maxine SDK 提高質(zhì)量。對于視頻， MEC 服務(wù)器使用 Maxine SuperResolution功能將從用戶設(shè)備以 180p 發(fā)送的視頻調(diào)整為 720p 。SuperResolution降低噪音并恢復(fù)高頻分量，從而產(chǎn)生高質(zhì)量的視頻。

圖 8 顯示了SuperResolution的結(jié)果。

圖 8 。原始塊狀圖像（左半部分）與應(yīng)用 Maxine AI 功能后的圖像（右半部分）

在圖 8 中，左側(cè)是應(yīng)用SuperResolution之前的原始數(shù)據(jù)，右側(cè)是放大的圖像。面部細節(jié)中的塊狀偽影被替換為更多像素，從而生成高質(zhì)量圖像。您可以使用隨 Video Effects SDK 提供的示例應(yīng)用程序復(fù)制這些結(jié)果。有關(guān)完整演示，請參見a Maxine 前/ Maxine 后視頻。

與超分辨率結(jié)果一樣，視頻中將顯示噪聲消除結(jié)果。

視頻顯示了用戶在鍵盤上打字時說話的場景中測試 Maxine 噪音消除功能的結(jié)果。在這里，選擇鍵盤聲音作為樣本，但在軟銀 PoC 的整個開發(fā)過程中，噪音消除在各種情況下也很有用。軟銀認為，噪音消除使嘈雜的環(huán)境會議成為可能，如戶外或汽車會議。

您可以使用 Audio Effects SDK 提供的示例應(yīng)用程序復(fù)制這些結(jié)果。

提高視頻流的質(zhì)量

通過在 MEC 服務(wù)器上部署 Maxine ，除了低延遲外，軟銀現(xiàn)在還為所有最終用戶提供高質(zhì)量的視頻和音頻體驗。由于不需要額外的硬件或用戶設(shè)備，因此通過上行鏈路帶寬的高節(jié)省實現(xiàn)了改進的最終用戶體驗。為了進一步提高視頻質(zhì)量，軟銀計劃使用 Maxine AI 人臉編解碼器。

關(guān)于作者

About Mana Murakami

Mana Murakami 是 NVIDIA 的高級解決方案架構(gòu)師。她專注于向日本的電信客戶加速基于 AI 、 GPU 的 vRAN 和 GPU 計算。 Mana 于 2015 年加入 NVIDIA ，擔(dān)任 CUDA 工程師，并擔(dān)任將 GPU 計算推廣到 HPC 和制造業(yè)的技術(shù)領(lǐng)導(dǎo)。在加入 NVIDIA 之前，她從事圖像處理的研究和開發(fā)，如色度鍵控和超分辨率。

About Tanay Varshney

Tanay Varshney 是 NVIDIA 的一名深入學(xué)習(xí)的技術(shù)營銷工程師，負責(zé)廣泛的 DL 軟件產(chǎn)品。他擁有紐約大學(xué)計算機科學(xué)碩士學(xué)位，專注于計算機視覺、數(shù)據(jù)可視化和城市分析的橫斷面。

審核編輯：郭婷