案例介紹

騰訊云音視頻 PaaS 平臺與 NVIDIA 團隊合作，利用CV-CUDA加速視頻增強 AI 工作管線中的前后處理模塊，結(jié)合NVIDIA TensorRT，將視頻增強 AI 全流程置于 GPU 上進行加速，前后處理部分效率提升 16% - 38%。

客戶簡介

騰訊云音視頻 PaaS 平臺（以下簡稱騰訊視頻云）專注技術(shù)產(chǎn)品，構(gòu)建了行業(yè)中極速高清智能轉(zhuǎn)碼、超低時延快直播的音視頻解決方案，已連續(xù)四年居于市場份額和解決方案首位^[1]，在音視頻領(lǐng)域已有超過 21 年的技術(shù)積累，騰訊云音視頻已持續(xù)支持國內(nèi) 90% 的音視頻客戶。其中騰訊云 MPS 媒體處理服務(wù)為海內(nèi)外客戶提供全場景極速高清轉(zhuǎn)碼，音視頻增強，專有云 codec SDK 等服務(wù)，在近期全球 MSU 云端編碼大賽及 SLC 評測中，所參評項目均取得了第一名的好成績^[2]。

使用 GPU 加速視頻增強 AI 全流程

本案例中，騰訊云音視頻 PaaS 平臺與 NVIDIA 團隊合作，利用CV-CUDA加速視頻增強 AI 工作管線中的前后處理模塊，結(jié)合NVIDIA TensorRT，將視頻增強 AI 全流程置于 GPU 上進行加速。集成 CV-CUDA 后相比加速前，前后處理部分效率提升 16% - 38%，端到端效率提升 6% - 10%。

加速畫質(zhì)增強全鏈路工作管線的挑戰(zhàn)

畫質(zhì)增強是騰訊視頻云提供的主要視頻類云服務(wù)之一，其通過 3D 去噪、色彩增強、超分辨率、插幀等處理技術(shù)，有效處理噪點、馬賽克、抖動、頓挫感等問題，提高畫面清晰度，讓畫質(zhì)重生。該服務(wù)的工作管線基于 ffmpeg filter 構(gòu)建，整體工作流如下圖所示：

圖 1. 畫質(zhì)增強工作管線示意圖

該服務(wù)中應(yīng)用了三種主要的 AI 模型，包括：去噪模型、色彩增強模型以及超分辨率模型。這些模型的工作管線中，除模型推理外，還包含了一系列前后處理操作，包括：yuv2rgb、copyMakeBorder、normalize、hwc2chw、chw2hwc、float2uint8、rgb2yuv 等。

此前，這些前后處理操作使用自定義的 CUDA 算子在 GPU 上處理或使用 OpenCV 在 CPU 上處理，計算效率并不理想。一方面，這使得前后處理在整個工作管線中占據(jù)了可觀的開銷；另一方面，前后處理可能增加 CPU 負載，影響 CPU 上其他任務(wù)的執(zhí)行效率。因此，如何盡可能地節(jié)省前后處理引入的開銷，緩解 CPU 負載，成為了加速畫質(zhì)增強全鏈路工作管線的挑戰(zhàn)。

視頻增強 AI 前后處理效率提升 16% - 38%

騰訊視頻云與 NVIDIA 合作，將 CV-CUDA 集成進去噪模型、色彩增強模型和超分辨率模型的工作流中，替換原有的 CUDA 算子及 OpenCV CPU 算子，從而加速前后處理部分的計算效率，提升 AI 任務(wù)端到端的推理效率。下表展示了對于 1080p 輸入圖像，應(yīng)用 CV-CUDA 前后，上述三種模型工作管線的處理速度（單位：ms）:

圖 2. 使用 CV-CUDA 后，處理

1080p輸入圖像的效率提升效果

可以觀察到，使用 CV-CUDA 后，三種模型的前后處理部分的計算效率有了不同程度的加速，模型整體性能也得以提升。此種性能提升尤其在前后處理耗時占比大的任務(wù)中將更加明顯。

持續(xù)合作，實現(xiàn)視頻 AI 全鏈路 GPU 加速

騰訊視頻云未來將持續(xù)與 NVIDIA 合作，對提升視頻增強服務(wù)處理效率方面進行不斷地探索。例如，雙方將共同嘗試引入 TensorRT 最新的特性，進一步加速視頻增強各類模型的推理性能；另外，雙方將繼續(xù)推動利用 CV-CUDA 加速更多視頻類工作管線的處理，實現(xiàn)視頻 AI 全鏈路 GPU 加速。

準備好開始了嗎？

CV-CUDA 搶先體驗開發(fā)者申請：

https://developer.nvidia.cn/zh-cn/cv-cuda/early-access

[1] 資料來源于騰訊云音訊頻開發(fā)者社區(qū)官網(wǎng)，其數(shù)據(jù)來源于國際數(shù)據(jù)公司（IDC）發(fā)布的《中國視頻云市場跟蹤(2021 上半年) 》https://cloud.tencent.com/developer/article/2046119。 [2] 資料來源于騰訊云音訊頻開發(fā)者社區(qū)官網(wǎng)，據(jù)莫斯科國立大學（MoscowState University）于 2021 年與 2022 年舉辦的 MSU 云端視頻轉(zhuǎn)碼大賽（CloudVideo Transcoding Services Comparison）成績公布https://cloud.tencent.com/developer/article/1794385; https://cloud.tencent.com/developer/article/2057612 。

點擊“閱讀原文”，或掃描下方海報二維碼，在 8 月 8日聆聽NVIDIA 創(chuàng)始人兼 CEO 黃仁勛在 SIGGRAPH 現(xiàn)場發(fā)表的 NVIDIA 主題演講，了解 NVIDIA 的新技術(shù)，包括屢獲殊榮的研究，OpenUSD 開發(fā)，以及最新的 AI 內(nèi)容創(chuàng)作解決方案。