深圳望塵科技公司擁有國內(nèi)領(lǐng)先的 AI 視覺算法團隊和實時渲染引擎，十年來一直專注于體育游戲與其相關(guān) AI 視覺技術(shù)的研發(fā)，積累了巨量的球員角色數(shù)據(jù)庫，不僅有所有在國際足聯(lián)注冊的 2 萬名職業(yè)球員精確到厘米的球員體型、骨長、BMI、體脂肌肉比等數(shù)據(jù)，還有數(shù)千名頂級球員高精度的 3D 模型，幾乎全球所有主要球場的高精度模型。

基于這些高質(zhì)量結(jié)構(gòu)化的數(shù)據(jù)，Arena4D 可將捕捉結(jié)果在實時渲染引擎中以接近照片級真實的質(zhì)量渲染，用完全自由的鏡頭特效和運鏡方式實現(xiàn)前所未有的震撼體驗。

基于以上挑戰(zhàn)，望塵科技選擇了采用 NVIDIA AI 計算平臺來提供支持，使用后給研發(fā)和項目落地帶來了巨大的支持和提升。

1、基于 GalaSports 體育游戲渲染生成巨量的合成數(shù)據(jù)，在 NVIDIA 數(shù)據(jù)中心 GPU 上進行加速訓(xùn)練。首先在有 GT 的合成數(shù)據(jù)上訓(xùn)練基礎(chǔ)網(wǎng)絡(luò)，然后再在手工標(biāo)注的真實數(shù)據(jù)上進行 finetune。

2、Arena4D 采用了 NVIDIA TensorRT 推理加速引擎，TensorRT 首先對神經(jīng)網(wǎng)絡(luò)進行量化處理，然后再優(yōu)化、合并算子，最后經(jīng)過 Batch 化，推理處理速度較原來提升了 4-12 倍，能高效地處理多路攝像頭 4k 高清數(shù)據(jù)，實時提取球員的 3D Pose 和外貌特征并進行匹配計算。

3、將原有基于 CPU 運行的數(shù)據(jù)拷貝，圖像格式轉(zhuǎn)換，圖像 crop/resize 等耗時較多的操作流水線，利用 CUDA 進行實現(xiàn)，完全切換到 GPU 處理，比起 CPU 實現(xiàn)的方案，加速 50~100 倍。

4、針對體育場景中運動員速度快、運動幅度大、圖像中尺寸小的特點，改進了網(wǎng)絡(luò)結(jié)構(gòu)和算子，使其適合體育場這種稀疏變化，追蹤角色小的場景；提升了 MOT 算法，通過多個視圖的 fusion 網(wǎng)絡(luò)對 2D 追蹤結(jié)果進行 finetune，實現(xiàn)多視圖在 3D 空間的追蹤。

圖2：計算延遲解決思路

圖片來源及所屬：Galasports 望塵科技

6、整個流水線經(jīng)過 TensorRT 編譯運行在 NVIDIA 數(shù)據(jù)中心 GPU 上，每路視頻信號由一張 GPU 進行實時計算，最后在 CPU 中對多路計算結(jié)果降噪融合。最終，以足球場場景為例，追蹤目標(biāo)為 1 個足球 + 22 名球員 + 3 名教練的位置與骨骼，在一張 NVIDIA 數(shù)據(jù)中心 GPU 設(shè)備上我們實現(xiàn)了平均 50ms/幀的速度，在二張 NVIDIA 數(shù)據(jù)中心 GPU 設(shè)備上能達到平均 30ms/幀的速度，整個流水線比原型提升了 18 倍。

使用了 NVIDIA TensorRT 推理加速引擎和 NVIDIA 數(shù)據(jù)中心計算卡，Arena4D 整個流水線可實時運行，進一步提升了用戶使用體驗，為擴展 AI 體育方向的其他業(yè)務(wù)、甚至是 XR 場景的加入打下了良好的基礎(chǔ)。

Arena4D 通過 NVIDIA TensorRT 等技術(shù)，實現(xiàn)了多視圖在 3D 空間的追蹤、提升了識別骨長度和 BMI 等球員特征的準確率、完成了內(nèi)存拷貝與數(shù)據(jù)處理的并行化、改進了網(wǎng)絡(luò)結(jié)構(gòu)和算子使其適合體育場的稀疏變化，最終實現(xiàn)全流程 GPU 加速，速度提升超過 50～100 倍。

AI 體育行業(yè)是最受關(guān)注的人工智能應(yīng)用領(lǐng)域之一，傳統(tǒng)的體育企業(yè)也開始擁抱科技，紛紛引入人工智能產(chǎn)業(yè)。一個集技術(shù)、人才與場景優(yōu)勢的科技企業(yè)必須與一個優(yōu)秀的合作伙伴一起積極開拓和長期發(fā)展。NVIDIA 提供的 GPU 解決方案，解決了深度學(xué)習(xí)和機器學(xué)習(xí)的技術(shù)難題，使得望塵科技在 AI 體育領(lǐng)域能夠持續(xù)不斷地創(chuàng)新產(chǎn)品，拓寬 AI 應(yīng)用場景，為觀眾和球迷提供新時代的數(shù)字化全新觀賽體驗。

NVIDIA 初創(chuàng)加速計劃

望塵科技是 NVIDIA 初創(chuàng)加速計劃 (NVIDIA Inception) 會員企業(yè)。NVIDIA 初創(chuàng)加速計劃為免費會員制、旨在培養(yǎng)顛覆行業(yè)格局的優(yōu)秀創(chuàng)業(yè)公司。該計劃聯(lián)合國內(nèi)外知名的風(fēng)投機構(gòu)，創(chuàng)業(yè)孵化器，創(chuàng)業(yè)加速器，行業(yè)合作伙伴以及科技創(chuàng)業(yè)媒體等，打造創(chuàng)業(yè)加速生態(tài)系統(tǒng)。能夠提供產(chǎn)品折扣，技術(shù)支持，市場宣傳，融資對接，業(yè)務(wù)推薦等一系列服務(wù)，加速創(chuàng)業(yè)公司的發(fā)展。

想獲得 NVIDIA 初創(chuàng)加速生態(tài)助力？掃描下方二維碼，僅需一分鐘填寫意向申請表單，獲得快速聯(lián)系。