時(shí)域科技是一家專注于 AI 領(lǐng)域的科技公司，致力于讓 AI 滿足人類的情感需求，通過“富情感”人聲合成技術(shù)，賦予 AI 表現(xiàn)情感的能力。時(shí)域科技服務(wù)以“游戲”+“虛擬偶像”為主的元宇宙業(yè)務(wù)客戶，為客戶提供高情感、高質(zhì)量、高可控、高定制、全場景的 AI 人聲，幫助客戶通過 AI 與用戶建立情感連接，給用戶帶來情感價(jià)值的享受。

時(shí)域科技旗下ACE studio是 PC 平臺(tái)上的一款歌聲合成軟件，主要面向較為專業(yè)的用戶。ACE 虛擬歌姬是移動(dòng)平臺(tái)上的一款歌聲合成軟件，用戶可以很方便的進(jìn)行自由創(chuàng)作，二次創(chuàng)作，并且將自己的作品分享在平臺(tái)上，目前已有眾多炙手可熱的作品流傳。同時(shí)，時(shí)域科技還為多個(gè)合作伙伴提供接口服務(wù)。

時(shí)域科技歌聲合成引擎，由一組高性能模型組成，包括韻律模型，唱法模型，音色模型，參數(shù)模型等。采用云端部署方式，選用 NVIDIA A10 GPU 作為推理芯片，實(shí)現(xiàn)快速完成各種復(fù)雜的合成任務(wù)。

歌聲合成引擎迭代部署面臨諸多挑戰(zhàn)

歌聲合成引擎的迭代與部署過程中，團(tuán)隊(duì)也遇到了諸多挑戰(zhàn)：

• 歌聲合成服務(wù)的用戶，由于很多正在進(jìn)行創(chuàng)作活動(dòng)，對(duì)于調(diào)用延遲耐受度很低，使得我們必須在各個(gè)環(huán)節(jié)進(jìn)行極致優(yōu)化，進(jìn)一步提高合成吞吐瓶頸。

• 不同類型的服務(wù)，需要多個(gè)模型協(xié)同完成，有些請(qǐng)求需要 2-3 個(gè)模型的串聯(lián)處理，多則需要包含 8 個(gè)模型的處理管線。如何在復(fù)雜的算法設(shè)計(jì)下，進(jìn)一步提高 GPU 資源的利用率也亟待解決。

• 模型可熱插拔與版本管理。歌聲合成系統(tǒng)包含多個(gè)模型，每個(gè)模型都發(fā)揮了重要的作用，算法團(tuán)隊(duì)對(duì)于模型也在一直進(jìn)行效果優(yōu)化。因此，需要一個(gè)架構(gòu)可以支持不同版本模型管理及快速上線。

NVIDIA Triton為歌聲合成引擎

迭代部署提供算力支持

為應(yīng)對(duì)上述挑戰(zhàn)，時(shí)域科技算法團(tuán)隊(duì)與 NVIDIA 技術(shù)團(tuán)隊(duì)合作，使用 NVIDIA TensorRT 對(duì)模型進(jìn)行推理加速，并且利用 NVIDIA Triton 推理服務(wù)器進(jìn)行部署。

首先，模型迭代團(tuán)隊(duì)使用 PyTorch 框架快速迭代模型效果，每個(gè)模型通過 Torch-TensorRT 集成，僅用一行代碼就可以獲得最高 6 倍的性能提升。Torch-TensorRT 是 TorchScript 的延伸，經(jīng)過編譯后使用與 TorchScript 模塊無異，同時(shí)模型中大部分算子可經(jīng) TensorRT 優(yōu)化后獲得大幅性能提升。

結(jié)合 NVIDIA Triton 的 Python Backend，通過 BLS (Business Logic Scripting)靈活配置多個(gè)模型組合，并且實(shí)現(xiàn)必要的業(yè)務(wù)邏輯處理，顯著的降低了部署成本。而且基于 Triton 的 Tracing 能力，可更快速調(diào)試、定位問題，提高了部署效率。

經(jīng)過優(yōu)化，使得單個(gè)歌聲片段的平均合成耗時(shí)降低 28%，單機(jī) GPU 利用率提升 25%，并且顯著提高了模型迭代效率。

2022年，時(shí)域科技加入了 NVIDIA 初創(chuàng)加速計(jì)劃，與 NVIDIA 專業(yè)技術(shù)團(tuán)隊(duì)進(jìn)行了深入溝通，獲得了包括架構(gòu)選擇，部署方案等方面的技術(shù)支持。

時(shí)域科技也參加了 2022 初創(chuàng)企業(yè)展示活動(dòng)，并入圍最終展示榮耀企業(yè)，在產(chǎn)品折扣，市場宣傳，業(yè)務(wù)對(duì)接等方面也獲得了 NVIDIA 的多方支持。后續(xù)雙方會(huì)進(jìn)一步加強(qiáng)合作。

NVIDIA 初創(chuàng)加速計(jì)劃

時(shí)域科技是 NVIDIA 初創(chuàng)加速計(jì)劃 (NVIDIA Inception) 會(huì)員企業(yè)。NVIDIA 初創(chuàng)加速計(jì)劃為免費(fèi)會(huì)員制、旨在培養(yǎng)顛覆行業(yè)格局的優(yōu)秀創(chuàng)業(yè)公司。該計(jì)劃聯(lián)合國內(nèi)外知名的風(fēng)投機(jī)構(gòu)，創(chuàng)業(yè)孵化器，創(chuàng)業(yè)加速器，行業(yè)合作伙伴以及科技創(chuàng)業(yè)媒體等，打造創(chuàng)業(yè)加速生態(tài)系統(tǒng)。能夠提供產(chǎn)品折扣，技術(shù)支持，市場宣傳，融資對(duì)接，業(yè)務(wù)推薦等一系列服務(wù)，加速創(chuàng)業(yè)公司的發(fā)展。