NVIDIA 現(xiàn)已開源 Audio2Face 模型與 SDK，讓所有游戲和 3D 應用開發(fā)者都可以構建并部署帶有先進動畫的高精度角色。NVIDIA 開源 Audio2Face 的訓練框架，任何人都可以針對特定用例對現(xiàn)有模型進行微調(diào)與定制。

NVIDIA Audio2Face 通過生成式 AI 驅動的實時面部動畫與嘴形同步，加速寫實數(shù)字角色的創(chuàng)作流程。Audio2Face 利用 AI 根據(jù)音頻輸入生成逼真的面部動畫。這項技術通過分析音素、語調(diào)等聲學特征，創(chuàng)建動畫數(shù)據(jù)流，并映射至角色的面部表情。這些動畫數(shù)據(jù)既可用于離線渲染預設的資產(chǎn)，也可實時傳輸?shù)絼討B(tài)的、由 AI 驅動的角色，實現(xiàn)準確的嘴形同步與情感表達。

Audio2Face 模型已廣泛應用于游戲、媒體娛樂以及客戶服務等行業(yè)。眾多獨立軟件廠商 ISV 與游戲開發(fā)商都在其應用中采用了 Audio2Face。游戲開發(fā)者包括 Codemasters、GSC Game World、網(wǎng)易和完美世界。ISV 包括 Convai、Inworld AI、Reallusion、Streamlabs 和 UneeQ。

以下是開源工具的完整列表。