2 月 6 日消息，字節(jié)跳動(dòng)近日發(fā)布了一項(xiàng)重大成果 ——OmniHuman 多模態(tài)框架，其優(yōu)勢(shì)在于其強(qiáng)大的視頻生成能力。用戶只需提供一張任意尺寸和人物占比的單張圖片，再結(jié)合一段輸入音頻，就能生成栩栩如生的人物視頻。

與傳統(tǒng) AI 模型不同，OmniHuman-1 能夠生成逼真的全身動(dòng)畫，并且可以精準(zhǔn)地將手勢(shì)和面部表情與語音或音樂同步，打破了以往只能生成面部或上半身動(dòng)畫的局限。

基于約 19000 小時(shí)的人類運(yùn)動(dòng)數(shù)據(jù)訓(xùn)練，OmniHuman-1 模型支持不同的體型和畫面比例，能在內(nèi)存限制內(nèi)生成任意長(zhǎng)度的視頻，并適應(yīng)不同輸入信號(hào)，在真實(shí)性和準(zhǔn)確性方面超越其他同類動(dòng)畫工具。值得一提的是，它還支持卡通角色、人工物體、動(dòng)物以及復(fù)雜姿勢(shì)的輸入，確保生成的動(dòng)作特征與每種風(fēng)格的獨(dú)特特點(diǎn)相匹配。

在實(shí)際應(yīng)用場(chǎng)景中，OmniHuman 潛力巨大。在影視制作領(lǐng)域，創(chuàng)作者能輕松為虛擬角色打造全身動(dòng)作戲份；虛擬直播里，主播動(dòng)作更加自然，可增強(qiáng)直播的趣味性與吸引力；游戲世界中，數(shù)字人 NPC 的動(dòng)作和表情更豐富，能提升玩家的沉浸感。