聲音與AI行為搭配在一起，會發(fā)生怎樣的化學(xué)反應(yīng)呢？這一話題，正在成為國內(nèi)外AI研究比較熱衷的新方向。

比如卡內(nèi)基·梅隆大學(xué)和CMU機(jī)器人研究所，就在研究聲音和機(jī)器人動作之間的相互作用；國內(nèi)則從數(shù)字人入手，搜狗分身技術(shù)團(tuán)隊(duì)聯(lián)合清華大學(xué)天工智能計(jì)算研究院賈珈老師團(tuán)隊(duì)，率先展開了音頻驅(qū)動身體動作的研究。

近日二者共同發(fā)表的數(shù)字人技術(shù)論文《ChoreoNet: 基于舞蹈動作單元的音樂-舞蹈合成框架》，就被2020國際頂級盛會ACM Multimedia錄用為長文。

作為計(jì)算機(jī)領(lǐng)域諾貝爾獎——圖靈獎的評選機(jī)構(gòu)，ACM(國際計(jì)算機(jī)學(xué)會Association for Computing Machinery)的業(yè)界地位不用贅述，旗下的ACM Multimedia也被認(rèn)為是多媒體技術(shù)領(lǐng)域奧運(yùn)級別的頂級盛會，論文接受率很低。

那么，能得到頂會的認(rèn)可，這一新技術(shù)究竟有哪些開創(chuàng)性呢？

聞聲起舞，“樂舞合成”是怎樣實(shí)現(xiàn)的？

讓數(shù)字人根據(jù)文本語義做出相對應(yīng)的面部表情及肢體動作，目前已經(jīng)有不少成熟的應(yīng)用，比如AI合成主播。如果再能夠跟隨音頻做出同步、自然的肢體反應(yīng)，無疑會在多種場景中產(chǎn)生奇妙的化學(xué)反應(yīng)。

不過，隨聲而動這件事的難度在于，背后需要解決的技術(shù)問題不少，比如：

傳統(tǒng)音樂與舞蹈合成的方式是基線法，通過人體骨骼關(guān)鍵點(diǎn)的映射，但許多關(guān)鍵點(diǎn)難以捕捉和預(yù)測，就會出現(xiàn)高度冗余和噪聲，導(dǎo)致合成結(jié)果的不穩(wěn)定、動作節(jié)銜接不像真人。

后來，雅爾塔等學(xué)者也提出要通過AI的弱監(jiān)督學(xué)習(xí)來解決上述問題，但由于缺乏對人類舞蹈經(jīng)驗(yàn)知識的了解，依然會出現(xiàn)合成不夠自然、情感表達(dá)不夠流暢的問題。

另外，由于音樂片段比較長，背后伴隨著成千上萬的動作畫面，需要智能體記住并映射這種超長的序列也是一大挑戰(zhàn)。

搜狗及清華天工院研究團(tuán)隊(duì)所做的突破，就是將人類專業(yè)知識融入算法，提出了一個(gè)模仿人類舞蹈編排的程序ChoreoNet，來根據(jù)音樂生成動態(tài)優(yōu)美連貫、非線性高度擬真的舞蹈。

簡單來說，ChoreoNet是將專業(yè)舞者的各個(gè)動作單元與音樂旋律捕捉并數(shù)據(jù)化，然后讓AI在其中尋找規(guī)律，知道在怎樣的音樂節(jié)拍、旋律風(fēng)格中應(yīng)該做出怎樣的舞蹈動作，進(jìn)而形成連貫的動作軌跡。

其中，研究人員共突破了兩個(gè)環(huán)節(jié)：

1.舞蹈知識化。用動作捕捉采集專業(yè)的人類舞者是如何根據(jù)音樂的節(jié)奏、旋律來編排動作的。研究人員收集了4種不同類型（恰恰、華爾茲、倫巴和探戈）的舞蹈數(shù)據(jù)，數(shù)個(gè)音樂節(jié)拍裁剪出一個(gè)編舞動作單元(CAUs) 相對應(yīng)的片段，形成一個(gè)動作控制單元（CA），形成一個(gè)音樂與動作的映射序列。

2.之前采集的舞蹈動作只是人體骨骼關(guān)鍵點(diǎn)數(shù)據(jù)，怎樣讓它們之間的連續(xù)過渡更加自然呢？研究人員借助NLP語義理解，讓AI可以根據(jù)積累的知識進(jìn)行實(shí)時(shí)反應(yīng)。利用GAN設(shè)計(jì)了一個(gè)運(yùn)動生成模型，讓AI可以繪制一些舞蹈動作，補(bǔ)上缺失的數(shù)據(jù)，從而實(shí)現(xiàn)舞蹈的平滑過渡，產(chǎn)生自然的效果。

實(shí)驗(yàn)結(jié)果證明，與基線法相比，ChoreoNet性能更好，可以生成持續(xù)時(shí)間較長的結(jié)構(gòu)化控件，來生成與音樂匹配的動作，并使其自然連接、情感流暢。

在這一突破中，搜狗對音頻驅(qū)動身體動作這一課題的敏銳感知，以及AI分身技術(shù)在身體動作及姿態(tài)生成方面的加成，無疑是領(lǐng)先技術(shù)能力與創(chuàng)新意識的絕佳組合。

持續(xù)領(lǐng)跑，搜狗與分身技術(shù)的不解之緣

可以看到，ChoreoNet的出現(xiàn)，既帶來了人機(jī)交互能力的提升，也給機(jī)器學(xué)習(xí)融入了知識元素。這可以看做是搜狗“分身技術(shù)”的一次進(jìn)階，也側(cè)面印證了搜狗以“自然交互+知識計(jì)算”為核心的AI技術(shù)版圖，正在持續(xù)狂奔，也得以積蓄起不斷引領(lǐng)技術(shù)方向的勢能。

從2018年首創(chuàng)分身技術(shù)之后，搜狗的研發(fā)腳步從未停止，持續(xù)專注于如何以文本及音頻更好驅(qū)動數(shù)字人的面部表情及唇動進(jìn)行研究。相繼在2D/3D數(shù)字人領(lǐng)域構(gòu)建了音畫同步、逼真的面部表情唇動生成及驅(qū)動能力。

如何能夠讓數(shù)字人更加自然并且富有表現(xiàn)力也是搜狗分身的重點(diǎn)研究方向，其中身體動作以及姿態(tài)的表達(dá)至關(guān)重要。在對數(shù)字人的面部驅(qū)動達(dá)到較高標(biāo)準(zhǔn)后，搜狗將研究重點(diǎn)從面部為主的驅(qū)動轉(zhuǎn)到面部+動作的驅(qū)動，重點(diǎn)攻關(guān)如何讓肢體動作更具自然表現(xiàn)力。如在今年5月推出的3D AI合成主播身上，不僅有經(jīng)得起高清鏡頭考驗(yàn)的面部表現(xiàn)，同時(shí)實(shí)現(xiàn)了以文本語義為驅(qū)動的自如行走。

如今，ChoreoNet更進(jìn)一步，實(shí)現(xiàn)了以音頻對AI數(shù)字人進(jìn)行實(shí)時(shí)驅(qū)動。搜狗在業(yè)內(nèi)率先嘗試并取得突破性研發(fā)結(jié)果的這一舉動，更是一改只能由文本、語義驅(qū)動AI分身面部+動作的現(xiàn)狀，為行業(yè)帶來了更多的創(chuàng)新可能，搜狗的分身技術(shù)理想與實(shí)力也躍然紙上。

不斷打造可視化、能自然交互的AI數(shù)字人，搜狗到底想做什么？

人機(jī)交互的未來，與搜狗的技術(shù)遠(yuǎn)景

回歸到企業(yè)戰(zhàn)略層面，搜狗的AI理念是讓AI賦能于人。通過人機(jī)協(xié)作，把人從重復(fù)性工作中解放出來，更好地解放社會生產(chǎn)力。比如AI主播，就可以讓主持人不再困于朗讀既定內(nèi)容，可以投身于更具創(chuàng)造性的工作。當(dāng)然，這一切都要從更自然的人機(jī)交互開始，完成一次次交流與觸碰。

而此次ChoreoNet讓數(shù)字人跟隨音樂起舞，這個(gè)創(chuàng)意的突破不僅僅是技術(shù)上夠炫酷，應(yīng)用空間也非常巨大。

不出意外，搜狗很大可能會將該技術(shù)同3D數(shù)字人相結(jié)合，因?yàn)橄噍^2D數(shù)字人，3D數(shù)字人的肢體靈活性、可塑性驅(qū)動更強(qiáng)，從而有更廣泛的應(yīng)用空間。音頻驅(qū)動技術(shù)的加入，不僅能豐富搜狗3D數(shù)字人在新聞播報(bào)、外景采訪的場景，更直接有助于突破融媒體領(lǐng)域、向娛樂、影視等領(lǐng)域落地進(jìn)軍。可以看到，基于視覺的人機(jī)交互會越來越成為主流，比如當(dāng)前流行的智能客服、虛擬偶像等等，往往需要大量文本、語義的輸入來進(jìn)行推理與交互，虛擬偶像的動作也需要捕捉后由人工逐幀進(jìn)行制作，而改為音頻驅(qū)動可以更為直接地實(shí)現(xiàn)語音交流，節(jié)省制作/計(jì)算的步驟與成本。

此外，人類知識體系與機(jī)器學(xué)習(xí)的結(jié)合，讓AI能力有極大的提升。通過垂直領(lǐng)域的知識數(shù)據(jù)進(jìn)行訓(xùn)練和學(xué)習(xí)，從而提供更精準(zhǔn)、可靠的服務(wù)，大大提升AI客服的接受度。

當(dāng)然，音頻驅(qū)動也可以生成更具人性化的個(gè)人秘書，幫助人減輕工作負(fù)擔(dān)、提高效率的同時(shí)，通過音頻識別與判斷來實(shí)時(shí)反應(yīng)，表現(xiàn)力更加豐富，讓智能家居、服務(wù)機(jī)器人等更好地融入生活環(huán)境，在老人關(guān)懷、私人助理、兒童陪伴等等場景之中，扮演更積極的角色。

業(yè)內(nèi)有個(gè)共識，一般情況下只有對日常生活和技術(shù)突破具有巨大影響潛力的研究項(xiàng)目，才會被ACM Multimedia通過和錄取。從這個(gè)角度看，搜狗與清華天工院所做的工作，遠(yuǎn)遠(yuǎn)不只是學(xué)術(shù)上的突破那么簡單。當(dāng)全球科技巨頭都在探索如何用多模態(tài)交互締造新玩法、新功能的時(shí)候，搜狗已經(jīng)向前邁出了讓人眼前一亮的步伐。

讓數(shù)字人更像人，就能更早地與人類達(dá)成親密無間的配合與協(xié)作，對于人類和AI來說，同樣重要。也正由于此，世界頂級盛會才會投注認(rèn)可與鼓勵。下一次，搜狗會為數(shù)字人集齊怎樣的能力呢？我們拭目以待。