中文成人一区久久,亚洲成人精品无码AV,日本色资源站五月天色色播网

繼開源 LLaMA 之后，Meta 在生成式 AI 方向又公布一項(xiàng)重大研究。

我們知道，GPT、DALL-E 等大規(guī)模生成模型徹底改變了自然語(yǔ)言處理和計(jì)算機(jī)視覺研究。這些模型可以生成高保真文本或圖像，而且它們有個(gè)重要特點(diǎn)就是「通才」，可以解決沒(méi)訓(xùn)過(guò)的任務(wù)。相比之下，語(yǔ)音生成模型在規(guī)模和任務(wù)泛化方面一直沒(méi)有「突破性」成果。今日，Meta 介紹了一種「突破性」的生成式語(yǔ)音系統(tǒng)，它可以合成六種語(yǔ)言的語(yǔ)音，執(zhí)行噪聲消除、內(nèi)容編輯、轉(zhuǎn)換音頻風(fēng)格等。Meta 稱之為最通用的語(yǔ)音生成 AI。

相關(guān)研究論文也已公布。接下來(lái)我們具體看下這下項(xiàng)研究。

論文：https://research.facebook.com/publications/voicebox-text-guided-multilingual-universal-speech-generation-at-scale/ Meta 表示，Voicebox 是第一個(gè)沒(méi)有經(jīng)過(guò)專門針對(duì)語(yǔ)音生成的訓(xùn)練，卻可以泛化到語(yǔ)音生成任務(wù)的模型。與圖像和文本的生成一樣，Voicebox 可以創(chuàng)建多種樣式的語(yǔ)音輸出，包括從頭開始創(chuàng)建輸出和修改給定的樣本。Voicebox 可以合成六種語(yǔ)言的語(yǔ)音，以及執(zhí)行噪聲去除、內(nèi)容編輯、風(fēng)格轉(zhuǎn)換和多樣化樣本生成。在 Voicebox 出現(xiàn)之前，生成語(yǔ)音的 AI 需要使用精心準(zhǔn)備的訓(xùn)練數(shù)據(jù)對(duì)每項(xiàng)任務(wù)進(jìn)行特定訓(xùn)練。而 Voicebox 僅需要從原始音頻和隨附的轉(zhuǎn)錄文本中學(xué)習(xí)，并且 Voicebox 可以修改給定樣本的任何部分。 Voicebox 基于一種稱為流匹配（Flow Matching）的方法，該方法已被證明可以改進(jìn)擴(kuò)散模型。在生成效果方面，Voicebox 的可懂度（詞錯(cuò)率：1.9% VS 5.9%）和音頻相似度（0.681 VS 0.580）優(yōu)于當(dāng)前英文語(yǔ)音生成 SOTA 模型 VALL-E，并且速度快了 20 倍。在跨語(yǔ)言風(fēng)格遷移任務(wù)上，Voicebox 優(yōu)于 YourTTS，將平均詞錯(cuò)率從 10.9% 降低到 5.2%，將音頻相似度從 0.335 提高到 0.481。

Voicebox 在詞錯(cuò)率指標(biāo)上的表現(xiàn)優(yōu)于 Vall-E 和 YourTTS，實(shí)現(xiàn)新的 SOTA。

在英語(yǔ)和多語(yǔ)言基準(zhǔn)的音頻風(fēng)格相似度指標(biāo)上，Voicebox 都取得了新的最佳結(jié)果。 語(yǔ)音生成新方法 現(xiàn)有語(yǔ)音合成器的一大主要局限是它們的訓(xùn)練數(shù)據(jù)都是針對(duì)目標(biāo)任務(wù)準(zhǔn)備的。這些輸入基本都要求是單調(diào)的干凈數(shù)據(jù)，也因此難以獲取，數(shù)據(jù)量很有限，并且用這些數(shù)據(jù)訓(xùn)練出的模型也只能輸出單調(diào)的聲音。 Voicebox 基于流匹配（Flow Matching）模型，這是 Meta 在非自回歸生成模型方面的最新進(jìn)展，其可以學(xué)習(xí)到文本和語(yǔ)音之間高度非確定性的映射關(guān)系。非確定性映射很有用，因?yàn)檫@能讓 Voicebox 學(xué)習(xí)不同的語(yǔ)音數(shù)據(jù)而無(wú)需仔細(xì)標(biāo)注這些變體。也就是說(shuō)，Voicebox 可以在更多樣化的數(shù)據(jù)上訓(xùn)練，因此可使用數(shù)據(jù)的范圍也大得多。 Meta 訓(xùn)練 Voicebox 時(shí)使用的數(shù)據(jù)來(lái)自英語(yǔ)、法語(yǔ)、德語(yǔ)、西班牙語(yǔ)、波蘭語(yǔ)、葡萄牙語(yǔ)這六種語(yǔ)言，包含 50000 小時(shí)的錄音和轉(zhuǎn)錄文本以及公共領(lǐng)域的有聲書。Voicebox 的訓(xùn)練目標(biāo)是根據(jù)周圍語(yǔ)音和某片段的轉(zhuǎn)錄文本來(lái)預(yù)測(cè)該片段的語(yǔ)音。學(xué)習(xí)過(guò)基于上下文填充語(yǔ)音之后，該模型就能讓其用于各種語(yǔ)音生成任務(wù)，包括生成音頻錄音中的缺失片段（無(wú)需重建整個(gè)輸入）。 Voicebox 的這種多功能性使其可以很好地執(zhí)行多種不同任務(wù)，包括： 基于語(yǔ)境的文本轉(zhuǎn)語(yǔ)音合成：僅需使用長(zhǎng)度 2 秒的輸入音頻樣本，Voicebox 就能匹配樣本的音頻風(fēng)格并將其用于文本轉(zhuǎn)語(yǔ)音生成。這一能力具有重要的應(yīng)用前景，比如可以為難以說(shuō)話的人帶來(lái)語(yǔ)音表達(dá)能力，還能讓用戶為 NPC 角色和虛擬助手定制聲音。 跨語(yǔ)言風(fēng)格遷移：給定一段語(yǔ)音樣本和對(duì)應(yīng)的文本片段，不管是英語(yǔ)、法語(yǔ)、德語(yǔ)，還是西班牙語(yǔ)、波蘭語(yǔ)、葡萄牙語(yǔ)，Voicebox 都能以該語(yǔ)言讀出該文本。這是一種激動(dòng)人心的能力，因?yàn)檫@能幫助人們自然而真實(shí)地交流 —— 即便他們不說(shuō)同一種語(yǔ)言。 語(yǔ)音降噪和編輯：Voicebox 的上下文學(xué)習(xí)能力讓它可以在音頻錄音中生成無(wú)縫銜接的片段。要是音頻中出現(xiàn)了被噪聲污染的片段，它也可以為其重新合成，甚至無(wú)需重新錄音就能替換原音頻中說(shuō)錯(cuò)的詞句。用戶可以辨別原始音頻中被噪聲（比如犬吠聲）污染的片段，然后將其裁剪下來(lái)，再指示 Voicebox 重新生成該片段。這項(xiàng)能力有望讓音頻編輯變得非常簡(jiǎn)單，就像現(xiàn)在流行的圖像編輯工具調(diào)整圖像一樣。 多樣化的語(yǔ)音采樣：Voicebox 學(xué)習(xí)了多樣化的野外數(shù)據(jù)，所以可以生成就像在現(xiàn)實(shí)世界中說(shuō)話的聲音，并且支持上述六種語(yǔ)言。未來(lái)，這種能力可用于合成數(shù)據(jù)，然后用于訓(xùn)練語(yǔ)音助理模型等。Meta 的實(shí)驗(yàn)結(jié)果表明，基于 Voicebox 合成語(yǔ)音訓(xùn)練的語(yǔ)音識(shí)別模型的表現(xiàn)幾乎不遜于使用真實(shí)語(yǔ)音訓(xùn)練的模型 —— 錯(cuò)誤率僅高了 1%；而要是使用之前的文本轉(zhuǎn)語(yǔ)音模型合成的數(shù)據(jù)訓(xùn)練，錯(cuò)誤率會(huì)提升 45%-70%。 Meta 表示，Voicebox 作為首個(gè)能成功執(zhí)行任務(wù)泛化的高效的多功能模型，將開創(chuàng)一個(gè)語(yǔ)音生成式 AI 的新時(shí)代。但 Meta 也沒(méi)有否認(rèn)這項(xiàng)技術(shù)可能被誤用乃至被惡意使用。為了應(yīng)對(duì)這種可能性，降低潛在的風(fēng)險(xiǎn)，Meta 還構(gòu)建了一種分類器，其宣稱可有效分辨真實(shí)語(yǔ)音和 VoiceBox 生成的音頻。 Voicebox 是生成式 AI 研究的重要一步。具備任務(wù)泛化能力的生成式 AI 模型正在催生出涉及文本、圖像和視頻生成的實(shí)際應(yīng)用，這將讓生成式 AI 更上一層樓。 參考內(nèi)容：https://www.engadget.com/metas-open-source-speech-ai-recognizes-over-4000-spoken-languages-161508200.htmlhttps://ai.facebook.com/blog/voicebox-generative-ai-model-speech/

原文標(biāo)題：語(yǔ)音領(lǐng)域的GPT時(shí)刻：Meta 發(fā)布「突破性」生成式語(yǔ)音系統(tǒng)，一個(gè)通用模型解決多項(xiàng)任務(wù)

文章出處：【微信公眾號(hào)：智能感知與物聯(lián)網(wǎng)技術(shù)研究所】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。舉報(bào)投訴

物聯(lián)網(wǎng)

物聯(lián)網(wǎng)

+關(guān)注

關(guān)注
2945

文章
47826

瀏覽量
415202

原文標(biāo)題：語(yǔ)音領(lǐng)域的GPT時(shí)刻：Meta 發(fā)布「突破性」生成式語(yǔ)音系統(tǒng)，一個(gè)通用模型解決多項(xiàng)任務(wù)

文章出處：【微信號(hào)：tyutcsplab，微信公眾號(hào)：智能感知與物聯(lián)網(wǎng)技術(shù)研究所】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲日韩欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

搜索歷史

語(yǔ)音領(lǐng)域的GPT時(shí)刻：Meta 發(fā)布「突破性」生成式語(yǔ)音系統(tǒng)，一個(gè)通用模型解決多項(xiàng)任務(wù)

評(píng)論