谷歌AI推出端到端純語音翻譯技術(shù)，有望成為未來的“機(jī)器同傳”

我們先來聽一下三段語音：

三段語音說的是同一句話：“你好，我是 Guillermo，你怎么樣？（How's it going, hey, this is Guillermo. How are you?）”

只不過第一段是西班牙語原聲（Qué tal, eh, yo soy Guillermo, ?Cómo estás?），第二段是標(biāo)準(zhǔn)的人類英語翻譯，而第三段則是AI合成的英語翻譯，來自于谷歌 AI 最新的語音翻譯模型 Translatotron。

該模型是一個基于注意力機(jī)制（Attention）的端到端語音翻譯神經(jīng)網(wǎng)絡(luò)。它不同于傳統(tǒng)語音翻譯技術(shù)，在翻譯的過程中省略了中間步驟，完全不需要進(jìn)行語音轉(zhuǎn)文字和完成翻譯的文字轉(zhuǎn)語音，而是根據(jù)翻譯內(nèi)容，嘗試匹配不同語言的語音頻譜圖（speech spectrogram），直接完成語音之間的轉(zhuǎn)換。

換句話說，我們剛才聽到的第一段西班牙語和第三段英語片段，AI在翻譯的過程中，沒有使用到任何語音轉(zhuǎn)文字的技術(shù)，也沒有使用西班牙語和英語的文字翻譯技術(shù)，只有純粹的語音轉(zhuǎn)換。

雖然從翻譯的準(zhǔn)確率來看，Translatotron 模型還比不過傳統(tǒng)翻譯技術(shù)，但這種端到端的聯(lián)合優(yōu)化思路確實打破了主流語音翻譯技術(shù)的基本原理，具有很強(qiáng)的啟發(fā)性和拓展性。

目前谷歌只使用了西班牙語和英語語音作為概念驗證，研究成果以預(yù)印本的形式發(fā)表在 Arxiv 和谷歌 AI 博客上。

打破常規(guī)思路

不同語言之間的語音轉(zhuǎn)文字和翻譯，是近年來機(jī)器學(xué)習(xí)領(lǐng)域的熱門研究方向，尤其是語音到語音的直接翻譯。

通常來講，語音翻譯過程可以分解成三個步驟。

第一步是語音識別，就是將英文語音內(nèi)容識別出來，并且以文字的形式表達(dá)出來，比如聽到“How are you?”這句話，就寫出 How，are，you 三個單詞和問號。

第二步是文字翻譯，就是將上一步拿到的文字翻譯成目標(biāo)語種，比如寫出“你好嗎？”這句話。

最后一步是語音合成，也就是將翻譯好的文本組合成一段語音，然后播放出來。

圖 | 不同模型從西班牙語到英語的語音翻譯對比

谷歌翻譯等當(dāng)下常見的語音翻譯軟件都遵循了這一思路，并且對每一步驟進(jìn)行了很多優(yōu)化，比如引入端到端模型（End-to-end model）。這是一種將三個步驟結(jié)合起來，比如建立語音信號到文字映射，進(jìn)而實現(xiàn)整體優(yōu)化的模式。

在谷歌研究人員看來，他們提出的 Translatotron，是之前很多端到端研究成果的進(jìn)一步延伸，可以直接拋棄文字翻譯這一中間步驟，成功在神經(jīng)網(wǎng)絡(luò)的幫助下，實現(xiàn)了不同語言語音片段的直接轉(zhuǎn)換。

他們使用的是一套序列到序列模型（Sequence-to-sequence model），即訓(xùn)練 AI 將有關(guān)聯(lián)的連續(xù)數(shù)據(jù)視為一段整體（英文句子），然后直接轉(zhuǎn)化為另一段不同的整體（中文句子）。

在 Translatotron 中，研究人員選擇了語音片段的頻譜圖作為序列，上面描述了語音頻率隨時間變化的熱圖。它們會作為輸入值進(jìn)入到神經(jīng)網(wǎng)絡(luò)中，隨后經(jīng)過8層堆疊雙向長短時記憶網(wǎng)絡(luò)（BLSTM）編碼器，頻譜與自動語音識別特征結(jié)合，多頭注意力和頻譜解碼器等多個模塊，完成對語音頻譜特征的提取，轉(zhuǎn)換和生成等任務(wù)。

經(jīng)過上述一系列轉(zhuǎn)換后，西班牙語語音頻譜就變成了對應(yīng)的英語語音頻譜，最后可以通過聲碼器（vocoder）合成我們聽到的語音。如果需要的話，還可以使用額外預(yù)訓(xùn)練好的 Speaker 編碼器捕捉語音源的聲音特點，添加到合成語音當(dāng)中，讓兩者聽起來更加相似。

在訓(xùn)練過程中，Translatotron還使用了多任務(wù)學(xué)習(xí)技巧（multitask learning），引入了四個長短時記憶網(wǎng)絡(luò)解碼器。

上圖的輔助識別任務(wù)區(qū)域（Auxiliary recognition tasks）就是負(fù)責(zé)在生成目標(biāo)語種頻譜圖的同時，也順便學(xué)習(xí)一下如何預(yù)測語音的因素和文字內(nèi)容。只不過它們沒有被用來進(jìn)行推理，否則就不是純語音翻譯了。

為了測試翻譯質(zhì)量，研究人員使用了機(jī)器翻譯評估算法 BLEU，最好成績達(dá)到了基準(zhǔn)表現(xiàn)的76%。

他們認(rèn)為，這一成績雖然不及主流的傳統(tǒng)語音翻譯技術(shù)，但 Translatotron 作為一個概念驗證，足以證明拋棄機(jī)器翻譯和文字轉(zhuǎn)換的思路行得通，而且可能還在還原音色等方面擁有更大的潛力。

下一步，谷歌團(tuán)隊將嘗試降低訓(xùn)練過程中的監(jiān)督水平，擴(kuò)大合成數(shù)據(jù)和多任務(wù)學(xué)習(xí)的規(guī)模，并且探索其他可以轉(zhuǎn)移的聲音元素，改善合成語音的質(zhì)量。

不得不說，直接在不同語言之間轉(zhuǎn)換音頻的想法還是很有創(chuàng)意的，而且極富挑戰(zhàn)性，對特征提取質(zhì)量，語音頻譜繪制和噪聲抵抗能力提出了更高的要求，足以啟發(fā)其他團(tuán)隊，成為一個新的研究方向。