從今天開(kāi)始，谷歌的智能助理可以同時(shí)說(shuō)兩種語(yǔ)言了！這意味著雙語(yǔ)家庭可以用任何一種語(yǔ)言進(jìn)行查詢(xún)，而無(wú)需每次都更改設(shè)置。聽(tīng)起來(lái)簡(jiǎn)單，實(shí)現(xiàn)這一功能所需的技術(shù)可不簡(jiǎn)單，谷歌的口語(yǔ)識(shí)別LangID技術(shù)已經(jīng)開(kāi)發(fā)了5年！

使用 Google Assistant 的 Google Home Mini

多語(yǔ)家庭正變得越來(lái)越普遍，有一些研究發(fā)現(xiàn)多語(yǔ)人口已經(jīng)超過(guò)單語(yǔ)人口，而且這個(gè)數(shù)字還將繼續(xù)增長(zhǎng)。隨著多語(yǔ)用戶(hù)數(shù)量的不斷增加，開(kāi)發(fā)能夠同時(shí)支持多種語(yǔ)言的產(chǎn)品比以往任何時(shí)候都更加重要。

今天，谷歌的智能助理Google Assistant開(kāi)啟了多語(yǔ)言支持，允許用戶(hù)同時(shí)使用兩種不同的語(yǔ)言進(jìn)行查詢(xún)，而無(wú)需返回語(yǔ)言設(shè)置。一旦用戶(hù)選擇了兩種支持的語(yǔ)言（目前支持的語(yǔ)言包括英語(yǔ)、西班牙語(yǔ)、法語(yǔ)、德語(yǔ)、意大利語(yǔ)和日語(yǔ)），他們就可以使用其中任一種語(yǔ)言與Google Assistant進(jìn)行對(duì)話(huà)，智能助理也會(huì)以同一種語(yǔ)言做出回復(fù)。

在此之前，用戶(hù)必須為智能助理選擇一種語(yǔ)言設(shè)置，每次想要使用另一種語(yǔ)言時(shí)都必須更改設(shè)置。但現(xiàn)在，對(duì)于多語(yǔ)家庭來(lái)說(shuō)，與谷歌助理交流的體驗(yàn)變得更加簡(jiǎn)單方便了。

Google Assistant現(xiàn)在能夠識(shí)別語(yǔ)言、解釋查詢(xún)并使用正確的語(yǔ)言提供回復(fù)，而無(wú)需用戶(hù)手動(dòng)設(shè)置設(shè)置。

然而，實(shí)現(xiàn)這一功能并非易事。事實(shí)上，研究人員努力了多年，解決了許多具有挑戰(zhàn)性的問(wèn)題。最后，我們將問(wèn)題分解為三個(gè)獨(dú)立的部分：識(shí)別多種語(yǔ)言，理解多種語(yǔ)言，以及為Google Assistant用戶(hù)優(yōu)化多語(yǔ)言識(shí)別。

識(shí)別多種語(yǔ)言

人類(lèi)是有能力識(shí)別出別人在說(shuō)另一種語(yǔ)言的，即使他們自己不會(huì)說(shuō)這種語(yǔ)言，只需要注意語(yǔ)音的聲學(xué)特征（語(yǔ)調(diào)、音域等等）。但是，即使借助于全自動(dòng)語(yǔ)音識(shí)別系統(tǒng)，定義一個(gè)自動(dòng)口語(yǔ)語(yǔ)言識(shí)別的計(jì)算框架也是很有挑戰(zhàn)性的。

研究者通常認(rèn)為，口語(yǔ)識(shí)別比基于文本的語(yǔ)言識(shí)別更具挑戰(zhàn)性，對(duì)于文本語(yǔ)言識(shí)別來(lái)說(shuō)，相對(duì)簡(jiǎn)單的基于字典的技術(shù)已經(jīng)可以做得很好?？谡Z(yǔ)詞匯的時(shí)間/頻率模式很難比較，口語(yǔ)詞匯很難劃界，因?yàn)榭谡Z(yǔ)可以毫無(wú)停頓地以不同的節(jié)奏說(shuō)話(huà)，而且麥克風(fēng)可能會(huì)記錄除了語(yǔ)音之外的背景噪音。

在2013年，谷歌開(kāi)始使用深度神經(jīng)網(wǎng)絡(luò)開(kāi)發(fā)口語(yǔ)識(shí)別（LangID）技術(shù)。今天，谷歌最先進(jìn)的LangID模型已經(jīng)可以使用遞歸神經(jīng)網(wǎng)絡(luò)區(qū)分超過(guò)2000種可供選擇的語(yǔ)言對(duì)。遞歸神經(jīng)網(wǎng)絡(luò)特別適用于序列建模問(wèn)題，例如語(yǔ)音識(shí)別、語(yǔ)音檢測(cè)、說(shuō)話(huà)人識(shí)別等。研究人員遇到的挑戰(zhàn)之一是使用更大的音頻集——獲取能夠自動(dòng)理解多種語(yǔ)言的模型，并達(dá)到允許這些模型正常工作的質(zhì)量標(biāo)準(zhǔn)。

理解多種語(yǔ)言

要同時(shí)理解一種以上的語(yǔ)言，需要并行地運(yùn)行多個(gè)進(jìn)程，每個(gè)進(jìn)程都會(huì)產(chǎn)生增量結(jié)果，這樣智能助理不僅可以識(shí)別查詢(xún)所使用的語(yǔ)言，還可以解析查詢(xún)以創(chuàng)建可操作的命令。

例如，即使是單語(yǔ)環(huán)境，如果用戶(hù)要求“設(shè)一個(gè)下午6點(diǎn)的鬧鈴”，谷歌助理必須理解“設(shè)置鬧鈴”意味著打開(kāi)時(shí)鐘app，完成“6pm”的顯式參數(shù)，并推斷鬧鐘應(yīng)該設(shè)在今天。為任何一對(duì)支持的語(yǔ)言實(shí)現(xiàn)這個(gè)功能都是一項(xiàng)挑戰(zhàn)，因?yàn)橹悄苤硇枰獔?zhí)行與單語(yǔ)環(huán)境時(shí)相同的工作，但現(xiàn)在還必須另外啟用LangID。這不僅是一個(gè)語(yǔ)言識(shí)別系統(tǒng)，而是相當(dāng)于兩個(gè)單語(yǔ)言識(shí)別系統(tǒng)。

更重要的是，Google Assistan以及在用戶(hù)查詢(xún)中異步引用的其他服務(wù)會(huì)生成需要在幾毫秒內(nèi)評(píng)估的實(shí)時(shí)增量結(jié)果。這是借助另外一種算法實(shí)現(xiàn)的，該算法使用LangID生成的候選語(yǔ)言的概率、我們對(duì)轉(zhuǎn)錄的信心以及用戶(hù)的偏好（例如，最喜歡的藝術(shù)家）對(duì)兩個(gè)語(yǔ)音識(shí)別系統(tǒng)提供的轉(zhuǎn)錄假設(shè)進(jìn)行排序。

Google Assistant使用的多語(yǔ)言語(yǔ)音識(shí)別系統(tǒng)與標(biāo)準(zhǔn)單語(yǔ)語(yǔ)音識(shí)別系統(tǒng)的示意圖。排序算法用于從兩個(gè)單語(yǔ)語(yǔ)音識(shí)別器中選擇最佳的識(shí)別假設(shè)，利用了用戶(hù)的相關(guān)信息和增量的langID結(jié)果。

當(dāng)用戶(hù)停止說(shuō)話(huà)時(shí)，該模型不僅確定了用戶(hù)所講的語(yǔ)言，還確定了所講的內(nèi)容。當(dāng)然，這個(gè)過(guò)程需要一個(gè)復(fù)雜的架構(gòu)，增加了處理成本，并可能造成不必要的延遲。

優(yōu)化多語(yǔ)識(shí)別模型

為了最大限度地減少這些不良影響，系統(tǒng)決定使用哪種語(yǔ)言的速度越快越好。如果系統(tǒng)在用戶(hù)完成查詢(xún)之前確定了所使用的語(yǔ)言，那么它將停止通過(guò)losing recognizer運(yùn)行用戶(hù)的語(yǔ)音，并丟棄losing hypothesis，從而降低處理成本，減少任何潛在的延遲。

考慮到這一點(diǎn)，我們嘗試了優(yōu)化系統(tǒng)的幾種方法。

我們考慮的一個(gè)用例是，人們通常在一個(gè)完整查詢(xún)過(guò)程中使用相同的語(yǔ)言（這個(gè)語(yǔ)言通常也是用戶(hù)希望智能助理回復(fù)使用的語(yǔ)言），除了詢(xún)問(wèn)某個(gè)東西用不同語(yǔ)言怎樣說(shuō)之外。這意味著，在大多數(shù)情況下，關(guān)注查詢(xún)的開(kāi)頭部分就可以讓智能助理對(duì)所使用的語(yǔ)言進(jìn)行初步猜測(cè)，甚至在包含不同語(yǔ)言實(shí)體的句子中也是如此。

有了這種早期識(shí)別，我們就可以像處理單語(yǔ)查詢(xún)那樣，通過(guò)切換到單語(yǔ)語(yǔ)音識(shí)別器來(lái)簡(jiǎn)化任務(wù)。然而，快速?zèng)Q定如何以及何時(shí)切換到一個(gè)單語(yǔ)言，在最后會(huì)需要一個(gè)技術(shù)轉(zhuǎn)折：具體來(lái)說(shuō)，我們使用隨機(jī)森林（random forest）方法，結(jié)合多個(gè)上下文信號(hào)，例如正在使用的設(shè)備類(lèi)型、發(fā)現(xiàn)的語(yǔ)音假設(shè)的數(shù)量、多久收到類(lèi)似的假設(shè)、各個(gè)語(yǔ)音識(shí)別器的不確定性、以及每種語(yǔ)言的使用頻率等。

另外一種簡(jiǎn)化和改進(jìn)系統(tǒng)質(zhì)量的方法是限制用戶(hù)可以選擇的候選語(yǔ)言列表。用戶(hù)可以谷歌智能助理設(shè)備目前支持的六種語(yǔ)言中選擇兩種語(yǔ)言，這已經(jīng)能夠支持大多數(shù)多語(yǔ)使用者。

不過(guò)，隨著LangID技術(shù)的不斷改進(jìn)，谷歌希望接下來(lái)能夠解決三語(yǔ)支持的問(wèn)題，這將進(jìn)一步提升多語(yǔ)用戶(hù)群的體驗(yàn)。而且，谷歌負(fù)責(zé)產(chǎn)品的副總裁 Nick Fox 此前表示，接下來(lái)的幾個(gè)月里 Google Assistant 將增加支持丹麥語(yǔ)、荷蘭語(yǔ)、印地語(yǔ)、印度尼西亞語(yǔ)、挪威語(yǔ)、瑞典語(yǔ)和泰語(yǔ)。到今年年底，谷歌助理將支持超過(guò) 30 種語(yǔ)言，覆蓋 Android 手機(jī)使用語(yǔ)言的 95％。