關(guān)鍵詞： 3D語(yǔ)音處理

由于近來(lái)平板電腦、計(jì)算機(jī)、智能電視機(jī)和其它消費(fèi)電子設(shè)備用的語(yǔ)音控制接口的興起，語(yǔ)音質(zhì)量成為了一個(gè)熱門話題。如果沒(méi)有可以理解的語(yǔ)音，自動(dòng)語(yǔ)音識(shí)別功能就不能正確工作，無(wú)法用作可靠的輸入設(shè)備。這個(gè)問(wèn)題還與噪聲環(huán)境糾纏在一起，而噪聲環(huán)境可能嚴(yán)重地降低語(yǔ)音的質(zhì)量，甚至?xí)拐Z(yǔ)音控制功能完全不可工作。
傳統(tǒng)噪聲抵消技術(shù)需要折衷考慮噪聲抑制程度和語(yǔ)音質(zhì)量：噪聲抑制水平越高，語(yǔ)音失真的可能性也越大。為了盡量減少這種折衷，工程師開(kāi)發(fā)出了噪聲抑制算法來(lái)減少噪聲電平，這種技術(shù)在固定噪聲場(chǎng)合具有很好的效果，但在街道噪聲和類似其它非固定噪聲的場(chǎng)合，性能并不理想。
隨著智能手機(jī)上引入第二個(gè)麥克風(fēng)，噪聲抵消技術(shù)向前邁進(jìn)了一大步。手機(jī)上的兩個(gè)麥克風(fēng)工作在與人類聽(tīng)覺(jué)系統(tǒng)相似的方式。然而，這個(gè)功能并不能提供足夠的噪聲抵消水平來(lái)消除語(yǔ)音呼叫或語(yǔ)音控制場(chǎng)合的所有背景噪聲，例如在開(kāi)車或乘坐公共交通工具、甚至在音樂(lè)聲很大的家里時(shí)。
增加用于高級(jí)噪聲抵消的傳感器
除了標(biāo)準(zhǔn)的兩個(gè)音頻麥克風(fēng)外，高級(jí)噪聲抵消技術(shù)使用了一個(gè)新增的傳感器，然后應(yīng)用3D-Vocal算法執(zhí)行多個(gè)語(yǔ)音處理任務(wù)，包括回波和背景噪聲抵消、響度均衡和一般語(yǔ)音增強(qiáng)。消除背景噪聲可以顯著提高智能手機(jī)、平板電腦和其它移動(dòng)設(shè)備中的自動(dòng)語(yǔ)音識(shí)別(ASR)和語(yǔ)音呼叫應(yīng)用的準(zhǔn)確率。
下圖1.0顯示了一個(gè)高級(jí)噪聲抵消技術(shù)如何影響有噪聲語(yǔ)音的例子。上面的波形代表有噪聲的語(yǔ)音，是語(yǔ)音和環(huán)境噪聲疊加的產(chǎn)物(S+N)，而下面的波形是經(jīng)過(guò)3D語(yǔ)音處理后得到的干凈語(yǔ)音信號(hào)。
?

圖1.0：對(duì)語(yǔ)音和環(huán)境噪聲應(yīng)用典型的3D語(yǔ)音處理技術(shù)后的結(jié)果。

圖2.0顯示的是聲譜圖，上面的圖形代表有噪聲語(yǔ)音(S+N)的聲譜圖，下面的聲譜圖顯示的是經(jīng)過(guò)3D語(yǔ)音處理后的語(yǔ)音信號(hào)。
?

圖2.0：對(duì)語(yǔ)音和環(huán)境噪聲進(jìn)行3D處理后的聲譜圖。

利用傳感器和兩個(gè)麥克風(fēng)提供的擴(kuò)展數(shù)據(jù)集，3D-Vocal算法可以提取出用于表征語(yǔ)音源的特征信號(hào)，并區(qū)分屬于感興趣語(yǔ)音的聲音分量與環(huán)境噪聲。圖3.0中的框圖顯示了高級(jí)噪聲抵消技術(shù)中的音頻處理路徑。

?

圖3.0：3D語(yǔ)音處理框圖。

3D語(yǔ)音處理框圖中的各個(gè)模塊說(shuō)明如下：
3D-Vocal(頻譜-時(shí)間分析)：接收來(lái)自麥克風(fēng)陣列和VSensor的所有信號(hào)，并對(duì)組合信息執(zhí)行專門的頻譜-時(shí)間處理。3D-Vocal數(shù)據(jù)中的一些相關(guān)圖案與環(huán)境噪聲有關(guān)，其它圖案則被識(shí)別為用戶語(yǔ)音。3D-Vocal頻譜-時(shí)間處理功能將用戶語(yǔ)音從預(yù)測(cè)的環(huán)境噪聲中分離出來(lái)，并為語(yǔ)音/噪聲特征提取模塊提供一些參考信息。
特征提取：包含要饋入其它模塊的語(yǔ)音/噪聲數(shù)據(jù)。提取出的特征包含了有關(guān)用戶語(yǔ)音和環(huán)境噪聲的頻譜-時(shí)間、實(shí)時(shí)信息。這些信息可以用來(lái)從用戶語(yǔ)音中濾除環(huán)境噪聲，實(shí)現(xiàn)回波抵消性能增強(qiáng)等功能。
環(huán)境噪聲抵消：抵消各種固定和非固定、相關(guān)和非相關(guān)的環(huán)境噪聲。環(huán)境噪聲抵消算法使用特征提取信息和3D-Vocal模塊的輸出信息。
均衡：均衡接收信號(hào)的頻譜分布，使其匹配ASR處理或語(yǔ)音呼叫的要求。


盡量減小語(yǔ)音識(shí)別應(yīng)用中的錯(cuò)字率
為了評(píng)估改進(jìn)的語(yǔ)音質(zhì)量如何影響虛擬輔助(Virtual Assist)性能，需要開(kāi)展錯(cuò)字率(WER)的測(cè)試。測(cè)試中根據(jù)以下公式計(jì)算口語(yǔ)序列和識(shí)別序列之間的錯(cuò)字?jǐn)?shù)：
?

其中，S是替換的字?jǐn)?shù)，D是刪除的字?jǐn)?shù)，I是插入的字?jǐn)?shù)，C是正確的字?jǐn)?shù)，N是參考信號(hào)中的字?jǐn)?shù)(N=S+D+C)。
語(yǔ)音腳本規(guī)定用帶3D語(yǔ)音處理和2D語(yǔ)音處理的移動(dòng)手機(jī)上的商用化虛擬輔助系統(tǒng)加以描述，其中包含有不同的背景噪聲類型，比如咖啡館、酒吧、汽車和火車，然后分別計(jì)算3D語(yǔ)音處理和2D語(yǔ)音處理技術(shù)時(shí)的錯(cuò)字率(WER)。
為了了解測(cè)試平臺(tái)性能，測(cè)試使用了如圖4所示的裝置。測(cè)試在聽(tīng)音室中進(jìn)行，室內(nèi)有一個(gè)人頭和軀干模擬器(HATS)。待測(cè)移動(dòng)手機(jī)固定在人體模型的頭上。符合ETSI EG 202 396-1的背景噪聲通過(guò)一個(gè)由主PC觸發(fā)的PC注入4個(gè)揚(yáng)聲器和1個(gè)低音炮。HATS的嘴巴播放“專門的干凈語(yǔ)音”，這個(gè)語(yǔ)音是從主PC那里通過(guò)模擬前端(Head Acoustics公司的測(cè)量前端MFE VI.I)饋送出來(lái)的。被移動(dòng)手機(jī)捕獲到的語(yǔ)音則通過(guò)虛擬輔助系統(tǒng)轉(zhuǎn)換為文本電子郵件，然后通過(guò)分析接收到的文本郵件計(jì)算誤字率。
?

圖4.0：錯(cuò)字率測(cè)試裝置。

測(cè)試結(jié)果如圖5所示。當(dāng)使用3D語(yǔ)音處理技術(shù)時(shí)，所有噪聲類型下的誤字率都在10%－15%范圍內(nèi)。當(dāng)使用2D語(yǔ)音處理技術(shù)時(shí)，誤字率在18%至60%之間，具體取決于噪聲類型，這意味著在噪聲環(huán)境下采用2D語(yǔ)音處理技術(shù)的自動(dòng)語(yǔ)音識(shí)別(ASR)功能是不一致的，在有些噪聲類型時(shí)能很好地工作，遇到其它噪聲類型時(shí)性能可能很差。然而，我們可以從圖5看到，如果采用3D語(yǔ)音處理技術(shù)，自動(dòng)語(yǔ)音識(shí)別性能的劣化非常有限，并且對(duì)所有噪聲類型是一致的，因而使得虛擬輔助系統(tǒng)在各種不同噪聲環(huán)境具有明顯更高的可靠性。
?

圖5.0：利用3D語(yǔ)音處理技術(shù)可提高虛擬輔助可靠性。

? ?? ???
利用3D語(yǔ)音處理提高語(yǔ)音通信應(yīng)用的質(zhì)量
如果智能手機(jī)采用高級(jí)噪聲抵消技術(shù)實(shí)現(xiàn)語(yǔ)音通信，那么語(yǔ)音質(zhì)量可以從“差”顯著提升到“很好”。可以使用ETSI EG 202 396-1標(biāo)準(zhǔn)比較3D語(yǔ)音處理技術(shù)和標(biāo)準(zhǔn)2D噪聲抵消技術(shù)下的音頻質(zhì)量。這個(gè)標(biāo)準(zhǔn)定義了一個(gè)測(cè)試噪聲抑制算法質(zhì)量的客觀方法。表1給出了常見(jiàn)質(zhì)量的得分情況(GMOS)。
根據(jù)MOS得分對(duì)不同類型的噪聲環(huán)境下使用內(nèi)置2D處理技術(shù)的智能手機(jī)的語(yǔ)音質(zhì)量進(jìn)行了比較。如圖6所示，3D語(yǔ)音處理得分明顯高于標(biāo)準(zhǔn)的2D語(yǔ)音處理。
?

表1：常見(jiàn)MOS得分(GMOS)。

?

圖6.0：在3D語(yǔ)音處理和標(biāo)準(zhǔn)2D語(yǔ)音處理情況下作為噪聲類型函數(shù)的GMOS比較。


3D語(yǔ)音處理附加值
除了更好的語(yǔ)音控制使語(yǔ)音應(yīng)用在噪聲環(huán)境中更加有用外，3D語(yǔ)音處理技術(shù)還能提供諸多增值好處。它不僅能增強(qiáng)智能手機(jī)、平板電腦和各種消費(fèi)電子設(shè)備的語(yǔ)音控制性能，也能使許多其它特殊應(yīng)用受益。這種技術(shù)支持在談話過(guò)程中插入背景音樂(lè)或聲音，因而可以為電信服務(wù)提供商帶來(lái)新的增值業(yè)務(wù)，如彩鈴。
基于安全和方便的原因，免提操作經(jīng)常是消費(fèi)者的首選。而語(yǔ)音控制剛剛開(kāi)始顯露出真正的潛能。測(cè)試結(jié)果表明，3D語(yǔ)音處理可以顯著提高語(yǔ)音控制的可靠性和可用性，使得它成為極有價(jià)值的差異化功能。借助這種最新技術(shù)，消費(fèi)者可以享受更多的便利，而運(yùn)營(yíng)商和消費(fèi)電子設(shè)備制造商則可以體驗(yàn)新的一系列令收入增長(zhǎng)的產(chǎn)品和服務(wù)。
原文作者：Lior Blanka，DSP Group公司
?