━━━━

戴上虛擬現(xiàn)實(shí)（VR）耳機(jī)，然后被“傳送”至一顆遙遠(yuǎn)的星球，躲避外星物種之間的戰(zhàn)火。激光槍射出的子彈從你耳邊嗖嗖飛過；戰(zhàn)斗機(jī)在你面前盤旋；戰(zhàn)友瘋狂的呼喊從各個方向傳來。切換頻道?，F(xiàn)在你在一場籃球賽的場邊，聽到球員在你面前的球場上打口水戰(zhàn)，教練在左邊的長凳上叫喊。你轉(zhuǎn)頭的同時，聲音也跟著你轉(zhuǎn)；直播間里的解說員在你前面，球場上的聲音則在你身后。切換頻道?，F(xiàn)在你來到了哥德堡音樂廳，這里的音響效果享譽(yù)全球。你坐在前排，起初，由109人組成的交響樂團(tuán)演奏著柔和的音樂，然后高亢的演奏聲將你圍繞。向左轉(zhuǎn)頭，小提琴的聲音更加清晰強(qiáng)烈；向右轉(zhuǎn)，大提琴和銅管樂組的聲音比其他樂器更加突出。

如今，提供這些虛擬現(xiàn)實(shí)體驗(yàn)的可視化組件技術(shù)很快就將得到廣泛應(yīng)用，價格也將很實(shí)惠，但要想發(fā)揮更大效力，虛擬現(xiàn)實(shí)不應(yīng)該只停留在視覺上。除非你聽到的聲音確實(shí)與你所看到的非常匹配，否則虛擬體驗(yàn)便會崩塌。

以球賽為例。如果球員、教練、解說員和觀眾全都聽起來好像坐在中場，那你還不如在電視上觀看這場比賽——你也會有一種“身臨其境”的感覺。

很可惜，目前的音頻設(shè)備以及我們廣泛使用的錄音和聲音播放格式，根本不足以令人信服地再現(xiàn)遙遠(yuǎn)星球上戰(zhàn)場的聲音、在球場邊觀看籃球比賽的聲音和在一流音樂廳前排聽到的交響樂。

當(dāng)然，通過耳機(jī)播放的立體聲錄音，你的右耳可能聽到體育賽事解說員的聲音，左耳則聽到教練的聲音，但不管你在虛擬環(huán)境中怎樣移動，它們的位置都不會發(fā)生變化。要想獲得逼真的體驗(yàn)，工程師需要從上下、遠(yuǎn)近、前后各個角度呈現(xiàn)每個聲音的精確方向和位置，并隨著用戶在虛擬世界中的移動進(jìn)行動態(tài)更新。

這是一項巨大的挑戰(zhàn)，但并非完全無法解決，已經(jīng)有一些虛擬現(xiàn)實(shí)產(chǎn)品的生產(chǎn)商開始利用有限的第一代3D音頻技術(shù)來改善二維立體聲和環(huán)繞聲。目前，包括我所在的Dirac Research（位于瑞典烏普薩拉）在內(nèi)的研究實(shí)驗(yàn)室已經(jīng)取得了一定的進(jìn)展，很有希望在幾年內(nèi)實(shí)現(xiàn)真正逼真的虛擬現(xiàn)實(shí)音頻。以下是我們認(rèn)為自己能夠提高虛擬現(xiàn)實(shí)體驗(yàn)水平的原因。

當(dāng)前，使用最廣泛的音頻格式是雙聲道（即立體聲）。立體聲系統(tǒng)會記錄左右兩個信號；聽者通過一對揚(yáng)聲器或耳機(jī)播放聲音，聲音信號依然是左右各一個。環(huán)繞聲系統(tǒng)超越了立體聲，增加了一個中央前置揚(yáng)聲器、兩個或4個后置揚(yáng)聲器，以及一個專用于低音輸出的低音炮。更新的辦法是在不同高度增加揚(yáng)聲器，比如AuroTechnologies公司的Auro-3D。這些方式開始給人帶來一種3D的錯覺，但實(shí)際上并不能創(chuàng)造一個虛擬世界，因?yàn)閾P(yáng)聲器的位置是固定的。在現(xiàn)實(shí)世界中，你可以移動，聽到的聲音也會隨著移動發(fā)生明顯的變化。

雖然這些復(fù)雜的環(huán)繞聲設(shè)置肯定比之前的立體聲效果要好，但對如今大多數(shù)聽眾來說，這實(shí)際上是一種倒退?，F(xiàn)代便攜式音樂設(shè)備使人們遠(yuǎn)離揚(yáng)聲器，而更多地使用耳機(jī)。這使人與現(xiàn)實(shí)聲音的距離更加遙遠(yuǎn)，因?yàn)槟壳邦^戴式耳機(jī)甚至無法恰到好處地處理立體聲，更不用說環(huán)繞聲或任何接近3D的聲音了。

原因如下。使用揚(yáng)聲器時，左耳聽到僅通過左揚(yáng)聲器播放的聲音，在幾乎察覺不到的一瞬間后，右耳就能聽到該聲音，聲音的衰減也很輕微。人的大腦會處理這種輕微的延遲和衰減，并在聲音的方向和距離上產(chǎn)生一個瞬時印象。而使用耳機(jī)時，左聲道只能傳到左耳。這種體驗(yàn)是人為的，會帶來一些奇怪的感覺。例如，當(dāng)耳機(jī)的左聲道和右聲道發(fā)出同樣大小的聲音時，它就好像是從你的腦袋里發(fā)出的，而不是從你面前的某個位置發(fā)出的。這就是為什么有時候通過耳機(jī)聽音樂會感覺有些奇怪。那么，怎樣才能獲得全三維的交互式虛擬音頻體驗(yàn)?zāi)兀?/p>

由于只有兩個獨(dú)立的頻道可供使用，這個目標(biāo)似乎無法實(shí)現(xiàn)，但原則上來說并非如此：人類的聽覺系統(tǒng)只使用兩只耳朵來分辨前后、上下以及中間的一切聲音，因此工程師應(yīng)該可以通過仔細(xì)控制每個聲音到達(dá)耳朵的時間、音量、共振和回聲特征來創(chuàng)造一種3D音頻體驗(yàn)。要調(diào)整每個頻道在空中傳播的聲音，需要大量的高速計算。幸運(yùn)的是，高速計算是可以做到的。

實(shí)際上，整個音頻行業(yè)的研究人員都在鉆研這種方法。一方面在于，與露天揚(yáng)聲器發(fā)出的聲音相比，工程師可以更好地控制耳機(jī)發(fā)出的聲音，因?yàn)椴恍枰獙Ψ块g形狀或其中物體的阻礙進(jìn)行補(bǔ)償，也不需要處理可能會分散人們對虛擬環(huán)境注意力的背景聲音、其他雜音或聲音反射。

━━━━

創(chuàng)建3D音頻錄音最簡單的方法是把麥克風(fēng)放在耳朵里，然后從特定的位置以立體聲形式記錄場景。在實(shí)踐中，錄音師通常會使用仿真人頭來做這件事，稱為雙聲道錄音，該技術(shù)已經(jīng)存在了很長時間。有些廣播電臺會播放雙聲道立體聲音樂會，但該技術(shù)一直沒有廣泛流行。

雙聲道立體聲錄音有幾點(diǎn)限制，對虛擬現(xiàn)實(shí)來說，最主要的問題還是聽者和聲源的位置是固定的。

盡管如此，雙聲道立體聲錄音還是有很多可以借鑒的東西，我們可以將這些技巧用于為虛擬現(xiàn)實(shí)創(chuàng)建交互式音頻。雙聲道立體聲錄音可以捕捉每個聲源傳達(dá)到兩耳的不同聲音強(qiáng)度和時間，也能捕捉到頭部、耳朵和身體姿態(tài)對聲音的反射和遮擋所導(dǎo)致的聲音變化。科學(xué)家將這些效應(yīng)稱之為頭部相關(guān)傳輸函數(shù)（HRTF）。

借助強(qiáng)大的計算機(jī)和數(shù)字信號處理軟件以及配備了位置跟蹤裝置的耳機(jī)，我們可以利用仿真人頭或真人模特創(chuàng)建一個標(biāo)準(zhǔn)化的HRTF，然后在播放過程中根據(jù)聽者的頭部方向和聲源的原始方向進(jìn)行實(shí)時調(diào)整。

━━━━

但就在這時，我們遇到了一個障礙。立體聲和環(huán)繞聲均被音頻工程師稱為基于頻道的格式：它們?yōu)樘囟〒P(yáng)聲器配置進(jìn)行音頻編碼，用于播放。一般的立體聲錄音只有基本的左右信息，不包含詳細(xì)的方向信息。環(huán)繞聲在這方面要好一些；5.1聲道是最著名的環(huán)繞聲格式，使用這種格式，混音工程師可以根據(jù)5個不同的參考位置對聲音進(jìn)行定位，并添加一個通過重低音喇叭播放的低頻頻道。該格式假定揚(yáng)聲器位于聽者的左前方、正前方、右前方、左后方和右后方。與普通立體聲相比，這個方案能夠提供更多有關(guān)聲音的信息，但對于逼真的虛擬現(xiàn)實(shí)來說，這仍然不夠好。

更新的一種方法是利用基于對象的格式?；趯ο蟮匿浺舴绞酵ㄟ^標(biāo)記聲源來編碼聲場，而不是采用特定的播放系統(tǒng)。例如，利用與位置、強(qiáng)度相關(guān)的信息和其他數(shù)據(jù)來識別大提琴、鋼琴和歌手的聲音，然后通過智能播放設(shè)備，根據(jù)標(biāo)簽的功能來解讀標(biāo)簽，并以與標(biāo)簽一致的方式播放聲音。2012年推出的杜比全景聲（Dolby Atmos）和2015年推出的DTS:X都采用了這種方法。

基于對象的格式最初是為了提升家庭影院的體驗(yàn)而創(chuàng)建的。例如，支持杜比全景聲的家庭影院接收器集成了天花板揚(yáng)聲器。不過這些格式在未來可以進(jìn)行調(diào)整，以便用于虛擬音頻。

第三種方法是基于場景的格式。20世紀(jì)70年代在英國國家研究開發(fā)公司（National Research Development Corp.）的贊助下，由彼得?菲爾格特（Peter Fellgett）、邁克爾?格松（Michael Gerzon）和其他研究人員開發(fā)的聲場環(huán)繞聲（Ambisonics）采用了這種方法?；趫鼍暗木幋a對特定位置的被錄制聲場進(jìn)行了空間表示。在其基本配置中，聲場環(huán)繞聲錄音使用了以四面體形式排列的4個麥克風(fēng)膠囊（更高分辨率的錄音中使用的更多）。基于場景的編碼將聽者周圍的聲音分類整理到多個預(yù)設(shè)的定向音箱中，基于對象的格式則不預(yù)先確定音箱，而是讓每個聲音對象定位在任意位置上。

當(dāng)前的聲場環(huán)繞聲技術(shù)存在明顯的不足，尤其是對現(xiàn)實(shí)世界進(jìn)行錄音時。其空間分辨率較低，錄音麥克風(fēng)往往會在一定程度上模糊方向性，但這是一種方便的錄音方式。因?yàn)樗且环N現(xiàn)成的開源格式，所以無論大小公司都在使用，其中包括臉書和谷歌，前者將其用于公司的360度視頻，后者將其用于自己的虛擬現(xiàn)實(shí)音頻技術(shù)。

到目前為止，有兩家大型商用音頻公司發(fā)布了支持3D音頻的編碼格式，其中集成了一部分上述技術(shù)。由位于德國埃爾朗根的弗勞恩霍夫集成電路研究所開發(fā)的MPEG-H3D音頻系統(tǒng)，支持基于對象、基于頻道和基于場景的音頻及其組合形式。杜比AC-4支持基于對象和基于頻道的音頻。雖然這些方案都取得了一定成功，但還沒有一項展現(xiàn)出壓倒性的優(yōu)勢，其中是否會有一個最終在未來占據(jù)主導(dǎo)地位，也不得而知。到目前為止，這些方法都側(cè)重于對音頻進(jìn)行編碼以便通過揚(yáng)聲器重放；要應(yīng)用到耳機(jī)上則面臨更大的挑戰(zhàn)。

對于我們這些試圖創(chuàng)建真正虛擬音頻的人來說，這些行動都是好消息。不過，即便這項工作已經(jīng)打下了良好的基礎(chǔ)，現(xiàn)有的任何一種方法也都不太可能發(fā)展成一項強(qiáng)大的3D音頻技術(shù)。我們還需要新方法。

━━━━

研究人員越來越接近目標(biāo)了。如果把基于對象和基于場景的編碼與HRTF處理結(jié)合起來，理論上就能夠在頭戴式虛擬現(xiàn)實(shí)耳機(jī)中渲染3D音頻，并根據(jù)聽者在虛擬世界中的移動對其進(jìn)行交互調(diào)整。

不過目前要應(yīng)用這項技術(shù)還存在困難。HRTF播放最大的缺點(diǎn)是前/后混淆，問題就在這里。人耳的位置意味著，在聽者的前后（或上下）有一個由聲音產(chǎn)生的中心點(diǎn)，聲音由此到達(dá)每只耳朵的時間和強(qiáng)度都相同，大腦會把耳朵、頭和身體姿態(tài)引起的微小變化都考慮在內(nèi)。這些人體結(jié)構(gòu)的細(xì)節(jié)以及它們所導(dǎo)致的聲音遮擋和聲音反射，會根據(jù)聲音的來源方向優(yōu)先放大某些頻率。由于每個人兩耳之間的距離不同，身體結(jié)構(gòu)也有一定的差異，因此這些細(xì)節(jié)因人而異。

許多研究人員認(rèn)為，解決前/后問題的唯一辦法是使用個性化的HRTF，即定制聲學(xué)身體地圖。這一點(diǎn)我們稍后再詳談。

另一個挑戰(zhàn)在于，HRTF處理的聲音常常聽起來不自然。某些音頻頻譜不可避免地被放大太多或放大不足。受過訓(xùn)練的聽者很容易察覺這些不一致。一般聽者也許無法直接辨別這些聲染色，但很可能會覺得不對勁兒，就像察覺出一個便宜的揚(yáng)聲器和一個昂貴的揚(yáng)聲器之間的區(qū)別。

造成第二個問題的原因尚不清楚。一些人認(rèn)為，我們測量HRTF的方法存在缺陷，導(dǎo)致現(xiàn)有的HRTF數(shù)據(jù)庫不充分。也有人認(rèn)為，除非定制個性化的HRTF，否則聲染色不可避免。實(shí)際情況可能兩者兼而有之：即使對個性化HRTF進(jìn)行測量，聲染色也不會完全消失，不過其定位精度比一般的HRTF高出許多；這至少要部分歸因于測量HRTF的技術(shù)。

研究人員正在測試創(chuàng)建個性化HRTF的不同測量思路。有些研究人員把麥克風(fēng)放在聽者的耳朵里，記錄不同方向播放的測試信號；這是一個耗時且容易出錯的方法。還有研究人員嘗試用掃描和計算機(jī)圖形分析工具（如射線追蹤）來模擬耳朵，根據(jù)它們對來自不同角度聲音的反應(yīng)進(jìn)行編碼。

雖然個性化的HRTF很可能會解決目前虛擬現(xiàn)實(shí)聲音所面臨的一些難題，但還存在其他問題。首先，它假定頭部是相對靜止的，身體與之同時移動，而虛擬現(xiàn)實(shí)用戶經(jīng)常在不移動身體的情況下轉(zhuǎn)動頭部。不過，最大的困難卻是創(chuàng)造它們的時間長、成本高，也就是說，個性化HRTF對于普通的虛擬現(xiàn)實(shí)用戶而言并不現(xiàn)實(shí)。

━━━━

這就是Dirac公司的研究切入點(diǎn)。我作為Dirac公司的首席執(zhí)行官和聯(lián)合創(chuàng)始人，在過去10年里和團(tuán)隊成員研究了各種方法來改進(jìn)HRTF處理。我們的研究人員發(fā)現(xiàn)，頭部運(yùn)動對HRTF有著尤其重要的影響。

要了解原因，可以想象一下將頭朝你的一側(cè)肩膀傾斜。當(dāng)耳朵靠近肩膀時，來自肩膀的聲音反射會更快地傳到耳朵，而到達(dá)另一只耳朵的相應(yīng)反射則存在額外的衰減和延遲。

根據(jù)這一觀察，我們基于對30個人的測量結(jié)果構(gòu)建了一組HRTF，稱之為動態(tài)HRTF。我們讓聽者調(diào)整自己的頭部，使其各自相對于身體左右搖擺、前后傾斜和轉(zhuǎn)動，在三維空間上有1度的分辨率，并測試從聽者前方、兩側(cè)、上下以及后方播放的聲音。最終，我們針對每個受試對象做了幾百次測量。（實(shí)際測量的HRTF數(shù)量取決于每個受試對象的運(yùn)動范圍。）

為了避免對模型進(jìn)行個性化設(shè)置及其可能產(chǎn)生的費(fèi)用，我們將重點(diǎn)放在了HRTF的共同點(diǎn)上。如果某個HRTF頻率響應(yīng)中的某個峰值或谷值對所有受試對象來說都是共通的（在容差范圍內(nèi)），便將其納入我們的通用模型；如果某個特征不常見，我們的算法將確保處理過的聲音中不會留下該HRTF的任何聲音痕跡。

雖然這種方法并不一定完美貼合每個人，但是我們對其進(jìn)行了充分研究并相信，如果模型足夠好，與頭部相對于身體的方向有關(guān)的一些強(qiáng)遮擋效應(yīng)和強(qiáng)反射就能夠捕捉人類聽覺系統(tǒng)確定聲音方向所需要的基本信息。此外，只要HRTF能以一致的方式捕捉頭部或音頻對象的運(yùn)動，聽者的聽覺系統(tǒng)就能夠忽略通用模型和個體HRTF之間的細(xì)微差異。也就是說，對大多數(shù)聽者而言，音頻體驗(yàn)將足夠真實(shí)。對于那些在某個方向上個體HRTF與模型有很大不同的人來說，聲音也依然較為自然，雖然在方向上并非100%準(zhǔn)確。

今年晚些時候，游戲耳機(jī)制造商的產(chǎn)品中就會采用Dirac虛擬現(xiàn)實(shí)，這是我們的動態(tài)HRTF技術(shù)首次實(shí)現(xiàn)商業(yè)應(yīng)用。

━━━━

然而，解決動態(tài)HRTF問題還不能給我們帶來真正逼真的虛擬聲音體驗(yàn)。雖然使用HRTF能夠從任意方向模擬聲音，但是聲音不僅僅受聽者的物理特性的影響。人在戶外說話和在室內(nèi)說話的聲音聽起來很不一樣。即使在室內(nèi)，墻壁和其他物體的位置也會對聲音產(chǎn)生重要影響。

因此，在虛擬環(huán)境中，我們也必須考慮虛擬房間的形狀和房間中物體的形狀，以及道路、懸崖或戰(zhàn)場的形狀會對聲音產(chǎn)生什么影響。這要求我們在創(chuàng)造聲音時模擬反射波和駐波，考慮墻壁的擴(kuò)散特性以及內(nèi)部物體的影響。

在播放聲音時，我們需要同時考慮虛擬房間和實(shí)際聽者，不僅要傳遞每個聲音，還要傳遞聲波在地板、天花板和其他物體上的每一次反射，而且要采用適當(dāng)?shù)腍RTF。因此，這個過程會非常復(fù)雜，而且需要大量的密集計算。

目前，開發(fā)人員簡化了游戲等交互式應(yīng)用的聲學(xué)信息。他們把聲音分成一組定向聲源和一個組合環(huán)境聲場，而不是模擬整個場景的聲學(xué)特性，然后通過HRTF處理定向聲音，同時假設(shè)來自各個方向的環(huán)境聲強(qiáng)度相同。對大多數(shù)人來說，這種技術(shù)在某些虛擬環(huán)境中能夠產(chǎn)生相當(dāng)逼真的3D聲音。最終，更加真實(shí)的虛擬房間聲學(xué)模擬將得到發(fā)展，在更多具有挑戰(zhàn)性的環(huán)境中提高音頻體驗(yàn)的真實(shí)性。

預(yù)計未來幾年內(nèi)，研究人員將能夠?yàn)榛@球賽或音樂會等虛擬現(xiàn)實(shí)場景創(chuàng)造出身臨其境的3D音頻體驗(yàn)。接下來，最大的挑戰(zhàn)將是對HRTF算法進(jìn)行微調(diào)，降低計算要求和內(nèi)存要求，以便在電池驅(qū)動的便攜式設(shè)備上運(yùn)行。解決這一難題后，沉浸式虛擬現(xiàn)實(shí)3D音頻便做好了進(jìn)入大規(guī)模應(yīng)用的準(zhǔn)備。

不出10年，具有頭部跟蹤功能的3D耳機(jī)音頻將能夠幫我們舉行遠(yuǎn)程會議，你可以在真實(shí)的房間內(nèi)走動，走到一位同事身邊與之進(jìn)行討論，或者去找另一位同事。我們將能夠體驗(yàn)親臨NBA總決賽的感覺，也可以坐在維也納金色大廳的最佳位置欣賞小約翰?施特勞斯的音樂。對我來說，僅僅最后一項就值得投入精力去解決現(xiàn)有的工程挑戰(zhàn)，實(shí)現(xiàn)3D音頻充滿前途的未來。