聽覺是VR體驗中不可或缺的一部分，真正沉浸式的體驗除了視覺外也要讓聽覺符合場景的設定。為了幫助開發(fā)者更方便的創(chuàng)造自然的立體音效，HTC Vive推出了3DSP音頻SDK。

3DSP是一款音頻SDK，可以為應用程序提供具備空間音效的音頻。影響人類對于音頻空間化感知的因素有很多，比如聲音傳入兩只耳朵的時間差，兩耳之間的水平差異，人體耳廓、頭部等部位的差異、環(huán)境因素（例如房間聲音反射和混響）以及從聲源發(fā)出聲音到人耳接收到聲音之間遇到的障礙物阻擋，都會影響人的聽感。

為了讓用戶在VR中聽到的聲音盡可能的真實，就需要考慮到聲音發(fā)出到被聽到之間的種種因素，讓VR中的聲音盡可能接近真實空間中人們聽到的聲音，以增加從沉浸感。

高階Ambisonics(高保真立體聲）

傳統(tǒng)的雙聲道立體聲利用兩個揚聲器，通過人的雙耳效應使聲音達到空間立體的效果。

而隨著技術的不斷進步，在VR中我們常用一種音頻技術Ambisonics，相當于讓聲源遍布球狀的內(nèi)表面，環(huán)繞用戶的頭部。

Ambisonics使用“球諧函數(shù)”描述聲場，使聲音從四面八方傳來，帶來更好的沉浸感。

不過迄今為止簡易的基本型Ambisonic系統(tǒng)只能在一個中心位置創(chuàng)建一個精確的聲場。隨著聽眾遠離中心并隨著頻率的增加，誤差水平逐漸增加。

為了減少誤差，可以采用增加球面的階數(shù)來描述更加復雜的諧波。

HTC在對3DSP SDK的展示中便展示了3階Ambisonics模型。

房間音頻

當用戶處在虛擬房間中時，就要考慮房間的復雜情況，對聲音做出相應處理。

3DSP從早期反射、后期混響、背景噪聲、環(huán)境材料等方面模擬房間音頻，讓用戶獲得更具空間感的聲音。值得一提的是，3DSP同時保證了該技術在低計算量的情況下運行，減少設備的計算負擔。

距離模型

空間中真實傳播的聲音會隨著傳播距離的增長而發(fā)生衰減，但是在不同的情況下衰減的變化是不同的。

在HTC Vive 3DSP SDK中，提供了幾種情況下聲音的衰減模型，采用基于現(xiàn)實建模的距離模型。

阻塞效應

當聲音從聲源發(fā)出遇到障礙物再被用戶聽到的時候，會因為障礙物的阻擋而發(fā)生改變。

分析物體的幾何特點來計算遮擋物對聲音的遮擋能力。

為了計算障礙物的遮擋能力，是通過在空間中投射大量射線，并列舉有多少被障礙物遮擋。

無需使用Unity對撞機，根據(jù)不同障礙物的具體面積以及形狀計算得到聲源經(jīng)過障礙物后被聽眾聽到的實際情況。

其他特性

除了上述的幾點外，HTC Vive 3DSP SDK還具備以下特性

·基于對真實世界精確建模(包括水平和垂直方向)的頭相關變換函數(shù)(HRTF)，可以得到適用于所有聲音的濾波器進而還原空間音頻。

·原聲和回放均采用高分辨率音頻。