試想一下，你正坐在客廳里觀看電影，此時(shí)畫面中有一架直升機(jī)飛過，你可以聽到直升機(jī)的聲音仿若就在你頭頂上方移動(dòng)，從房間的一側(cè)到另一側(cè)，營(yíng)造出真正身臨其境的觀影體驗(yàn)。得益于基于沉浸式音頻模型和格式 (IAMF, Immersive Audio Model and Formats) 的新開源音頻技術(shù) Eclipsa Audio，上述的聽覺體驗(yàn)已能實(shí)現(xiàn)。無論是搭配了高端電視的高檔影院系統(tǒng)，還是入門級(jí)移動(dòng)設(shè)備和電視，該技術(shù)能夠在多種常見消費(fèi)電子產(chǎn)品中快速高效地處理此類需求。

該技術(shù)于今年國際消費(fèi)類電子產(chǎn)品展覽會(huì) (CES) 上推出，由 Google、三星、Arm 和開放媒體聯(lián)盟（開發(fā)了 AV1 視頻格式的組織）共同打造。

什么是 Eclipsa Audio？

Eclipsa Audio 是一種多聲道音頻環(huán)繞格式，利用 IAMF 技術(shù)提供沉浸式聆聽體驗(yàn)。該技術(shù)通過垂直和水平傳播音頻，革新了聽覺體驗(yàn)。這種三維音景高度模擬自然環(huán)境，使電影、電視節(jié)目和音樂中的聲音表現(xiàn)更為生動(dòng)逼真。

Eclipsa Audio 會(huì)根據(jù)不同場(chǎng)景動(dòng)態(tài)調(diào)整音頻，從而確保呈現(xiàn)最佳音質(zhì)。此外，該技術(shù)還提供定制功能，使聽眾能夠依據(jù)個(gè)人偏好調(diào)節(jié)聲音，進(jìn)而獲得個(gè)性化及獨(dú)特的聽覺體驗(yàn)。

一個(gè) Eclipsa Audio 比特流最多可以包含 28 個(gè)輸入通道，這些通道被渲染到一組輸出揚(yáng)聲器或耳機(jī)。這些輸入聲道可以是固定的，如管弦樂隊(duì)中的麥克風(fēng)；也可以是動(dòng)態(tài)的，如動(dòng)作電影中直升機(jī)穿過聲場(chǎng)。

Eclipsa Audio 具備雙耳渲染功能，這對(duì)于通過耳機(jī)提供沉浸式音頻的移動(dòng)端應(yīng)用至關(guān)重要。此外，這種新的音頻技術(shù)支持跨消費(fèi)類設(shè)備進(jìn)行內(nèi)容創(chuàng)建，使用戶能夠自行構(gòu)建沉浸式音頻體驗(yàn)。

Arm 與 Google 在 IAMF 開發(fā)的合作歷程

在 IAMF 開發(fā)過程中，Arm 作為戰(zhàn)略合作伙伴，與 Google 團(tuán)隊(duì)密切協(xié)作，以優(yōu)化該技術(shù)的性能。Arm 的工作重點(diǎn)在于提高 Opus 編解碼器和 IAMF 庫 (libiamf) 的效率，確保其在當(dāng)今廣泛應(yīng)用于移動(dòng)設(shè)備和電視中的 Arm CPU 上實(shí)現(xiàn)最佳性能。

自 2005 年以來，Arm CPU 已經(jīng)集成了 Neon SIMD 擴(kuò)展，并且在此之后取得了顯著發(fā)展，使得音頻和視頻處理等數(shù)字信號(hào)處理 (DSP) 任務(wù)實(shí)現(xiàn)了性能躍升。針對(duì) IAMF，Arm 的工程師致力于技術(shù)優(yōu)化，使其能夠在最低 CPU 使用率下實(shí)時(shí)解碼復(fù)雜的比特流，如此一來，即使 CPU 正在處理體驗(yàn)中的其他任務(wù)，也能確?？煽康男阅?。這對(duì)于注重能效的移動(dòng)端應(yīng)用尤為重要。

性能增強(qiáng)

Arm 一直在為 opus-codec 和 libiamf 升級(jí)補(bǔ)丁，專注于浮點(diǎn)實(shí)現(xiàn)，以實(shí)現(xiàn)最佳性能。這些增強(qiáng)包括：

Neon Intrinsic 優(yōu)化：該優(yōu)化支持多種 Arm 架構(gòu)（包括 Armv7 + Neon、Armv8-A32、Armv8-A64 和 Armv9），從而加速了浮點(diǎn)到 INT16 的轉(zhuǎn)換和軟削波。此外，還為多通道揚(yáng)聲器輸出中的矩陣乘法和通道解壓縮提供了 CPU 特定的優(yōu)化。

性能提升：在 Quartz64 和 Google Pixel 7 等設(shè)備上，不同揚(yáng)聲器配置（如立體聲、5.1、9.1.6）都有顯著的性能提升。舉例來說，9.1.6 的輸出在 Pixel 7 的 Arm Cortex-A55 CPU 核心上性能提升超過了 160%。

解碼效率：經(jīng)優(yōu)化后，所有測(cè)試文件在 AArch64 上的解碼時(shí)間少于實(shí)時(shí)的 16%，而在 AArch32 上則少于實(shí)時(shí)的 23%，使其在 Cortex-A55 處理器上極為高效。

核心技術(shù)

IAMF 支持多種音頻編碼格式，包括 LPCM、AAC、FLAC 和 Opus。其中，Opus 是當(dāng)前最時(shí)新的編解碼器，通常被認(rèn)為是首選。Arm 針對(duì) Arm 架構(gòu)對(duì) Opus 進(jìn)行了進(jìn)一步優(yōu)化，從而確保其在 IAMF 框架內(nèi)高效運(yùn)行。

IAMF 庫 (libiamf) 負(fù)責(zé)解碼 IAMF 比特流，并為各類音響系統(tǒng)生成揚(yáng)聲器輸出。Arm 引入了一種 CPU 專用化框架，通過編譯時(shí)特征檢測(cè)，確保該庫針對(duì)其運(yùn)行的平臺(tái)進(jìn)行了優(yōu)化。

通過對(duì) Opus 編解碼器和 libiamf 庫等關(guān)鍵組件進(jìn)行優(yōu)化，Arm 的工程師確保了 IAMF 在 Arm CPU 上能夠提供卓越的性能。這不僅提升了用戶體驗(yàn)，也體現(xiàn)了 Arm 的技術(shù)在前沿應(yīng)用中的重要價(jià)值。

開放媒體聯(lián)盟支持的 IAMF 開放標(biāo)準(zhǔn)方法，與 Arm 提供廣泛可訪問性和推動(dòng)創(chuàng)新的愿景高度契合。此次合作凸顯了 Arm 在推動(dòng)沉浸式音頻技術(shù)未來方面的重要作用，為包括高端家庭影院系統(tǒng)、入門級(jí)移動(dòng)設(shè)備和電視等在內(nèi)的各種現(xiàn)有及未來設(shè)備，提供高質(zhì)量的音頻體驗(yàn)。

沉浸式音頻的未來就在這里

IAMF 彰顯了沉浸式音頻技術(shù)的重大飛躍，通過利用人工智能 (AI) 和深度學(xué)習(xí)技術(shù)以及 Arm 支持的強(qiáng)大性能優(yōu)化，提供多功能和高質(zhì)量的音頻體驗(yàn)。

沉浸式音頻的未來已經(jīng)到來，并且變得更加觸手可及。無論是普通聽眾還是音響發(fā)燒友，IAMF 將為我們帶來前所未有的沉浸式音頻體驗(yàn)。