在博士畢業(yè)就有10篇ACL一作的師兄指導下是種什么體驗

北京大學與騰訊等機構的研究者們提出了多模態(tài)對齊框架 ——LanguageBind。該框架在視頻、音頻、文本、深度圖和熱圖像等五種不同模態(tài)的下游任務中取得了卓越的性能，刷榜多項評估榜單，這標志著多模態(tài)學習領域向著「大一統(tǒng)」理念邁進了重要一步。

在現(xiàn)代社會，信息傳遞和交流不再局限于單一模態(tài)。我們生活在一個多模態(tài)的世界里，聲音、視頻、文字和深度圖等模態(tài)信息相互交織，共同構成了我們豐富的感知體驗。這種多模態(tài)的信息交互不僅存在于人類社會的溝通中，同樣也是機器理解世界所必須面對的挑戰(zhàn)。

如何讓機器像人類一樣理解和處理這種多模態(tài)的數(shù)據，成為了人工智能領域研究的前沿問題。

在過去的十年里，隨著互聯(lián)網和智能設備的普及，視頻內容的數(shù)量呈爆炸式增長。視頻平臺如 YouTube、TikTok 和 Bilibili 等匯聚了億萬用戶上傳和分享的視頻內容，涵蓋了娛樂、教育、新聞報道、個人日志等各個方面。如此龐大的視頻數(shù)據量為人類提供了前所未有的信息和知識。為了解決這些視頻理解任務，人們采用了視頻 - 語言（VL）預訓練方法，將計算機視覺和自然語言處理結合起來，這些模型能夠捕捉視頻語義并解決下游任務。

然而，目前的 VL 預訓練方法通常僅適用于視覺和語言模態(tài)，而現(xiàn)實世界中的應用場景往往包含更多的模態(tài)信息，如深度圖、熱圖像等。如何整合和分析不同模態(tài)的信息，并且能夠在多個模態(tài)之間建立準確的語義對應關系，成為了多模態(tài)領域的一個新的挑戰(zhàn)。

為了應對這一難題，北大與騰訊的研究人員提出了一種新穎的多模態(tài)對齊框架 ——LanguageBind。與以往依賴圖像作為主導模態(tài)的方法不同，LanguageBind 采用語言作為多模態(tài)信息對齊的紐帶。

論文地址：https://arxiv.org/pdf/2310.01852.pdf

GitHub 地址：https://github.com/PKU-YuanGroup/LanguageBind

Huggingface 地址：https://huggingface.co/LanguageBind

語言因其內在的語義豐富性和表現(xiàn)力，被賦予了整合和引導其他模態(tài)信息對齊的能力。在這個框架下，語言不再是附屬于視覺信息的標注或說明，而是成為了聯(lián)合視覺、音頻和其他模態(tài)的中心通道。

LanguageBind 通過將所有模態(tài)的信息映射到一個統(tǒng)一的語言導向的嵌入空間，實現(xiàn)了不同模態(tài)之間的語義對齊。這種對齊方法避免了通過圖像中介可能引入的信息損失，提高了多模態(tài)信息處理的準確性和效率。更重要的是，這種方法為未來的擴展提供了靈活性，允許簡單地添加新的模態(tài)，而無需重新設計整個系統(tǒng)。

此外，該研究團隊構建了 VIDAL-10M 數(shù)據集，這是一個大規(guī)模、包含多模態(tài)數(shù)據對的數(shù)據集。

VIDAL-10M 涵蓋了視頻 - 語言、紅外 - 語言、深度 - 語言和音頻 - 語言配對，以確?？缒B(tài)的信息是完整且一致的。通過在該數(shù)據集上進行訓練，LanguageBind 在視頻、音頻、深度和紅外等 15 個廣泛的基準測試中取得了卓越的性能表現(xiàn)。

方法介紹

在多模態(tài)信息處理領域，主流的對齊技術，如 ImageBind，主要依賴圖像作為橋梁來實現(xiàn)不同模態(tài)之間的間接對齊。這種方法在對其他模態(tài)和語言模態(tài)的對齊上可能會導致性能次優(yōu)化，因為它需要兩步轉換過程 —— 首先是從目標模態(tài)到圖像模態(tài)，然后是從圖像模態(tài)到語言模態(tài)。這種間接對齊可能導致語義信息在轉換過程中的衰減，從而影響最終的性能表現(xiàn)。

針對這一問題，該團隊提出了一種名為 LanguageBind 的多模態(tài)語義對齊預訓練框架。該框架摒棄了依賴圖像作為中介的傳統(tǒng)模式，而是直接利用語言模態(tài)作為不同模態(tài)之間的紐帶。語言模態(tài)因其天然的語義豐富性，成為連接視覺、音頻、深度等模態(tài)的理想選擇。LanguageBind 框架通過利用對比學習機制，將不同模態(tài)的數(shù)據映射到一個共享的語義嵌入空間中。在這個空間里，不同模態(tài)的信息可以直接進行語義層面的理解與對齊。

LanguageBind 概覽圖

具體而言，LanguageBind 通過錨定語言模態(tài)，采用一系列優(yōu)化的對比學習策略，對多模態(tài)數(shù)據進行預訓練。這一過程中，模型學習將來自不同模態(tài)的數(shù)據編碼到與語言模態(tài)相兼容的表征中，確保了模態(tài)間的語義一致性。這種直接的跨模態(tài)語義對齊避免了傳統(tǒng)方法中的性能損失，同時提高了模型在下游多模態(tài)任務中的泛化能力和適用性。

LanguageBind 框架的另一個優(yōu)點是其擴展性。由于直接使用語言作為核心對齊模態(tài)，當引入新的模態(tài)時，無需重構整個對齊機制，只需通過相同的對比學習過程，將新模態(tài)的數(shù)據映射到已經建立的語言導向嵌入空間。這使得 LanguageBind 不僅適用于現(xiàn)有的模態(tài)，也能輕松適應未來可能出現(xiàn)的新模態(tài)，為多模態(tài)預訓練技術的發(fā)展奠定了堅實基礎。

數(shù)據集介紹

在跨模態(tài)預訓練領域，數(shù)據集的構建及其質量對于預訓練模型的性能與應用效能具有決定性影響。傳統(tǒng)的多模態(tài)數(shù)據集大多局限于二模態(tài)或三模態(tài)的配對數(shù)據，這種限制導致了對更豐富模態(tài)對齊數(shù)據集的需求。

因而，該團隊開發(fā)了 VIDAL-10M 數(shù)據集，這是一個創(chuàng)新的五模態(tài)數(shù)據集，包含了視頻 - 語言（VL）、紅外 - 語言（IL）、深度 - 語言（DL）、音頻 - 語言（AL）等數(shù)據對。每個數(shù)據對都經過了精心的質量篩選，旨在為跨模態(tài)預訓練領域提供一個高品質、高完整性的訓練基礎。

VIDAL-10M 數(shù)據集示例

VIDAL-10M 數(shù)據集的構建主要包括三步：

視覺相關搜索詞庫構建。設計一種創(chuàng)新的搜索詞獲取策略，該策略綜合利用了各類視覺任務數(shù)據集中的文本信息，如標簽和標題，以構建一個豐富視覺概念且多樣化的視頻數(shù)據集，從而增強了數(shù)據多樣性和覆蓋度。

視頻和音頻數(shù)據的收集、清洗與篩選：在數(shù)據的收集過程中，該研究采取了基于文本、視覺和音頻內容的多種過濾機制，這些機制確保收集到的視頻和音頻數(shù)據與搜索詞高度相關，并且滿足高標準的質量要求。這一步驟是確保數(shù)據集質量的關鍵環(huán)節(jié)，它直接影響模型訓練的效果和后續(xù)任務的性能。

紅外、深度模態(tài)數(shù)據生成與多視角文本增強。此階段，利用多種先進的生成模型技術合成了紅外和深度模態(tài)數(shù)據，并對文本內容進行了多角度的生成和增強。多視角文本增強包括了標題、標簽、關鍵幀描述、視頻概要等多個維度，它為視頻內容提供了全面且細致的描述，增強了數(shù)據的語義豐富性和描述的細粒度。

VIDAL-10M 數(shù)據集的構建過程

實驗

LanguageBind 框架被應用于多個模態(tài)的零樣本分類任務，并與其他模型進行了性能比較。實驗結果顯示，LanguageBind 方法在包括視頻、音頻、深度圖像、熱成像等多模態(tài)數(shù)據上的 15 個零樣本分類與檢索任務中均展示了顯著的性能提升。這些實驗成果強調了 LanguageBind 方法在理解和處理不同模態(tài)數(shù)據中的潛在能力，尤其是在沒有先前樣本可供學習的情況下。為了更深入地了解 LanguageBind 方法的性能，可以參照以下詳細的實驗結果。

表 2 顯示，LanguageBind 的性能在 MSR-VTT 上超過 VideoCoca 和 OmniVL ，盡管僅使用 300 萬個視頻 - 文本對。

在兩個經典數(shù)據集 MSR-VTT 和 MSVD 上進行的零樣本視頻 - 文本檢索實驗結果如表 3 所示：

該研究還將本文模型與 SOTA 多模態(tài)預訓練模型 OpenCLIP、ImageBind 在多模態(tài)理解任務上進行了比較，結果如表 4 所示：

表 5 比較了在 Clotho 數(shù)據集和 Audiocaps 數(shù)據集上的零樣本文本 - 音頻檢索性能：