摘要

擁有指令跟隨能力的大型語(yǔ)言模型已經(jīng)徹底改變了人工智能領(lǐng)域。這些模型通過(guò)其自然語(yǔ)言界面展現(xiàn)出卓越的通用性，能夠應(yīng)對(duì)各種現(xiàn)實(shí)世界任務(wù)。

然而，它們的性能在很大程度上依賴(lài)于高質(zhì)量的示例數(shù)據(jù)，通常難以獲得。當(dāng)涉及到多模態(tài)指令跟隨時(shí)，這一挑戰(zhàn)進(jìn)一步加劇。

我們介紹了TextBind，這是一個(gè)幾乎無(wú)需注釋的框架，用于賦予更大型的語(yǔ)言模型多輪交織的多模態(tài)指令跟隨能力。

我們的方法僅需要圖像描述對(duì)，并從語(yǔ)言模型生成多輪多模態(tài)指令-響應(yīng)對(duì)話(huà)。我們發(fā)布了我們的數(shù)據(jù)集、模型和演示，以促進(jìn)未來(lái)在多模態(tài)指令跟隨領(lǐng)域的研究。

數(shù)據(jù)

TextBind提供了處理和生成任意交織的圖像和文本內(nèi)容的示例，使語(yǔ)言模型能夠在開(kāi)放世界場(chǎng)景中與用戶(hù)進(jìn)行自然互動(dòng)。

模型

我們的模型包括一個(gè)圖像編碼器、一個(gè)圖像解碼器、一個(gè)語(yǔ)言模型，以及連接它們的橋接網(wǎng)絡(luò)，支持多輪交織的多模態(tài)指令跟隨。它可以生成并處理任意交織的圖像和文本內(nèi)容。

demo

語(yǔ)言模型能夠執(zhí)行各種任務(wù)，包括根據(jù)一組圖像創(chuàng)作引人入勝的故事，比較多個(gè)圖像中的共同和不同之處，用生動(dòng)的圖像解釋概念，生成帶有插圖的長(zhǎng)篇連貫故事等等。最有趣的是，我們模型的核心創(chuàng)新在于其能夠在廣泛的真實(shí)場(chǎng)景中與用戶(hù)自然互動(dòng)。歡迎訪問(wèn)我們的demo[1]。

例子