日前，智源「悟道·視界」通用視覺(jué)大模型系列，帶來(lái)計(jì)算機(jī)視覺(jué)多任務(wù)處理能力方面的6項(xiàng)國(guó)際領(lǐng)先技術(shù)，迎接通用視覺(jué)智能曙光降臨，包括：

在多模態(tài)序列中補(bǔ)全一切的多模態(tài)大模型Emu

最強(qiáng)十億級(jí)視覺(jué)基礎(chǔ)模型EVA

一通百通、分割一切的視界通用分割模型

首創(chuàng)上下文圖像學(xué)習(xí)技術(shù)路徑的通用視覺(jué)模型Painter

性能最強(qiáng)開(kāi)源CLIP模型 EVA-CLIP

簡(jiǎn)單prompt（提示）即可視頻編輯的 vid2vid-zero 零樣本視頻編輯技術(shù)

“悟道·視界”

通用視覺(jué)大模型系列開(kāi)源地址：

EVA代碼和論文

Github 項(xiàng)目地址

https://github.com/baaivision/EVA

論文地址

https://arxiv.org/abs/2211.07636

EVA-CLIP代碼和論文

Github 項(xiàng)目地址

https://github.com/baaivision/EVA/tree/master/EVA-CLIP

論文地址

https://arxiv.org/abs/2303.15389

Painter代碼和論文

Github 項(xiàng)目地址

https://github.com/baaivision/Painter

論文地址

https://arxiv.org/abs/2212.02499

「視界通用分割模型」代碼和論文

Github 項(xiàng)目地址

https://github.com/baaivision/Painter

論文地址

https://arxiv.org/abs/2304.03284

Demo 地址

https://huggingface.co/spaces/BAAI/SegGPT

vid2vid-zero代碼和論文

Github 項(xiàng)目地址

https://github.com/baaivision/vid2vid-zero

論文鏈接

https://arxiv.org/abs/2303.17599

Demo 地址

https://huggingface.co/spaces/BAAI/vid2vid-zero

Emu：在多模態(tài)序列中補(bǔ)全一切的多模態(tài)大模型

多模態(tài)輸入，多模態(tài)輸出。

Emu作為業(yè)界首個(gè)多模態(tài)-to-多模態(tài)的多模態(tài)大模型，可以接受和處理不同模態(tài)的數(shù)據(jù)，并輸出想要的多模態(tài)類別。

基于多模態(tài)上下文學(xué)習(xí)技術(shù)路徑，從圖文、交錯(cuò)圖文、交錯(cuò)視頻文本等海量多模態(tài)序列中學(xué)習(xí)。訓(xùn)練完成后，Emu能在多模態(tài)序列的上下文中補(bǔ)全一切，對(duì)圖像、文本和視頻等多種模態(tài)的數(shù)據(jù)進(jìn)行感知、推理和生成，實(shí)現(xiàn)多輪圖文對(duì)話、視頻理解、精準(zhǔn)圖像認(rèn)知、文圖生成、多模態(tài)上下文學(xué)習(xí)、視頻問(wèn)答和圖圖生成等多模態(tài)能力。

在零樣本COCO圖像描述性能方面，Emu超越Flagmingo-80B，取得109分。相比其他多模態(tài)模型，可以準(zhǔn)確識(shí)別出莫奈的日出印象；可以完成少樣本圖文理解，以兩個(gè)圖文對(duì)為例，可自動(dòng)完成對(duì)應(yīng)任務(wù)；還可根據(jù)圖片或視頻進(jìn)行問(wèn)答和多輪對(duì)話。

在生成能力方面，可以根據(jù)任意長(zhǎng)度文本生成圖像；在圖圖生成方面，可以自動(dòng)推理生成新的圖片；在多模態(tài)上下文生成方面，可以根據(jù)文本-圖片作為prompt，生成融合了上下文的新圖片。

EVA：最強(qiáng)十億級(jí)視覺(jué)基礎(chǔ)模型

通用性是大模型能力的重要指標(biāo)，亦是研究難點(diǎn)所在。如何讓通用視覺(jué)模型，在更高效的同時(shí)更簡(jiǎn)單？語(yǔ)義學(xué)習(xí)和幾何結(jié)構(gòu)學(xué)習(xí)是解決視覺(jué)問(wèn)題的兩大關(guān)鍵點(diǎn)。

將最強(qiáng)十億級(jí)視覺(jué)基礎(chǔ)模型 EVA 正是將最強(qiáng)語(yǔ)義學(xué)習(xí)（CLIP）與最強(qiáng)幾何結(jié)構(gòu)學(xué)習(xí)（MIM）結(jié)合，再將標(biāo)準(zhǔn)的 ViT 模型擴(kuò)大規(guī)模至 10 億參數(shù)進(jìn)行訓(xùn)練，一舉在 ImageNet 分類、COCO 檢測(cè)分割、Kinetics 視頻分類等廣泛的視覺(jué)感知任務(wù)中取得當(dāng)時(shí)最強(qiáng)性能。

視覺(jué)預(yù)訓(xùn)練模型EVA的命名來(lái)源于論文標(biāo)題“Exploring the Limits of Masked Visual Representation Learning at Scale”相關(guān)字母的簡(jiǎn)化，意為探索遮蔽視覺(jué)表征學(xué)習(xí)的極限。

EVA模型把以“視覺(jué)為中心”作為建模思想，將語(yǔ)義學(xué)習(xí)（CLIP）與幾何結(jié)構(gòu)學(xué)習(xí)（MIM）結(jié)合，僅使用標(biāo)準(zhǔn)的 ViT 模型，并將其規(guī)模擴(kuò)大到十億參數(shù)（1-Billion）進(jìn)行訓(xùn)練。

模型訓(xùn)練方法是使用圖像-文本對(duì)齊（即CLIP）的視覺(jué)特征作為MIM的預(yù)測(cè)目標(biāo)，模型設(shè)計(jì)思路有兩個(gè)特點(diǎn)：

高效，EVA僅使用開(kāi)源的純圖像數(shù)據(jù)即可進(jìn)行掩碼預(yù)測(cè)任務(wù)，不需要預(yù)訓(xùn)練階段重新學(xué)習(xí)語(yǔ)義以及不需要巨量的成對(duì)有標(biāo)注數(shù)據(jù)。相比而言，主流標(biāo)桿性模型（ViT-g、SwinV2、CoCa等）仍依賴于冗長(zhǎng)的有監(jiān)督或弱監(jiān)督訓(xùn)練，以及不可公開(kāi)訪問(wèn)的數(shù)億級(jí)有標(biāo)簽數(shù)據(jù)。

簡(jiǎn)單，EVA不需要特殊設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)。使用簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)—標(biāo)準(zhǔn)的ViT-g，而無(wú)需額外特殊設(shè)計(jì)的算子，使得其非常容易的遷移到廣泛的下游任務(wù)，并且可以和其他模態(tài)共享。

經(jīng)過(guò)實(shí)驗(yàn)，模型在ImageNet分類、COCO檢測(cè)分割、Kinetics視頻分類等廣泛的視覺(jué)感知任務(wù)中取得當(dāng)前最強(qiáng)性能。

如上圖，ImageNet圖像分類中取得89.7%的top-1準(zhǔn)確率；Kinetics-700視頻動(dòng)作識(shí)別取得82.9%的top-1準(zhǔn)確率；COCO目標(biāo)檢測(cè)取得64.7 mAP、實(shí)例分割取得55.5 mAP；LVIS的實(shí)例分割取得55.0 mAP；語(yǔ)義分割的COCO-stuff取得53.4 mIoU、ADE-20K取得62.3 mIoU。

Painter通用視覺(jué)模型：首創(chuàng)「上下文視覺(jué)學(xué)習(xí)」技術(shù)路徑

圖像理解圖像、圖像解釋圖像，圖像輸出圖像。將NLP中的上下文學(xué)習(xí)概念引入視覺(jué)模型，是智源對(duì)通用智能的新探索。

通用視覺(jué)模型 Painter , 將“以視覺(jué)為中心”作為建模核心思想，將圖像作為輸入和輸出，從而獲得上下文視覺(jué)信息，完成不同的視覺(jué)任務(wù)。

通用視覺(jué)模型Painter的設(shè)計(jì)思路是將大多數(shù)視覺(jué)任務(wù)看成”圖像修復(fù)問(wèn)題“，即給定輸入（“缺失”）圖像，預(yù)測(cè)輸出是“修復(fù)“過(guò)的圖像。這保持了像素之間的空間關(guān)系，確保每個(gè)輸出圖像的像素仍然代表相關(guān)任務(wù)的輸出。

Painter的建模要素可以歸納為三部分：輸入、架構(gòu)以及損失函數(shù)。

輸入為圖像。任務(wù)輸入和輸出都是圖像，會(huì)隨機(jī)遮蔽任務(wù)輸出圖像，并訓(xùn)練模型重構(gòu)缺失（被遮蔽掉）的像素。研究人員發(fā)現(xiàn)，遮蔽比例為75%效果最好。

損失函數(shù)采用簡(jiǎn)單的回歸損失。研究人員發(fā)現(xiàn)，Smooth l1 損失能幫助模型取得最好的性能。

架構(gòu)采用基本的ViT（vision Transformer）作為編碼器。具體來(lái)說(shuō)，神經(jīng)網(wǎng)絡(luò)頭部（head）由兩個(gè)線性層（每個(gè)是1×1卷積），一個(gè)3×3卷積層組成。

模型目前可完成 7 種主流視覺(jué)任務(wù)，已經(jīng)在深度估計(jì)、語(yǔ)義分割等核心視覺(jué)任務(wù)中性能“大幅超越同類”，相比同類模型具有 11%~25% 的性能提升，超過(guò)了圖靈獎(jiǎng)得主 Geoffrey Hinton 團(tuán)隊(duì)的 Pix2Seqv2，艾倫AI研究所的視覺(jué)通用模型 Unified-IO 和谷歌的 UViM。

「視界」通用分割模型：一通百通，分割一切

「視界通用分割模型」基于通用模型Painter開(kāi)發(fā)，是首個(gè)利用視覺(jué)提示（prompt）完成任意分割任務(wù)的通用視覺(jué)模型，一通百通、分割一切。

從影像中分割出各種各樣的對(duì)象，是視覺(jué)智能的關(guān)鍵里程碑。今年年初，智源視界分割模型與Meta 的 SAM 模型同時(shí)發(fā)布，點(diǎn)亮通用視覺(jué)曙光。

它將分割任務(wù)視為一種通用的視覺(jué)感知格式，即通過(guò)將它們轉(zhuǎn)化為圖像的相同格式來(lái)適應(yīng)不同種類的分割數(shù)據(jù)；同時(shí)，模型訓(xùn)練被構(gòu)造為一個(gè)在上下文中的著色問(wèn)題，即目標(biāo)是只根據(jù)上下文，來(lái)著色相應(yīng)的區(qū)域，而不是依賴特定的顏色，這使得模型更靈活和可泛化。

總的來(lái)說(shuō)「視界通用分割模型」在基礎(chǔ)模型Painter做了三點(diǎn)主要?jiǎng)?chuàng)新：

1.上下文隨機(jī)著色方法。首先隨機(jī)采樣與輸入圖像“相似”的圖像，然后從目標(biāo)圖像中隨機(jī)抽取一組顏色，并將每種顏色映射到一個(gè)隨機(jī)顏色，如此可得到兩對(duì)圖像，被定義為上下文對(duì)。從而打破了原始圖像中的顏色關(guān)聯(lián)，迫使模型“放棄”顏色信息依賴，更多依賴依賴上下文信息。

2.上下文集成方法。兩種集成方案：空間集成，將多個(gè)示例圖像拼接在一起，并將它們調(diào)整到與單個(gè)示例相同的大??；特征集成，將多個(gè)示例在批處理維度上進(jìn)行組合，并獨(dú)立計(jì)算。兩種集成方式讓模型可以使用多個(gè)示例，從而提供更準(zhǔn)確和具體的上下文信息。

3.上下文微調(diào)方法。凍結(jié)整個(gè)模型，并初始化一個(gè)可學(xué)習(xí)的圖像張量作為輸入上下文。在訓(xùn)練過(guò)程中，只有這個(gè)可學(xué)習(xí)的圖像張量會(huì)被更新，其他的訓(xùn)練過(guò)程保持不變。從而能以靈活的方式適應(yīng)特定的任務(wù)或數(shù)據(jù)集。

以上技術(shù)讓「視界通用分割模型」具備輸入任意數(shù)量的prompt，以及對(duì)特定場(chǎng)景優(yōu)化專用prompt的能力。即「視界通用分割模型」解鎖了上下文推理能力，訓(xùn)練完成后無(wú)需微調(diào)，只需提供示例即可自動(dòng)推理并完成對(duì)應(yīng)分割任務(wù)。

實(shí)驗(yàn)結(jié)果也顯示了模型強(qiáng)大的能力。例如模型只需少數(shù) prompt 示例，在 COCO 和 PASCAL 數(shù)據(jù)集上取得最優(yōu)性能；模型的零樣本場(chǎng)景遷移實(shí)驗(yàn)中，模型在少樣本語(yǔ)義分割測(cè)試集 FSS-1000 上，在無(wú)需訓(xùn)練的情況下取得最佳性能；另外，無(wú)需視頻訓(xùn)練數(shù)據(jù)，模型可直接進(jìn)行視頻物體分割，并取得和專門優(yōu)化的模型相當(dāng)?shù)男阅堋?/p>

EVA-CLIP：性能最強(qiáng)開(kāi)源CLIP模型

零樣本學(xué)習(xí)是指僅通過(guò)描述讓AI“認(rèn)出”未見(jiàn)過(guò)的物體，是評(píng)價(jià)模型泛化能力的重要指標(biāo)。多模態(tài)預(yù)訓(xùn)練模型CLIP 作為零樣本學(xué)習(xí)基礎(chǔ)模型，廣受業(yè)界認(rèn)可。

智源視覺(jué)團(tuán)隊(duì)于2023年初發(fā)布的 EVA-CLIP 5B 版本， 創(chuàng)造了零樣本學(xué)習(xí)性能新高度：超越此前最強(qiáng)的 OpenCLIP 模型，在 ImageNet1K 零樣本 top1 達(dá)到最高的 82.0% 準(zhǔn)確率。

而去年發(fā)布的 EVA-CLIP 1B 版本，今年才被 Meta 發(fā)布的 DINOv2 模型追平 ImageNet kNN準(zhǔn)確率指標(biāo)。

EVA-CLIP是一系列模型的總稱，集成了當(dāng)前新興的幾種模型訓(xùn)練技術(shù)，包括用EVA預(yù)訓(xùn)練模型進(jìn)行初始化，用LAMB優(yōu)化器加速模型，用FLIP技術(shù)節(jié)省訓(xùn)練時(shí)間等等。具體而言，模型有兩種集成思路：

1.EVA預(yù)訓(xùn)練 + LAMB優(yōu)化器讓CLIP模型表現(xiàn)更加強(qiáng)大。

視覺(jué)預(yù)訓(xùn)練模型 EVA 能將語(yǔ)義學(xué)習(xí)（CLIP）與幾何結(jié)構(gòu)學(xué)習(xí)（MIM）結(jié)合，在標(biāo)準(zhǔn)模型基礎(chǔ)上，將規(guī)模擴(kuò)大到十億參數(shù)（1-Billion）進(jìn)行訓(xùn)練。EVA 模型的輸入為有遮蓋的圖像，但遮蓋部分能重構(gòu) CLIP 模型對(duì)應(yīng)位置，從而獲得高效、簡(jiǎn)單的可泛化模型。

LAMB優(yōu)化器專門面向大批量（batch）訓(xùn)練，考慮到它自適應(yīng)的學(xué)習(xí)率和動(dòng)量參數(shù)設(shè)置的優(yōu)勢(shì)，為避免泛化差距難題，研究員認(rèn)為L(zhǎng)AMB優(yōu)化器比Adam、RMSprop更適合訓(xùn)練大規(guī)模CLIP模型。

2，F(xiàn)lashAttention機(jī)制+ FLIP加速讓CLIP模型訓(xùn)練更迅速。

FlashAttention算法可以在執(zhí)行更少的內(nèi)存/訪問(wèn)的基礎(chǔ)之上，在加速和節(jié)省內(nèi)存的基礎(chǔ)上計(jì)算精確注意力。研究員使用該機(jī)制訓(xùn)練CLIP時(shí)可以提升15%-30%的訓(xùn)練速度。

FLIP旨在通過(guò)簡(jiǎn)單的圖像掩蔽提升CLIP的訓(xùn)練速度，帶來(lái)性能提升。實(shí)踐中，研究員隨機(jī)掩蔽了50%的圖像標(biāo)簽，減少一半的時(shí)間復(fù)雜度。

實(shí)驗(yàn)結(jié)果表現(xiàn)，50億參數(shù)量的EVA-CLIP模型，零樣本分類和檢索的性能全面提升。在ImageNet1K零樣本top1 準(zhǔn)確率達(dá)到了82.0%，高于此前最佳OpenCLIP的80%；在 MS COCO 上實(shí)現(xiàn)了75.0% 的zero-shot圖像檢索（Recall@5）。

同時(shí)，EVA-CLIP兼顧了泛化能力和魯棒性。例如EVA-CLIP與27個(gè)零樣本圖像分類基準(zhǔn)的對(duì)比，效果最好的EVA-CLIP達(dá)到了平均77.5的Top-1準(zhǔn)確率，模型泛化能力業(yè)界領(lǐng)先。EVA-02-CLIP-E/14+在ImageNet系列和ObjectNet的所有6個(gè)基準(zhǔn)測(cè)試中獲得了平均80.9%的準(zhǔn)確率，這充分證實(shí)了魯棒性。

vid2vid-zero：簡(jiǎn)單prompt（提示）即可視頻編輯的零樣本視頻編輯方法

現(xiàn)有文本驅(qū)動(dòng)的 AIGC 視頻編輯方法嚴(yán)重依賴于在大量「文本-視頻」數(shù)據(jù)上調(diào)整預(yù)訓(xùn)練好的視頻擴(kuò)散模型，需要龐大的計(jì)算資源，帶來(lái)了高昂的人工數(shù)據(jù)標(biāo)注成本和計(jì)算成本。

智源研究院提出了零樣本視頻編輯方法「vid2vid-zero」，首次在無(wú)需額外視頻訓(xùn)練的情況下，利用注意力機(jī)制動(dòng)態(tài)運(yùn)算的特點(diǎn)，結(jié)合現(xiàn)有圖像擴(kuò)散模型，實(shí)現(xiàn)可指定屬性的視頻編輯。

這里用兩組視頻展示了模型的有效性。我們介紹第一組：輸入文本“a man is running”。

加入指令：動(dòng)漫風(fēng)格。輸出結(jié)果可以很好的將人物轉(zhuǎn)換成動(dòng)漫，展示了模型風(fēng)格編輯能力。

加入指令：一位老人在海灘。輸出結(jié)果說(shuō)明模型的屬性編輯和背景編輯能力已經(jīng)過(guò)關(guān)。

此外，論文中公布了更多的視頻案例，更多模型能力，請(qǐng)?jiān)L問(wèn)論文。

用戶根據(jù)「視頻質(zhì)量」、「文本與視頻的對(duì)齊程度」、「對(duì)原始視頻的保真度」在 32 段視頻上對(duì) vid2vid-zero、TAV、PnP 模型的性能進(jìn)行了比較。實(shí)驗(yàn)結(jié)果表明，vid2vid-zero 在上述三項(xiàng)指標(biāo)上都具有顯著優(yōu)勢(shì)。

審核編輯黃宇