5月18日，北京智源研究院發(fā)布了關(guān)于國(guó)內(nèi)外各類(lèi)開(kāi)/閉源語(yǔ)言及多模態(tài)大模型性能評(píng)估的最新研究成果。此項(xiàng)研究覆蓋了140余個(gè)語(yǔ)言模型的綜合實(shí)力對(duì)比，包括其對(duì)中文文本理解和多模態(tài)圖文問(wèn)答等任務(wù)的處理能力。

研究發(fā)現(xiàn)，盡管?chē)?guó)內(nèi)頭部語(yǔ)言模型在中文環(huán)境中的整體表現(xiàn)已接近國(guó)際一流水平，但仍存在能力發(fā)展不平衡的問(wèn)題。

在多模態(tài)理解圖文問(wèn)答任務(wù)中，開(kāi)源和閉源模型表現(xiàn)相當(dāng)，而國(guó)產(chǎn)模型則表現(xiàn)出色。此外，在中文語(yǔ)境下的文生圖能力方面，國(guó)產(chǎn)多模態(tài)模型與國(guó)際一流水平的差距相對(duì)較小。

具體到語(yǔ)言模型的排名，在中文語(yǔ)境下，字節(jié)跳動(dòng)的豆包Skylark2以及OpenAI的GPT-4分別名列第一和第二。值得注意的是，國(guó)產(chǎn)大模型在理解中國(guó)用戶需求方面具有明顯優(yōu)勢(shì)。

在語(yǔ)言模型客觀評(píng)價(jià)中，OpenAI的GPT-4和百川智能的Baichuan3分列第一和第二。同時(shí)，百度的文心一言4.0、智譜華章的GLM-4以及月之暗面的Kimi也躋身語(yǔ)言模型主客觀評(píng)價(jià)的前五名。

在多模態(tài)理解模型的客觀評(píng)價(jià)中，圖文問(wèn)答方面，阿里巴巴的通義Qwen-vl-max和上海人工智能實(shí)驗(yàn)室的InternVL-Chat-V1.5在某些指標(biāo)上超越了OpenAI的GPT-4，LLaVA-Next-Yi-34B和上海人工智能實(shí)驗(yàn)室的Intern-XComposer2-VL-7B緊隨其后。