5月28日，北京智源人工智能研究院在2023年中關(guān)村論壇并行論壇之一的人工智能大規(guī)模模型發(fā)展論壇上發(fā)布了通用分割模型seggpt （segment everything in contex）。這是一種利用prompt（視覺(jué)提示）完成任意分割工作的通用視覺(jué)模型。

seggpt是一個(gè)基于支持通用視覺(jué)模型painter的模型，它優(yōu)化了所有物體的分割。seggpt具有上下文推理功能，即使沒(méi)有細(xì)微的調(diào)整，只要提供示例，就可以自動(dòng)進(jìn)行推理和相應(yīng)的分割工作。示例包括示例、類(lèi)、部件、輪廓、文本、面部、醫(yī)療圖像等。它靈活的推論能力足以提供許多視覺(jué)線索。自動(dòng)視頻分割和追蹤功能：seggpt以第一個(gè)框架的圖片和對(duì)象屏蔽為上下文單位，可以自動(dòng)分割下一個(gè)視頻框架，并使用屏蔽顏色作為對(duì)象id自動(dòng)追蹤。

seggpt與推出ai圖像分割基礎(chǔ)模型sam的meta不同，sam使用的是通過(guò)一個(gè)點(diǎn)或邊框相互提示預(yù)測(cè)圖像，識(shí)別分割畫(huà)面上的特定物體的“one touch touch”方式。seggpt通過(guò)提示一個(gè)或多個(gè)示例圖像和意圖面具來(lái)掌握用戶(hù)的意圖，并根據(jù)意圖進(jìn)行分割等操作。只要用戶(hù)在畫(huà)面上表示識(shí)別一種物體，無(wú)論是現(xiàn)在的畫(huà)面還是其他畫(huà)面，都可以定量地識(shí)別和分割同類(lèi)物體。

“一觸即通”或“一通百通”意味著視覺(jué)模型理解了形象結(jié)構(gòu)。sam的精細(xì)腳注功能與seggpt的通用分割腳注功能相結(jié)合，可以在像素排列中分析任何圖像，以像生物視覺(jué)一樣理解任何場(chǎng)景。