12月15日，商湯科技基于在生成式AI與多模態(tài)交互領(lǐng)域的技術(shù)積累，正式發(fā)布Seko2.0——行業(yè)首個(gè)多劇集生成智能體。該智能體在多劇集視頻生成的一致性方面展現(xiàn)出顯著優(yōu)勢(shì)，其背后依托的是商湯自研的日日新Seko系列模型，包括SekoIDX、SekoTalk等圖像與視頻生成多模態(tài)模型所構(gòu)建的技術(shù)底座。

商湯日日新Seko系列模型已完成對(duì)國(guó)產(chǎn)AI芯片寒武紀(jì)的適配，國(guó)產(chǎn)算力對(duì)AIGC核心場(chǎng)景的支持實(shí)現(xiàn)了從語(yǔ)言到多模態(tài)的關(guān)鍵跨越。這不僅是技術(shù)協(xié)同的深化，更是國(guó)產(chǎn)AI生態(tài)的重要完善，為視覺內(nèi)容的創(chuàng)新開發(fā)提供了更堅(jiān)實(shí)、自主的底層支撐。

其中，商湯LightX2V框架設(shè)計(jì)了強(qiáng)兼容的國(guó)產(chǎn)化適配插件模式，可快速完成各類國(guó)產(chǎn)硬件的適配，目前已支持寒武紀(jì)等多款國(guó)產(chǎn)芯片；為了更好釋放國(guó)產(chǎn)算力優(yōu)勢(shì)，Seko系列模型與LightX2V框架在設(shè)計(jì)之初即引入了低比特量化、壓縮通信、稀疏注意力等硬件友好創(chuàng)新機(jī)制，將推理性能提升3倍以上。

今年10月，商湯科技與寒武紀(jì)已達(dá)成戰(zhàn)略合作，重點(diǎn)推進(jìn)軟硬件的聯(lián)合優(yōu)化，并共同構(gòu)建開放共贏的產(chǎn)業(yè)生態(tài)。此次與寒武紀(jì)在多模態(tài)生成模型的適配，是國(guó)產(chǎn)大模型與國(guó)產(chǎn)算力底座協(xié)同創(chuàng)新的重要實(shí)踐，讓更多開發(fā)者和企業(yè)能夠以更低成本享受到頂尖的多模態(tài)AI能力。

適配完成后，商湯科技與寒武紀(jì)還將在多個(gè)方向共同進(jìn)一步展開深度優(yōu)化：

?持續(xù)優(yōu)化模型核心能力：將在長(zhǎng)序列處理、低比特計(jì)算等方向持續(xù)優(yōu)化，在確保模型效果的基礎(chǔ)上進(jìn)一步提升多模態(tài)生成的整體效率與響應(yīng)速度。

?提升算力利用率與成本效率：通過算子融合、算子自動(dòng)調(diào)優(yōu)等，推進(jìn)更高效的計(jì)算與存儲(chǔ)方式，降低模型運(yùn)行所需的資源占用，讓更多企業(yè)能夠以更低成本獲得高性能的多模態(tài)能力。

?強(qiáng)化大規(guī)模并行處理能力：基于計(jì)算與通信并行等優(yōu)化技術(shù)，優(yōu)化跨硬件的調(diào)度與通信策略，提升復(fù)雜任務(wù)在大規(guī)模集群中的運(yùn)行效率與穩(wěn)定性。

?構(gòu)建更靈活的資源管理機(jī)制：探索分層調(diào)度與異構(gòu)資源協(xié)同技術(shù)，在保證性能的同時(shí)有效降低顯存壓力，使模型能夠在更廣泛的環(huán)境中穩(wěn)定運(yùn)行。

通過雙方的深入?yún)f(xié)同優(yōu)化，將全面提升模型效率、顯著增強(qiáng)算力與資源利用率并優(yōu)化跨硬件環(huán)境的協(xié)同適配，進(jìn)一步降低多模態(tài)AI的使用門檻并提升整體體驗(yàn)。

商湯科技與寒武紀(jì)將共同推動(dòng)國(guó)產(chǎn)AI應(yīng)用生態(tài)的繁榮與發(fā)展，打磨更高效、更易用的階梯式產(chǎn)品體系，并面向廣大開發(fā)者構(gòu)建更開放、友好的工具與生態(tài)，激發(fā)前沿應(yīng)用的創(chuàng)新活力。