日前，商湯科技日日新大模型SenseNova即將正式上線聲網(wǎng)云市場(chǎng)，開發(fā)者和企業(yè)用戶可通過聲網(wǎng)的實(shí)時(shí)互動(dòng)云服務(wù)進(jìn)行調(diào)用，將商湯領(lǐng)先的模型能力集成到各類應(yīng)用場(chǎng)景中，快速構(gòu)建基于日日新大模型的實(shí)時(shí)音視頻對(duì)話產(chǎn)品和應(yīng)用，實(shí)現(xiàn)穩(wěn)定、流暢、無延遲的音視頻對(duì)話體驗(yàn)。

打造穩(wěn)定、實(shí)時(shí)、極低延遲的實(shí)時(shí)音視頻對(duì)話體驗(yàn)

2024年7月，商湯科技推出了國(guó)內(nèi)首個(gè)具備實(shí)時(shí)音視頻交互大模型。今年，全新升級(jí)的日日新大模型SenseNova，擁有更加強(qiáng)大的實(shí)時(shí)交互、視覺識(shí)別、記憶思考、持續(xù)對(duì)話、復(fù)雜推理，以及情緒感知和表達(dá)等能力，還可隨時(shí)打斷，讓人機(jī)對(duì)話擺脫一問一答的刻板模式，互動(dòng)體驗(yàn)更自然、更流暢、更絲滑。

在今年1月實(shí)時(shí)音視頻中文測(cè)評(píng)基準(zhǔn) SuperCLUE-Live 中，商湯日日新大模型以總分 68.59 位列國(guó)內(nèi)首位，展現(xiàn)了強(qiáng)大的多模態(tài)信息感知和理解及記憶能力。

在實(shí)時(shí)音視頻交互場(chǎng)景中，對(duì)話響應(yīng)速度、語(yǔ)音清晰度等是衡量模型能力和產(chǎn)品體驗(yàn)的重要指標(biāo)。在級(jí)聯(lián)方案中，聲網(wǎng)已經(jīng)將端到端延時(shí)降低到650ms。

商湯基于日日新大模型SenseNova的多模態(tài)推理與交互能力，結(jié)合聲網(wǎng)領(lǐng)先的產(chǎn)品優(yōu)勢(shì)，更實(shí)現(xiàn)了500ms的端到端超低傳輸延時(shí)，與人類日常對(duì)話交互極為接近。同時(shí)，還可支持全雙工通信，在弱網(wǎng)環(huán)境下也可有效保障傳輸質(zhì)量，并可智能消除對(duì)話中的噪聲、回聲、背景人聲，做到精準(zhǔn)的人聲識(shí)別，讓人與AI的交互自然流暢。

合作賦能用戶，解鎖更多應(yīng)用新場(chǎng)景

商湯日日新大模型SenseNova與聲網(wǎng)實(shí)時(shí)互動(dòng)云服務(wù)的結(jié)合，有望打開更多人機(jī)交互場(chǎng)景，滿足兒童陪伴、同聲傳譯、視頻面試、電話客服、口語(yǔ)陪練、心理療愈、虛擬主播、個(gè)人助理等多元化場(chǎng)景的用戶需求，拓展大模型的落地與應(yīng)用寬度。

此外，商湯科技與聲網(wǎng)還將攜手通過開放社區(qū) RTE開發(fā)者社區(qū)，向有潛力的個(gè)人開發(fā)者及中小企業(yè)開放商湯日日新的深度體驗(yàn)，旨在持續(xù)擴(kuò)大生態(tài)伙伴體系，并為開發(fā)者提供豐富的資源和平臺(tái)支持。目前，雙方已與40家中小企業(yè)達(dá)成深度體驗(yàn)合作，共同探索大模型在實(shí)時(shí)音視頻交互領(lǐng)域的更多應(yīng)用潛能。

自2018年以來，商湯科技與聲網(wǎng)一直保持著緊密合作，在數(shù)字人、美顏特效、人力資源大模型等場(chǎng)景為不同行業(yè)客戶提供多種、差異化的產(chǎn)品和服務(wù)。未來，雙方還將繼續(xù)合作拓展日日新大模型的應(yīng)用場(chǎng)景，共同將中國(guó)原創(chuàng)AI技術(shù)推向全球。