GTC 2023：短視頻多模態(tài)超大模型的場(chǎng)景應(yīng)用
以 ChatGPT 為代表的大模型面世，帶來了 AI 大模型技術(shù)熱潮，快手科技圍繞提高模型計(jì)算效率和可部署開展技術(shù)攻關(guān)，沉淀了一套通用的混合并行訓(xùn)練、壓縮、推理整體解決方案，并聯(lián)合業(yè)務(wù)實(shí)現(xiàn)百億參數(shù) Dense 模型和千億參數(shù) MOE 大模型落地，取得顯著業(yè)務(wù)收益。
快手科技算法專家為我們介紹了關(guān)于短視頻多模態(tài)超大模型的場(chǎng)景應(yīng)用和挑戰(zhàn)。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
AI
+關(guān)注
關(guān)注
91文章
39870瀏覽量
301529 -
英偉達(dá)
+關(guān)注
關(guān)注
23文章
4090瀏覽量
99237 -
gtc
+關(guān)注
關(guān)注
0文章
74瀏覽量
4766 -
短視頻
+關(guān)注
關(guān)注
1文章
128瀏覽量
9565 -
ChatGPT
+關(guān)注
關(guān)注
31文章
1598瀏覽量
10286 -
大模型
+關(guān)注
關(guān)注
2文章
3655瀏覽量
5196
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
千億參數(shù)多模態(tài)大模型，“紫東太初”規(guī)?；瘧?yīng)用加速
電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）過去近一年時(shí)間，國內(nèi)外大模型技術(shù)越來越成熟，并逐步在不同場(chǎng)景中實(shí)現(xiàn)實(shí)現(xiàn)應(yīng)用。在國內(nèi)，作為早早布局多模態(tài)大模型的
從手淘搜索到優(yōu)酷短視頻，阿里巴巴是如何在搜索推薦領(lǐng)域下應(yīng)用深度學(xué)習(xí)的？
的信息，而在短視頻搜索場(chǎng)景下的模型中則是將個(gè)性化前移到召回的部分，同時(shí)與最終的排序模型進(jìn)行了統(tǒng)一；其次就是多
發(fā)表于 05-08 16:28
多文化場(chǎng)景下的多模態(tài)情感識(shí)別
自動(dòng)情感識(shí)別是一個(gè)非常具有挑戰(zhàn)性的課題，并且有著廣泛的應(yīng)用價(jià)值．本文探討了在多文化場(chǎng)景下的多模態(tài)情感識(shí)別問題．我們從語音聲學(xué)和面部表情等模態(tài)
發(fā)表于 12-18 14:47
?0次下載
GTC 2023：多模態(tài)短視頻模型推理優(yōu)化方案解析
多卡推理--流水線并行：將模型和數(shù)據(jù)切分，以流水線形式計(jì)算，提高GPU利用率。模型切分策略：依照各部分的計(jì)算時(shí)間和參數(shù)量設(shè)計(jì)。
VisCPM：邁向多語言多模態(tài)大模型時(shí)代
隨著 GPT-4 和 Stable Diffusion 等模型多模態(tài)能力的突飛猛進(jìn)，多模態(tài)大模型
更強(qiáng)更通用：智源「悟道3.0」Emu多模態(tài)大模型開源，在多模態(tài)序列中「補(bǔ)全一切」
熱度。Flamingo 具備強(qiáng)大的多模態(tài)上下文少樣本學(xué)習(xí)能力。 Flamingo 走的技術(shù)路線是將大語言模型與一個(gè)預(yù)訓(xùn)練視覺編碼器結(jié)合，并插入可學(xué)習(xí)的層來捕捉跨模態(tài)依賴，其采用圖文對(duì)、
探究編輯多模態(tài)大語言模型的可行性
不同于單模態(tài)模型編輯，多模態(tài)模型編輯需要考慮更多的模態(tài)信息。文章出發(fā)點(diǎn)依然從單
發(fā)表于 11-09 14:53
?1089次閱讀
大模型+多模態(tài)的3種實(shí)現(xiàn)方法
我們知道，預(yù)訓(xùn)練LLM已經(jīng)取得了諸多驚人的成就， 然而其明顯的劣勢(shì)是不支持其他模態(tài)（包括圖像、語音、視頻模態(tài)）的輸入和輸出，那么如何在預(yù)訓(xùn)練LLM的基礎(chǔ)上引入跨模態(tài)的信息，讓其變得更強(qiáng)
自動(dòng)駕駛和多模態(tài)大語言模型的發(fā)展歷程
多模態(tài)大語言模型(MLLM) 最近引起了廣泛的關(guān)注，其將 LLM 的推理能力與圖像、視頻和音頻數(shù)據(jù)相結(jié)合，通過多模態(tài)對(duì)齊使它們能夠更高效地執(zhí)
發(fā)表于 12-28 11:45
?1416次閱讀
Sora爆紅，多模態(tài)大模型是下一發(fā)展階段
“大語言模型為 AI 產(chǎn)業(yè)帶來新的生機(jī)，然而語言模型的應(yīng)用場(chǎng)景有限。要全面打開生成式 AI 的想象力，還是要依托多模態(tài)大
李未可科技正式推出WAKE-AI多模態(tài)AI大模型
李未可科技多模態(tài) AI 大模型正式發(fā)布，積極推進(jìn) AI 在終端的場(chǎng)景應(yīng)用 ? 4月18日，2024中國生成式AI大會(huì)上李未可科技正式發(fā)布為眼鏡等未來終端定向優(yōu)化等自研WAKE-AI
發(fā)表于 04-18 17:01
?1149次閱讀
利用OpenVINO部署Qwen2多模態(tài)模型
多模態(tài)大模型的核心思想是將不同媒體數(shù)據(jù)（如文本、圖像、音頻和視頻等）進(jìn)行融合，通過學(xué)習(xí)不同模態(tài)之間的關(guān)聯(lián)，實(shí)現(xiàn)更加智能化的信息處理。簡(jiǎn)單來說
商湯日日新多模態(tài)大模型權(quán)威評(píng)測(cè)第一
剛剛，商湯科技日日新SenseNova多模態(tài)大模型，在權(quán)威綜合評(píng)測(cè)權(quán)威平臺(tái)OpenCompass的多模態(tài)評(píng)測(cè)中取得榜單第一。
亞馬遜云科技上線Amazon Nova多模態(tài)嵌入模型
Embeddings多模態(tài)嵌入模型現(xiàn)已在Amazon Bedrock上線，這是一款專為Agentic RAG與語義搜索應(yīng)用打造的頂尖多模態(tài)
格靈深瞳多模態(tài)大模型Glint-ME讓圖文互搜更精準(zhǔn)
在電商、安防等場(chǎng)景下，圖文互搜應(yīng)用廣泛。隨著以CLIP為代表的多模態(tài)表征方法相繼提出，過去單一模態(tài)搜索(文搜文、圖搜圖)被突破，模型可以同時(shí)
工商網(wǎng)監(jiān)
評(píng)論