91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線(xiàn)課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

AI大模型進(jìn)化方向:百萬(wàn)級(jí)訓(xùn)推一體機(jī)降至千元級(jí)后,推理芯片性能將成重點(diǎn)

Monika觀察 ? 來(lái)源:電子發(fā)燒友網(wǎng) ? 作者:莫婷婷 ? 2024-04-15 07:29 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

電子發(fā)燒友網(wǎng)報(bào)道(文/莫婷婷)AI大模型應(yīng)用在2024年進(jìn)入新的階段。Transformer等技術(shù)正在推動(dòng)著行業(yè)從單一模態(tài)的大語(yǔ)言模型,向多模態(tài)大模型進(jìn)化。
業(yè)內(nèi)普遍認(rèn)為,未來(lái)3到5年我們會(huì)快速邁入AI3.0時(shí)代,屆時(shí)進(jìn)入以機(jī)器人為代表的具身智能時(shí)代,當(dāng)人形機(jī)器人搭載了多模態(tài)大模型,和物理世界進(jìn)行交互后,就會(huì)發(fā)展成行為大模型,成為自進(jìn)化智能體,進(jìn)一步實(shí)現(xiàn)AGI通用人工智能,由此打開(kāi)第四次工業(yè)革命的大門(mén)。
云天勵(lì)飛董事長(zhǎng)兼CEO陳寧認(rèn)為,未來(lái)3年全球80%的企業(yè)將使用大模型,未來(lái)5年機(jī)器人和數(shù)字人的數(shù)量將超越人類(lèi)的數(shù)量,未來(lái)7年,也就是到2030年行業(yè)將實(shí)現(xiàn)通用人工智能,AI的智慧程度超越全人類(lèi)大腦的組合。
他進(jìn)一步提到,我們還有3年的時(shí)間可以轉(zhuǎn)型到大模型時(shí)代,借助大模型生產(chǎn)力的變革去賦能企業(yè)。那么,企業(yè)如何擁有屬于自己的大模型,訓(xùn)推一體機(jī)成為焦點(diǎn)之一。
千元級(jí)AI模盒,大模型進(jìn)入平民化階段
目前,行業(yè)內(nèi)已經(jīng)有多家企業(yè)推出訓(xùn)推一體機(jī),但是在訓(xùn)練專(zhuān)屬大模型過(guò)程中,訓(xùn)推一體機(jī)的痛點(diǎn)也隨之暴露出來(lái)。成本是其中一個(gè)關(guān)鍵問(wèn)題,主流的訓(xùn)推一體機(jī)價(jià)格普遍在百萬(wàn)級(jí)。另外還有大參數(shù)、大算力、大數(shù)據(jù)、專(zhuān)業(yè)人才等,要知道GPT-4模型訓(xùn)練數(shù)據(jù)ToKen量已經(jīng)達(dá)到130000億。為了加速AI普惠化,訓(xùn)推一體機(jī)亟需迭代。
就在今年3月,云天勵(lì)飛推出“深目”AI模盒,面向邊緣訓(xùn)推場(chǎng)景。官方介紹,“深目”AI模盒搭載了自研的14nm Chiplet大模型邊緣訓(xùn)推芯片DeepEdge10 Max、自研多模態(tài)大模型“云天天書(shū)”,基于云天勵(lì)飛的核心能力算法芯片化,實(shí)現(xiàn)了算法場(chǎng)景覆蓋超過(guò)90%、算法精度超過(guò)90%,使用成本降低90%。其中,DeepEdge10 Max適配并可承載10億級(jí)SAM、百億級(jí)Llama2等大模型運(yùn)算。
值得一提的是,“深目”AI模盒售價(jià)在千元級(jí)。可以說(shuō),在一定程度上,云天勵(lì)飛將訓(xùn)推一體機(jī)“打下”千元級(jí),促進(jìn)了大模型平民化,解決大模型在場(chǎng)景落地最后一公里的問(wèn)題,幫助更多中小企業(yè)客戶(hù)輕松使用大模型。
智慧城市場(chǎng)景里還存在非常多的問(wèn)題沒(méi)有完全解決,例如長(zhǎng)尾場(chǎng)景,只有一個(gè)模型能夠解決跨場(chǎng)景的問(wèn)題,才有可能低成本解決智慧城市的碎片化問(wèn)題。
在現(xiàn)實(shí)問(wèn)題中,天災(zāi)人禍等極端場(chǎng)景識(shí)別訓(xùn)練的數(shù)據(jù)幾乎空白,云天勵(lì)飛副總裁羅憶以加油站場(chǎng)景的吸煙識(shí)別為例進(jìn)行介紹,平臺(tái)能夠利用大模型能力,以加油站為背景,生成在該環(huán)境抽煙行為的人物,并將數(shù)據(jù)用于算法訓(xùn)練中,填補(bǔ)訓(xùn)練數(shù)據(jù)的空白。
“我們通過(guò)可控的生成,對(duì)于指定的場(chǎng)景、部位可以做到細(xì)節(jié)可控、真實(shí)合理、高保真,而且可以批量生成數(shù)據(jù)?!蹦壳?,云天勵(lì)飛已經(jīng)生成了千萬(wàn)級(jí)的數(shù)據(jù)用于各類(lèi)算法的訓(xùn)練,而且生成的數(shù)據(jù)不僅能夠用于算法的訓(xùn)練,還能用于算法能力的測(cè)試。
“從生成訓(xùn)練到檢測(cè),這個(gè)閉環(huán)打通,也為將來(lái)它的自學(xué)習(xí)奠定基礎(chǔ)?!绷_憶再次表示。使用AI合成數(shù)據(jù)來(lái)訓(xùn)練算法,逐漸成為大模型時(shí)代下訓(xùn)練新算法和提升算法精度的方式之一。
推理芯片將是AI大模型的發(fā)展關(guān)鍵之一
未來(lái),AI大模型的發(fā)展一定是降低推理成本,陳寧在接受電子發(fā)燒友網(wǎng)等媒體采訪(fǎng)時(shí)表示,關(guān)于大模型的訓(xùn)練,業(yè)內(nèi)的重視度已經(jīng)比較高了,GPU一卡難求,中國(guó)也掀起了智算,上下游的企業(yè)都參與到智能算力的建設(shè)過(guò)程中,云天勵(lì)飛也抓住了機(jī)遇?!拔覀冋J(rèn)為2024年如果是大模型落地應(yīng)用之年,推理就會(huì)越來(lái)越重要?!?/div>
云天勵(lì)飛自成立之初就將AI芯片定位在推理的應(yīng)用,此次將其在推理領(lǐng)域的深厚技術(shù)積累賦能給了“深目”。
“深目”內(nèi)置了自研的SPACE訓(xùn)練推理引擎,羅憶表示,“我們要讓大模型在邊緣側(cè)跑起來(lái),不僅要推理,還要具備一定的訓(xùn)練能力,要提高它的精度,首先要解決速度的問(wèn)題,確保訓(xùn)練有效的前提下,只要進(jìn)行少樣本的訓(xùn)練,即可進(jìn)行場(chǎng)景自適應(yīng)。”
根據(jù)介紹,基于SPACE訓(xùn)練推理引擎的高效訓(xùn)練架構(gòu),對(duì)比全量訓(xùn)練,“深目”AI模盒訓(xùn)練速度提升100倍,內(nèi)存消耗降低20倍。通過(guò)混合精度訓(xùn)練,模型99%的計(jì)算采用int8+fP16精度訓(xùn)練,只有不到1%的計(jì)算才用得fp32精度訓(xùn)練。而且做到了存儲(chǔ)及功耗均大幅下降,推理速度同比提升50%,推理成本更是降低10倍。
通過(guò)SPACE訓(xùn)練推理引擎和神經(jīng)網(wǎng)絡(luò)處理器芯片架構(gòu)的深度耦合,“深目”在邊緣端48T至64T的有限算力情況下,一樣可以實(shí)現(xiàn)高精度的推理大模型,并且可以微調(diào)和訓(xùn)練。陳寧表示,面向邊緣場(chǎng)景,云天勵(lì)飛強(qiáng)化了多模態(tài)大模型場(chǎng)景泛化和在線(xiàn)學(xué)習(xí)、訓(xùn)練的能力,通過(guò)一系列的性能提升,解決場(chǎng)景價(jià)值閉環(huán)的問(wèn)題。
一般來(lái)說(shuō),AI芯片可以分為兩種:推理芯片、訓(xùn)練芯片?!暗撬惴ǖ挠?xùn)練不是目的,千行百業(yè)的推理應(yīng)用才是最終目的,人形機(jī)器人、無(wú)人機(jī)、無(wú)人車(chē)、可穿戴設(shè)備、AIPC、AI手機(jī)等,萬(wàn)物智聯(lián)的智能硬件都需要一顆或者幾顆神經(jīng)網(wǎng)絡(luò)處理器的推理芯片”,陳寧表示。
2024年,AI行業(yè)在推理芯片領(lǐng)域迎來(lái)了新的進(jìn)展。例如,AI芯片創(chuàng)企Groq自研的新型AI芯片——LPU(Language Processing Units)在AI行業(yè)內(nèi)“出圈”,該芯片專(zhuān)為AI推理而生。公開(kāi)資料顯示,由Groq LPU驅(qū)動(dòng)Meta Llama 2模型,推理性能可以做到頂級(jí)云計(jì)算供應(yīng)商的18倍。英偉達(dá)在GTC 2024上也發(fā)布了全新的 GPU——Blackwell芯片,推理能力是Hopper的30倍。
如今,推理芯片領(lǐng)域還沒(méi)有壟斷性的巨頭,推理芯片是一個(gè)萬(wàn)億顆芯片的大藍(lán)海市場(chǎng),而中國(guó)市場(chǎng)擁有豐富的場(chǎng)景,未來(lái)推理芯片會(huì)應(yīng)用到各個(gè)行業(yè)中,解決各個(gè)場(chǎng)景的問(wèn)題,國(guó)內(nèi)的AI芯片企業(yè)也會(huì)在推理芯片領(lǐng)域迎來(lái)新的進(jìn)展。
聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 云天勵(lì)飛
    +關(guān)注

    關(guān)注

    0

    文章

    182

    瀏覽量

    12662
  • AI大模型
    +關(guān)注

    關(guān)注

    0

    文章

    398

    瀏覽量

    1004
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    燧原科技訓(xùn)一體芯片L600適配階躍星辰基座模型Step 3.5 Flash

    ”的 Agent 底層模型選項(xiàng),從而真正融入日常開(kāi)發(fā)。燧原科技的新訓(xùn)一體芯片L600已率先
    的頭像 發(fā)表于 02-02 17:50 ?1294次閱讀
    燧原科技<b class='flag-5'>訓(xùn)</b><b class='flag-5'>推</b><b class='flag-5'>一體</b><b class='flag-5'>芯片</b>L600適配階躍星辰基座<b class='flag-5'>模型</b>Step 3.5 Flash

    潤(rùn)和軟件入選大模型一體機(jī)產(chǎn)業(yè)圖譜

    格局與創(chuàng)新力量。在本次圖譜中,江蘇潤(rùn)和軟件股份有限公司(以下簡(jiǎn)稱(chēng)“潤(rùn)和軟件”)以AI全棧技術(shù)能力與豐富的行業(yè)落地實(shí)踐入選圖譜,成為國(guó)產(chǎn)智能計(jì)算領(lǐng)域的重要力量。 潤(rùn)和軟件入選《大模型一體機(jī)產(chǎn)業(yè)圖譜》 潤(rùn)和軟件以“All
    的頭像 發(fā)表于 12-10 17:56 ?1535次閱讀
    潤(rùn)和軟件入選大<b class='flag-5'>模型</b><b class='flag-5'>一體機(jī)</b>產(chǎn)業(yè)圖譜

    首款全國(guó)產(chǎn)訓(xùn)一體AI芯片發(fā)布,兼容CUDA生態(tài)

    電子發(fā)燒友網(wǎng)綜合報(bào)道 中誠(chéng)華隆近日正式發(fā)布HL系列全國(guó)產(chǎn)AI芯片及全棧智算新品,標(biāo)志著我國(guó)智算領(lǐng)域迎來(lái)全新發(fā)展階段。作為首款全國(guó)產(chǎn)訓(xùn)一體
    的頭像 發(fā)表于 11-30 07:20 ?9541次閱讀
    首款全國(guó)產(chǎn)<b class='flag-5'>訓(xùn)</b><b class='flag-5'>推</b><b class='flag-5'>一體</b><b class='flag-5'>AI</b><b class='flag-5'>芯片</b>發(fā)布,兼容CUDA生態(tài)

    文看懂AI訓(xùn)練、推理訓(xùn)一體的底層關(guān)系

    我們正在參加全球電子成就獎(jiǎng)的評(píng)選,歡迎大家?guī)臀覀兺镀薄x謝支持很多人聽(tīng)過(guò)“大模型”,但沒(méi)搞懂兩件事。我們總說(shuō)AI有多強(qiáng),但真正決定AI能否落地的,是它的兩個(gè)階段:訓(xùn)練(Training)和
    的頭像 發(fā)表于 09-19 11:58 ?2464次閱讀
    <b class='flag-5'>一</b>文看懂<b class='flag-5'>AI</b>訓(xùn)練、<b class='flag-5'>推理</b>與<b class='flag-5'>訓(xùn)</b><b class='flag-5'>推</b><b class='flag-5'>一體</b>的底層關(guān)系

    澎峰科技完成OpenAI最新開(kāi)源推理模型適配

    澎峰科技現(xiàn)已完成 OpenAI 最新開(kāi)源推理模型 gpt-oss-20b 在 DeepFusion 大模型一體機(jī)上的原生適配與優(yōu)化,用戶(hù)可鍵啟用這顆“小而強(qiáng)悍”的新引擎,在本地享受企
    的頭像 發(fā)表于 08-14 11:34 ?1417次閱讀

    SuperX全新發(fā)布多種規(guī)格的多模型一體機(jī):全新定義企業(yè)級(jí)智能生產(chǎn)力

    / -- Super X AI Technology Limited(納斯達(dá)克代碼:SUPX) (以下簡(jiǎn)稱(chēng)"公司"或"SuperX")今日宣布正式發(fā)布多種規(guī)格的多模型一體機(jī)。作為SuperX首個(gè)支持企業(yè)
    的頭像 發(fā)表于 08-08 08:52 ?616次閱讀
    SuperX全新發(fā)布多種規(guī)格的多<b class='flag-5'>模型</b><b class='flag-5'>一體機(jī)</b>:全新定義企業(yè)<b class='flag-5'>級(jí)</b>智能生產(chǎn)力

    基于飛騰騰云S5000C打造的多款AI一體機(jī)亮相WAIC

    ,成為本屆 WAIC 大亮點(diǎn),引發(fā)廣泛關(guān)注。 飛騰攜手中國(guó)長(zhǎng)城研發(fā)推出的? 擎天?GF7280 V5? 是款? 4U 8卡 AI 訓(xùn)
    的頭像 發(fā)表于 07-29 17:33 ?2710次閱讀
    基于飛騰騰云S5000C打造的多款<b class='flag-5'>AI</b><b class='flag-5'>一體機(jī)</b>亮相WAIC

    聚徽上架式工控一體機(jī)的工業(yè)級(jí)存儲(chǔ)技術(shù):數(shù)據(jù)安全與高效讀寫(xiě)保障

    工控一體機(jī)憑借其卓越的工業(yè)級(jí)存儲(chǔ)技術(shù),在數(shù)據(jù)安全與高效讀寫(xiě)方面表現(xiàn)出色,為工業(yè)生產(chǎn)提供了堅(jiān)實(shí)的數(shù)據(jù)保障。 二、聚徽上架式工控一體機(jī)工業(yè)級(jí)存儲(chǔ)技術(shù)的數(shù)據(jù)安全保障 (
    的頭像 發(fā)表于 06-24 16:18 ?553次閱讀

    工業(yè)級(jí)電腦一體機(jī)在非標(biāo)自動(dòng)化設(shè)備中的應(yīng)用

    工業(yè)級(jí)電腦一體機(jī)在非標(biāo)自動(dòng)化設(shè)備中的應(yīng)用
    的頭像 發(fā)表于 06-21 17:47 ?1050次閱讀
    工業(yè)<b class='flag-5'>級(jí)</b>電腦<b class='flag-5'>一體機(jī)</b>在非標(biāo)自動(dòng)化設(shè)備中的應(yīng)用

    開(kāi)普云「開(kāi)悟智核」:極致性?xún)r(jià)比的智能一體機(jī),破局大模型應(yīng)用難題

    當(dāng)下,AI一體機(jī)憑借開(kāi)箱即用、數(shù)據(jù)可控等優(yōu)勢(shì),成為行業(yè)大模型落地的重要載體之。然而實(shí)際應(yīng)用時(shí),用戶(hù)卻面臨諸多問(wèn)題:算力成本與性能難以平衡;
    的頭像 發(fā)表于 06-09 10:34 ?1113次閱讀
    開(kāi)普云「開(kāi)悟智核」:極致性?xún)r(jià)比的智能<b class='flag-5'>體</b><b class='flag-5'>一體機(jī)</b>,破局大<b class='flag-5'>模型</b>應(yīng)用難題

    DeepSeek賦能,大模型一體機(jī)破解企業(yè)AI落地難題

    ? 電子發(fā)燒友網(wǎng)報(bào)道(文/李彎彎)大模型一體機(jī)是近年來(lái)人工智能領(lǐng)域的重要?jiǎng)?chuàng)新,它將高性能硬件、預(yù)訓(xùn)練大模型及配套軟件深度集成,形成“開(kāi)箱即用”的AI
    的頭像 發(fā)表于 06-09 07:13 ?6683次閱讀
    DeepSeek賦能,大<b class='flag-5'>模型</b><b class='flag-5'>一體機(jī)</b>破解企業(yè)<b class='flag-5'>AI</b>落地難題

    首創(chuàng)開(kāi)源架構(gòu),天璣AI開(kāi)發(fā)套件讓端側(cè)AI模型接入得心應(yīng)手

    科正將AI能力體系化并賦能終端生態(tài)。 大會(huì)上,聯(lián)發(fā)科定義了“智能化用戶(hù)體驗(yàn)”的五大特征:主動(dòng)及時(shí)、知你懂你、互動(dòng)協(xié)作、學(xué)習(xí)進(jìn)化和專(zhuān)屬隱私信息守護(hù)。這五大特征需要跨越從芯片、
    發(fā)表于 04-13 19:52

    一體機(jī)主板選購(gòu)指南|從AI算力到入門(mén)級(jí)精準(zhǔn)匹配需求

    一體機(jī)種將電腦主機(jī)、顯示器等設(shè)備集成在起的電腦設(shè)備,具有簡(jiǎn)潔美觀、節(jié)省空間的特點(diǎn)。杰和科技一體機(jī)主板基于x86架構(gòu)而設(shè)計(jì),具有良好的兼容性和
    的頭像 發(fā)表于 04-03 11:31 ?1127次閱讀
    <b class='flag-5'>一體機(jī)</b>主板選購(gòu)指南|從<b class='flag-5'>AI</b>算力到入門(mén)<b class='flag-5'>級(jí)</b>精準(zhǔn)匹配需求

    中軟國(guó)際推出昇騰金融AI解決方案和一體機(jī)v1.0

    解決金融客戶(hù)面臨的諸多業(yè)務(wù)難題。 中軟國(guó)際昇騰金融AI一體機(jī)硬件配置強(qiáng)大,整體性能卓越穩(wěn)定。軟件層面,該方案集成了豐富的功能組件。大模型訓(xùn)
    的頭像 發(fā)表于 03-28 17:05 ?1321次閱讀

    夜爆火的DeepSeek一體機(jī),如何改寫(xiě)AI游戲規(guī)則?

    DeepSeek一體機(jī),都不好意思說(shuō)自己懂AI?!?所謂一體機(jī),通常匯集了中央處理器(CPU)、圖形處理器(GPU)、存儲(chǔ)器、操作系統(tǒng)、AI 軟件平臺(tái)以及各類(lèi)
    的頭像 發(fā)表于 03-11 15:52 ?1221次閱讀
    <b class='flag-5'>一</b>夜爆火的DeepSeek<b class='flag-5'>一體機(jī)</b>,如何改寫(xiě)<b class='flag-5'>AI</b>游戲規(guī)則?