91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

GPU不是AI的唯一解:英偉達(dá)用Groq LPU證明,推理賽道需要“另一條腿”

Monika觀察 ? 來(lái)源:電子發(fā)燒友網(wǎng) ? 作者:莫婷婷 ? 2026-03-24 11:27 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群



電子發(fā)燒友網(wǎng)報(bào)道(文/莫婷婷)過(guò)去十年,人工智能的爆發(fā)式增長(zhǎng)與GPU需求緊密相連。憑借其卓越的并行計(jì)算能力,GPU成為AI算力的絕對(duì)代名詞。

然而,英偉達(dá)給出顛覆性的新解。在最新的GTC大會(huì)上,英偉達(dá)CEO黃仁勛正式發(fā)布了Vera Rubin AI超級(jí)計(jì)算機(jī)平臺(tái)。這一平臺(tái)的問(wèn)世,不僅標(biāo)志著英偉達(dá)戰(zhàn)略從單一的GPU主導(dǎo)轉(zhuǎn)向涵蓋CPU、GPU與LPU等技術(shù)的全?!癆I工廠”方案商轉(zhuǎn)變,也意味著:未來(lái)的AI算力版圖,不再由GPU“獨(dú)舞”。

全棧進(jìn)化:英偉達(dá)從“芯片商”變身“AI工廠”
據(jù)多家權(quán)威市場(chǎng)研究機(jī)構(gòu)報(bào)告,全球AI芯片市場(chǎng)規(guī)模正以驚人的復(fù)合年增長(zhǎng)率擴(kuò)張,根據(jù)市場(chǎng)研究機(jī)構(gòu)Statista的數(shù)據(jù),2023年全球GPU市場(chǎng)規(guī)模僅為436億美元,但隨著大模型參數(shù)量的指數(shù)級(jí)躍升,數(shù)據(jù)中心對(duì)高性能GPU的需求呈井噴之勢(shì),預(yù)計(jì)2024-2029年復(fù)合增速達(dá)33.2%,到2029年將達(dá)到2742億美元。

英國(guó)皇家工程院院士郭毅可曾在2025世界人工智能大會(huì)上指出,全球AI算力需求正以“每?jī)赡昙ぴ?50倍”的驚人速率狂飆。在此浪潮下,中國(guó)云端AI芯片市場(chǎng)預(yù)計(jì)將于2027年沖破480億美元大關(guān),而國(guó)產(chǎn)GPU占據(jù)超過(guò)八成的市場(chǎng)份額。

面對(duì)AI產(chǎn)業(yè)對(duì)GPU這種對(duì)單一架構(gòu)的過(guò)度依賴,不少業(yè)內(nèi)人士也產(chǎn)生擔(dān)憂,面對(duì)日益增長(zhǎng)的能效瓶頸、內(nèi)存墻限制以及多樣化的應(yīng)用場(chǎng)景,除了GPU,我們是否還有更優(yōu)的解法?

GTC 2026上,英偉達(dá)發(fā)布了Vera Rubin AI超級(jí)計(jì)算機(jī)平臺(tái),包括7款芯片、5種機(jī)架級(jí)計(jì)算機(jī)、1臺(tái)AI超算等在內(nèi)。

黃仁勛在發(fā)布會(huì)后的采訪中多次強(qiáng)調(diào):“英偉達(dá)已經(jīng)不再是一家傳統(tǒng)的芯片公司,而是一家全棧公司?!彼赋觯骸按蠹乙詾橛ミ_(dá)只是一家芯片廠商,卻忽視了我們業(yè)務(wù)版圖的多元深度,我們是全棧公司,能夠幫助全球任何地方的客戶構(gòu)建AI工廠。除非你能交付完整的AI工廠,否則這些客戶不會(huì)購(gòu)買芯片,在客戶缺乏軟件能力的情況下,你必須是一家全棧公司才能服務(wù)客戶。”

正是基于這種“全?!彼季S,英偉達(dá)推出了令業(yè)內(nèi)人士期待已久的非GPU重磅產(chǎn)品——推理加速機(jī)架“英偉達(dá)Groq 3 LPX”。

這款機(jī)架配備了256個(gè)Groq 3 LPU芯片,擁有高達(dá)128GB的片上SRAM、315PFLOPS算力,以及640TB/s擴(kuò)展帶寬,并且可擴(kuò)展至超過(guò)1000張LPU,致力于解決大語(yǔ)言模型推理中的延遲痛點(diǎn)。

作為對(duì)比, 黃仁勛拿出Rubin GPU和Groq 3 LPU現(xiàn)場(chǎng)比較關(guān)鍵參數(shù),Rubin GPU被稱為“巨量存儲(chǔ)與吞吐”的化身,擁有3360億顆晶體管、288GB HBM4顯存及22TB/s帶寬,在NVFP4精度下能達(dá)到50 PFLOPs的算力;Groq 3 LPU則走“極致片上速度”的極簡(jiǎn)路線,僅配備980億顆晶體管與500MB SRAM(容量?jī)H為Rubin的1/500),算力為1.2 PFLOPS,卻憑借高達(dá)150TB/s的SRAM帶寬實(shí)現(xiàn)了逆襲——其數(shù)據(jù)傳輸速度竟是Rubin的7倍之多。

wKgZPGnCBMqAVjHsAASK-nJmSTg993.png?

黃仁勛對(duì)這一新平臺(tái)寄予厚望,他樂(lè)觀地預(yù)判:“我的判斷是:我們正處于英偉達(dá)推理拐點(diǎn)的第一年,這是十年來(lái)推理領(lǐng)域真正意義上的第一個(gè)拐點(diǎn)年。而Vera Rubin是拐點(diǎn)的第二年,新增需求的比例同樣會(huì)達(dá)到99%。這正如當(dāng)年的iPhone 3,其銷量的99.9%皆源于前所未有的增量市場(chǎng)。”

在他看來(lái),新的Vera Rubin平臺(tái)在僅10年內(nèi)將計(jì)算能力提高4000萬(wàn)倍,從而加速讓英偉達(dá)成為全球最大的“AI工廠”。


Groq補(bǔ)齊推理最后一塊拼圖
引入Groq技術(shù)并非為了取代GPU,而是為了完成最后一塊拼圖。黃仁勛清晰地闡述了其中的戰(zhàn)略意圖:“洞察到一個(gè)新興細(xì)分市場(chǎng)的崛起,該市場(chǎng)對(duì)模型提出了極為嚴(yán)苛三個(gè)條件:一是模型體量大,二是支持超長(zhǎng)上下文,三是保持極低的推理延遲。Groq,僅能兌現(xiàn)其中一項(xiàng)承諾,無(wú)法三者兼得。只有將Vera Rubin與Groq深度融合,才能同時(shí)實(shí)現(xiàn)這三項(xiàng)承諾?!边@也是英偉達(dá)收購(gòu)Groq的初衷之一。

新的Vera Rubin平臺(tái)通過(guò)CPU+GPU+LPU的深度協(xié)同,實(shí)現(xiàn)了算力的質(zhì)的飛躍。這一架構(gòu)不僅為長(zhǎng)期由GPU“壟斷”的復(fù)雜計(jì)算難題提供了替代方案,更憑借強(qiáng)大的推理調(diào)度能力,重構(gòu)了算力分工邊界——促使CPU與GPU各司其職,實(shí)現(xiàn)基于負(fù)載特性的精準(zhǔn)協(xié)同與效能最大化。

LPU的運(yùn)作方式不同于GPU不同,GPU使用的是SIMD,LPU使用的是序指令集計(jì)算機(jī)架構(gòu),消除了對(duì) HBM 高頻重載的依賴,不僅有效規(guī)避了 HBM 供應(yīng)鏈瓶頸帶來(lái)的成本溢價(jià),更大幅降低了內(nèi)存墻限制。

在能效方面,LPU 通過(guò)減少多線程管理的開(kāi)銷和避免核心資源的未充分利用,實(shí)現(xiàn)了極致的每瓦特算力密度,特別是在推理負(fù)載下。公開(kāi)資料顯示,在Llama 2-70B推理任務(wù)中,LPU系統(tǒng)實(shí)現(xiàn)每秒近300 token的吞吐量,相較英偉達(dá)H100實(shí)現(xiàn)10倍性能提升,單位推理成本降低達(dá)80%。
?
圖源:Groq官網(wǎng)

融入英偉達(dá)的Vera Rubin平臺(tái)后,使得該解決方案更適用于電力稀缺的兆瓦級(jí)工廠。Vera Rubin中的GPU負(fù)責(zé)處理高并發(fā)的復(fù)雜矩陣運(yùn)算,而Groq 3 LPU則以其獨(dú)特的確定性低延遲架構(gòu),專注于高速的Token生成,特別是在長(zhǎng)上下文場(chǎng)景中表現(xiàn)卓越。黃仁勛再次強(qiáng)調(diào):我們構(gòu)建的不是一塊GPU,而是一座AI工廠。

黃仁勛形象地舉例:過(guò)去十年,超大規(guī)模數(shù)據(jù)中心受“按核計(jì)費(fèi)”的云計(jì)算模式驅(qū)動(dòng),CPU設(shè)計(jì)追求核心數(shù)量最大化;然而,AI時(shí)代的邏輯已發(fā)生變化:核心指標(biāo)從“資源存量”轉(zhuǎn)向了“任務(wù)吞吐量”。

“面對(duì)價(jià)值500億美元的GPU集群,你絕不允許它們因10億美元的CPU處理瓶頸而閑置;此時(shí)的核心訴求,是迫使CPU以極致速度完成調(diào)度,確保GPU集群持續(xù)運(yùn)轉(zhuǎn)”,他指出。

小結(jié):
可以期待的是,未來(lái)AI算力部署將迎來(lái)根本性變革,GPU不再是唯一的解決方案。黃仁勛描繪出他心中的“算力工廠”藍(lán)圖:在一座算力工廠的配置中,75%仍將是純Vera Rubin部署;其余25%則采用“Vera-Rubin + Groq”的混合模式。他反復(fù)強(qiáng)調(diào),Vera-Rubin 將是無(wú)可撼動(dòng)的核心基石,其性能之強(qiáng)悍甚至讓英偉達(dá)自身都難以構(gòu)想超越之道。

“我們自己都不知道如何超越Vera Rubin,否則我們?cè)缇驮O(shè)計(jì)出超越它的產(chǎn)品了?!彼J(rèn)為:雖然當(dāng)前的推理王座由 Grace Blackwell 占據(jù),但在不久的將來(lái),Grace Blackwell 將功成身退,而 Vera Rubin 及其迭代版本將加冕為新的“推理算力之王”,登頂性能巔峰。



聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • AI
    AI
    +關(guān)注

    關(guān)注

    91

    文章

    40280

    瀏覽量

    301882
  • 英偉達(dá)
    +關(guān)注

    關(guān)注

    23

    文章

    4108

    瀏覽量

    99389
  • Groq
    +關(guān)注

    關(guān)注

    0

    文章

    10

    瀏覽量

    212
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    Vera rubin平臺(tái)即將交付,英偉達(dá)800VDC電源方案進(jìn)展如何?

    、BlueField-4 DPU、Spectrum-6 Ethernet Switch,以及集成Groq 3 LPU)進(jìn)行整合,形成個(gè)擁有40個(gè)機(jī)架結(jié)構(gòu)、1200萬(wàn)億個(gè)晶體管、接近20000個(gè)
    的頭像 發(fā)表于 03-23 00:44 ?6057次閱讀
    Vera rubin平臺(tái)即將交付,<b class='flag-5'>英偉</b><b class='flag-5'>達(dá)</b>800VDC電源方案進(jìn)展如何?

    豪言自家芯片比英偉達(dá)GPU強(qiáng)10倍,這家AI公司再獲融資

    電子發(fā)燒友網(wǎng)報(bào)道(文 / 吳子鵬)在 AI 算力需求呈指數(shù)級(jí)增長(zhǎng)的今天,英偉達(dá)憑借其 GPU 和 CUDA 生態(tài)構(gòu)筑的 “護(hù)城河” 似乎堅(jiān)不可摧。然而,
    的頭像 發(fā)表于 03-01 06:41 ?1.1w次閱讀

    高通挑戰(zhàn)英偉達(dá),發(fā)布768GB內(nèi)存AI推理芯片,“出征”AI數(shù)據(jù)中心

    億美元的數(shù)據(jù)中心市場(chǎng)中搶占席之地。 就在10月28日,高通面向數(shù)據(jù)中心連發(fā)兩款AI芯片,AI200 和 AI250 芯片,打造下
    的頭像 發(fā)表于 10-29 10:36 ?3726次閱讀
    高通挑戰(zhàn)<b class='flag-5'>英偉</b><b class='flag-5'>達(dá)</b>,發(fā)布768GB內(nèi)存<b class='flag-5'>AI</b><b class='flag-5'>推理</b>芯片,“出征”<b class='flag-5'>AI</b>數(shù)據(jù)中心

    高通挑戰(zhàn)英偉達(dá)!發(fā)布768GB內(nèi)存AI推理芯片,“出征”AI數(shù)據(jù)中心

    億美元的數(shù)據(jù)中心市場(chǎng)中搶占席之地。 ? 就在10月28日,高通面向數(shù)據(jù)中心連發(fā)兩款AI芯片,AI200 和 AI250 芯片,打造下
    的頭像 發(fā)表于 10-29 09:14 ?6560次閱讀
    高通挑戰(zhàn)<b class='flag-5'>英偉</b><b class='flag-5'>達(dá)</b>!發(fā)布768GB內(nèi)存<b class='flag-5'>AI</b><b class='flag-5'>推理</b>芯片,“出征”<b class='flag-5'>AI</b>數(shù)據(jù)中心

    英偉達(dá)失守中國(guó)區(qū)!推理需求爆發(fā),國(guó)產(chǎn)GPU搶灘上市

    億元。而在此前,另一家國(guó)產(chǎn)GPU公司摩爾線程已于9月26日率先過(guò)會(huì)。這兩大GPU企業(yè)接連沖刺IPO,背后是中國(guó)AI算力需求爆發(fā)式增長(zhǎng)與全球供應(yīng)鏈格局重塑的多重驅(qū)動(dòng)。 ?
    的頭像 發(fā)表于 10-22 09:09 ?8341次閱讀
    <b class='flag-5'>英偉</b><b class='flag-5'>達(dá)</b>失守中國(guó)區(qū)!<b class='flag-5'>推理</b>需求爆發(fā),國(guó)產(chǎn)<b class='flag-5'>GPU</b>搶灘上市

    堪稱史上最強(qiáng)推理芯片!英偉達(dá)發(fā)布 Rubin CPX,實(shí)現(xiàn)50倍ROI

    電子發(fā)燒友網(wǎng)報(bào)道(文/梁浩斌)近日,英偉達(dá)AI infra峰會(huì)上發(fā)布了專為大規(guī)模上下文推理設(shè)計(jì)的全新GPU系列Rubin CPX,性能堪稱
    的頭像 發(fā)表于 09-11 08:25 ?1.1w次閱讀
    堪稱史上最強(qiáng)<b class='flag-5'>推理</b>芯片!<b class='flag-5'>英偉</b><b class='flag-5'>達(dá)</b>發(fā)布 Rubin CPX,實(shí)現(xiàn)50倍ROI

    AI推理需求井噴!英偉達(dá)Q1營(yíng)收大漲,H20禁售難擋增長(zhǎng)步伐

    電子發(fā)燒友原創(chuàng) 章鷹 在中美科技企業(yè)爭(zhēng)奪人工智能高地的競(jìng)爭(zhēng)中,處于第方陣的美國(guó)AI芯片公司英偉達(dá)公司最新交出了讓市場(chǎng)滿意的答卷。 5月28日,英偉
    的頭像 發(fā)表于 05-31 01:13 ?8279次閱讀
    <b class='flag-5'>AI</b><b class='flag-5'>推理</b>需求井噴!<b class='flag-5'>英偉</b><b class='flag-5'>達(dá)</b>Q1營(yíng)收大漲,H20禁售難擋增長(zhǎng)步伐

    英偉達(dá)電話會(huì)看Agentic AI推理與FPGA價(jià)值

    2026年2月,英偉達(dá)發(fā)布2026財(cái)年Q4財(cái)報(bào):營(yíng)收681億美元,同比增長(zhǎng)73%,數(shù)據(jù)中心業(yè)務(wù)增長(zhǎng)75%——預(yù)期中的超預(yù)期。更值得關(guān)注的,是電話會(huì)中反復(fù)出現(xiàn)的幾個(gè)關(guān)鍵詞:Agentic AI、
    的頭像 發(fā)表于 03-04 17:07 ?1133次閱讀
    從<b class='flag-5'>英偉</b><b class='flag-5'>達(dá)</b>電話會(huì)看Agentic <b class='flag-5'>AI</b><b class='flag-5'>推理</b>與FPGA價(jià)值

    國(guó)產(chǎn)連接器如何抓住AI PC賽道紅利?

    當(dāng)大模型推理從云端降落到桌面,AI PC成為了科技硬件的“流量主角”。英偉達(dá)的算力、英特爾的芯片、聯(lián)想的整機(jī),無(wú)不被置于聚光燈下。但在這些
    的頭像 發(fā)表于 03-04 10:03 ?235次閱讀
    國(guó)產(chǎn)連接器如何抓住<b class='flag-5'>AI</b> PC<b class='flag-5'>賽道</b>紅利?

    AI推理芯片需求爆發(fā),OpenAI欲尋求新合作伙伴

    電子發(fā)燒友網(wǎng)綜合報(bào)道,在人工智能迅猛發(fā)展的當(dāng)下,AI推理芯片需求正呈爆發(fā)式增長(zhǎng)。 ? AI推理,即支撐如ChatGPT這類AI模型響應(yīng)用戶問(wèn)
    的頭像 發(fā)表于 02-03 17:15 ?3036次閱讀

    英偉達(dá)重磅出手!AI 推理存儲(chǔ)全面覺(jué)醒

    電子發(fā)燒友網(wǎng)報(bào)道(文/黃晶晶)近日,有消息稱,英偉達(dá)將以大約200億美元收購(gòu)人工智能芯片初創(chuàng)公司Groq,這將是英偉達(dá)迄今為止規(guī)模最大的
    的頭像 發(fā)表于 12-26 08:44 ?1.2w次閱讀
    <b class='flag-5'>英偉</b><b class='flag-5'>達(dá)</b>重磅出手!<b class='flag-5'>AI</b> <b class='flag-5'>推理</b>存儲(chǔ)全面覺(jué)醒

    第四次工業(yè)革命AI將實(shí)現(xiàn)十億倍增長(zhǎng) | 中國(guó)AI芯片與英偉達(dá)的角色

    內(nèi)容提要:黃仁勛BG2專訪:英偉達(dá)、OpenAI、算力未來(lái)與美國(guó)夢(mèng)AI規(guī)模定律與推理的革命:在傳統(tǒng)的AI規(guī)模定律(預(yù)訓(xùn)練、后訓(xùn)練)之上,引入
    的頭像 發(fā)表于 09-29 07:20 ?1221次閱讀
    第四次工業(yè)革命<b class='flag-5'>AI</b>將實(shí)現(xiàn)十億倍增長(zhǎng) | 中國(guó)<b class='flag-5'>AI</b>芯片與<b class='flag-5'>英偉</b><b class='flag-5'>達(dá)</b>的角色

    【「AI芯片:科技探索與AGI愿景」閱讀體驗(yàn)】+AI芯片的需求和挑戰(zhàn)

    的我我們講解了這幾種芯片的應(yīng)用場(chǎng)景,設(shè)計(jì)流程、結(jié)構(gòu)等。 CPU: 還為我們講解了種算法:哈希表算法 GPU: 介紹了英偉達(dá)H100GP
    發(fā)表于 09-12 16:07

    英偉達(dá)自研HBM基礎(chǔ)裸片

    "后的下AI GPU "Feynman"。 ? 有分析指出,英偉達(dá)此舉或是將部分GPU功能集
    的頭像 發(fā)表于 08-21 08:16 ?2896次閱讀

    ?Groq LPU 如何讓萬(wàn)億參數(shù)模型「飛」起來(lái)?揭秘 Kimi K2 40 倍提速背后的黑科技

    開(kāi)放預(yù)覽,引發(fā)了開(kāi)發(fā)者社區(qū)的瘋狂討論——?為什么 Groq 能跑得這么快?? 傳統(tǒng) AI 推理硬件(如 GPU)往往面臨個(gè)兩難選擇: ?
    的頭像 發(fā)表于 08-07 10:01 ?1164次閱讀