91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

為啥 AI 計(jì)算速度這么驚人?—— 聊聊 GPU、內(nèi)存與并行計(jì)算

穎脈Imgtec ? 2025-12-05 14:35 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

提到 AI,大家常說(shuō)它 “算得快”,其實(shí)是指 AI 能在眨眼間處理海量數(shù)據(jù)??伤鼮樯队羞@本事?答案就藏在 “GPU + 高速內(nèi)存 + 并行計(jì)算” 這 trio(組合)里。

咱們可以把 AI 要處理的數(shù)據(jù),想象成一大堆 “小任務(wù)”。

比如一張圖片里的每個(gè)像素、一段語(yǔ)音里的每段聲波、一句話里的每個(gè)詞,都得單獨(dú)拿出來(lái)計(jì)算。

而且這些任務(wù)可不是幾十個(gè),而是幾百萬(wàn)、幾億甚至更多,數(shù)量特別驚人。


CPU
GPU

任務(wù)類型

單任務(wù),多任務(wù)并行,

內(nèi)存特性

數(shù)據(jù)秒取(高速緩存+內(nèi)存)快,但核心靠?jī)?nèi)存(顯存帶寬高,依賴內(nèi)存協(xié)作)

工作流程

讀→算→寫(內(nèi)存必用)批量讀→并行算→批量寫(依賴內(nèi)存吞吐)


CPU:聰明卻“手少”的“學(xué)霸”

以前的電腦,主要靠 CPU 來(lái)做計(jì)算。CPU 就像個(gè)超級(jí)聰明的學(xué)霸,計(jì)算能力超強(qiáng),復(fù)雜的問(wèn)題都能搞定。

但它有個(gè)小缺點(diǎn) ——“手臂” 太少,通常只有 4 條、8 條,同一時(shí)間能處理的事情很有限。它更擅長(zhǎng)應(yīng)對(duì)少量但難度高的任務(wù),就像讓學(xué)霸做一堆重復(fù)的簡(jiǎn)單題,雖然能做好,但速度肯定快不起來(lái)。


GPU:“人多力量大”的團(tuán)隊(duì)

GPU(圖形處理器)一開(kāi)始是用來(lái)處理圖像的,可它有個(gè)獨(dú)特優(yōu)勢(shì) —— 擁有成千上萬(wàn)的 “小核心”。這些小核心單獨(dú)看可能不算特別聰明,但勝在能一起干活、同步計(jì)算,這就是咱們說(shuō)的 “并行計(jì)算”。

打個(gè)比方,要是讓一萬(wàn)個(gè)人同時(shí)算簡(jiǎn)單的數(shù)學(xué)題,速度肯定比一個(gè)學(xué)霸單打獨(dú)斗快得多。AI 剛好需要大量這種 “重復(fù)的小計(jì)算”,所以 GPU 就成了它的 “得力助手”。


高速內(nèi)存:GPU的“專屬倉(cāng)庫(kù)”

GPU 的計(jì)算速度快到什么程度呢?快到如果數(shù)據(jù)沒(méi)及時(shí)送過(guò)來(lái),它就只能 “等米下鍋”,白白浪費(fèi)時(shí)間。于是工程師們給 GPU 配了個(gè) “專屬倉(cāng)庫(kù)”—— 顯存,也就是高速內(nèi)存。

平時(shí)會(huì)把要計(jì)算的數(shù)據(jù)提前存進(jìn)顯存里,這樣 GPU 想用的時(shí)候,一瞬間就能拿到,不用像 CPU 那樣,還得頻繁去訪問(wèn)速度慢不少的普通內(nèi)存。就像一個(gè)超高效的工廠,門口的倉(cāng)庫(kù)里材料備得足足的,工廠才能一直高速運(yùn)轉(zhuǎn),不耽誤事兒。


不管CPU還是GPU,都離不開(kāi)“內(nèi)存三步曲”

其實(shí)不管是 CPU 還是 GPU,計(jì)算時(shí)都逃不開(kāi)三個(gè)步驟:第一步,從內(nèi)存里把數(shù)據(jù)讀出來(lái);第二步,對(duì)數(shù)據(jù)進(jìn)行計(jì)算;第三步,把算好的結(jié)果寫回內(nèi)存。

GPU 和 CPU 的區(qū)別在于:GPU 一次能處理好多數(shù)據(jù),也就是并行計(jì)算;它還有自己專用的高速內(nèi)存(顯存);整體速度比傳統(tǒng)的 “CPU + 普通內(nèi)存” 快好幾倍。也正因?yàn)檫@樣,現(xiàn)在的 AI 都離不開(kāi) GPU。

一句話總結(jié)。AI 的快,靠的是 GPU 的并行計(jì)算能力,但不管它速度多驚人,本質(zhì)上還是 “從內(nèi)存讀數(shù)據(jù)、計(jì)算、再寫回內(nèi)存” 的過(guò)程,始終離不開(kāi)內(nèi)存。

本文轉(zhuǎn)自:柏睿數(shù)據(jù)

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    5196

    瀏覽量

    135505
  • 內(nèi)存
    +關(guān)注

    關(guān)注

    9

    文章

    3211

    瀏覽量

    76379
  • AI
    AI
    +關(guān)注

    關(guān)注

    91

    文章

    39820

    瀏覽量

    301485
  • 并行計(jì)算
    +關(guān)注

    關(guān)注

    0

    文章

    30

    瀏覽量

    9741
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    一文看懂AI大模型的并行訓(xùn)練方式(DP、PP、TP、EP)

    大家都知道,AI計(jì)算(尤其是模型訓(xùn)練和推理),主要以并行計(jì)算為主。AI計(jì)算中涉及到的很多具體算法(例如矩陣相乘、卷積、循環(huán)層、梯度運(yùn)算等),
    的頭像 發(fā)表于 11-28 08:33 ?1860次閱讀
    一文看懂<b class='flag-5'>AI</b>大模型的<b class='flag-5'>并行</b>訓(xùn)練方式(DP、PP、TP、EP)

    神經(jīng)網(wǎng)絡(luò)的并行計(jì)算與加速技術(shù)

    隨著人工智能技術(shù)的飛速發(fā)展,神經(jīng)網(wǎng)絡(luò)在眾多領(lǐng)域展現(xiàn)出了巨大的潛力和廣泛的應(yīng)用前景。然而,神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜度和規(guī)模也在不斷增加,這使得傳統(tǒng)的串行計(jì)算方式面臨著巨大的挑戰(zhàn),如計(jì)算速度慢、訓(xùn)練時(shí)間長(zhǎng)等
    的頭像 發(fā)表于 09-17 13:31 ?1133次閱讀
    神經(jīng)網(wǎng)絡(luò)的<b class='flag-5'>并行計(jì)算</b>與加速技術(shù)

    科普:什么AI 內(nèi)存技術(shù)

    問(wèn)題。 為什么 AI 內(nèi)存很重要? 在 AI 模型訓(xùn)練和推理過(guò)程中,大量的數(shù)據(jù)需要從內(nèi)存傳輸?shù)教幚砥鳎ㄈ?GPU 或 TPU)進(jìn)行
    的頭像 發(fā)表于 09-03 15:44 ?1403次閱讀

    從自然仿真到智能調(diào)度——GPU并行計(jì)算的多場(chǎng)景突破

    我們正在參加全球電子成就獎(jiǎng)的評(píng)選,歡迎大家?guī)臀覀兺镀薄x謝支持隨著復(fù)雜計(jì)算問(wèn)題的不斷涌現(xiàn),傳統(tǒng)的CPU串行計(jì)算在處理大規(guī)模數(shù)據(jù)與高并發(fā)任務(wù)時(shí)逐漸顯露瓶頸。GPU(圖形處理單元)憑借其高度
    的頭像 發(fā)表于 09-03 10:32 ?832次閱讀
    從自然仿真到智能調(diào)度——<b class='flag-5'>GPU</b><b class='flag-5'>并行計(jì)算</b>的多場(chǎng)景突破

    Kintex UltraScale 純 FPGA 開(kāi)發(fā)平臺(tái),釋放高速并行計(jì)算潛能,高性價(jià)比的 FPGA 解決方案

    璞致電子PZ-KU060-KFB開(kāi)發(fā)板采用Xilinx Kintex UltraScale KU060芯片,提供高密度并行計(jì)算能力,配備4GB DDR4內(nèi)存、20對(duì)GTH高速收發(fā)器和多種擴(kuò)展接口
    的頭像 發(fā)表于 08-18 13:28 ?732次閱讀
    Kintex UltraScale 純 FPGA 開(kāi)發(fā)平臺(tái),釋放高速<b class='flag-5'>并行計(jì)算</b>潛能,高性價(jià)比的 FPGA 解決方案

    別讓 GPU 故障拖后腿,捷智算GPU維修室來(lái)救場(chǎng)!

    AI浪潮洶涌的當(dāng)下,GPU已然成為眾多企業(yè)與科研機(jī)構(gòu)的核心生產(chǎn)力。從深度學(xué)習(xí)模型訓(xùn)練,到影視渲染、復(fù)雜科學(xué)計(jì)算,GPU憑借強(qiáng)大并行計(jì)算能力
    的頭像 發(fā)表于 07-17 18:56 ?1150次閱讀
    別讓 <b class='flag-5'>GPU</b> 故障拖后腿,捷智算<b class='flag-5'>GPU</b>維修室來(lái)救場(chǎng)!

    AI芯片:加速人工智能計(jì)算的專用硬件引擎

    處理等應(yīng)用落地的關(guān)鍵硬件基礎(chǔ)。 ? AI芯片的核心技術(shù)特點(diǎn) ? ? AI芯片的設(shè)計(jì)重點(diǎn)在于提升計(jì)算效率,主要技術(shù)特點(diǎn)包括: ? 1. ? 并行計(jì)算架構(gòu) ?:
    的頭像 發(fā)表于 07-09 15:59 ?1597次閱讀

    邊緣AI廣泛應(yīng)用推動(dòng)并行計(jì)算崛起及創(chuàng)新GPU滲透率快速提升

    是時(shí)候重新教育整個(gè)生態(tài)了。邊緣AI的未來(lái)不屬于那些高度優(yōu)化但功能狹窄的芯片,而是屬于可編程的、可適配的并行計(jì)算平臺(tái),它們能與智能軟件共同成長(zhǎng)并擴(kuò)展。
    的頭像 發(fā)表于 06-11 14:57 ?679次閱讀

    并行計(jì)算的崛起:為什么GPU將在邊緣AI中取代NPU

    人工智能(AI)不僅是一項(xiàng)技術(shù)突破,它更是軟件編寫、理解和執(zhí)行方式的一次永久性變革。傳統(tǒng)的軟件開(kāi)發(fā)基于確定性邏輯和大多是順序執(zhí)行的流程,而如今這一范式正在讓位于概率模型、訓(xùn)練行為以及數(shù)據(jù)驅(qū)動(dòng)的計(jì)算
    的頭像 發(fā)表于 06-06 14:55 ?706次閱讀
    <b class='flag-5'>并行計(jì)算</b>的崛起:為什么<b class='flag-5'>GPU</b>將在邊緣<b class='flag-5'>AI</b>中取代NPU

    GPU架構(gòu)深度解析

    GPU架構(gòu)深度解析從圖形處理到通用計(jì)算的進(jìn)化之路圖形處理單元(GPU),作為現(xiàn)代計(jì)算機(jī)中不可或缺的一部分,已經(jīng)從最初的圖形渲染專用處理器,發(fā)展成為強(qiáng)大的
    的頭像 發(fā)表于 05-30 10:36 ?1868次閱讀
    <b class='flag-5'>GPU</b>架構(gòu)深度解析

    Imagination與澎峰科技攜手推動(dòng)GPU+AI解決方案,共拓計(jì)算生態(tài)

    的繁榮發(fā)展。 本次合作將聚焦以下兩大方向: 聯(lián)合打造面向AI應(yīng)用的高性能計(jì)算解決方案 ? 依托 Imagination GPU并行計(jì)算和能效
    發(fā)表于 05-21 09:40 ?1223次閱讀

    Imagination與澎峰科技攜手推動(dòng)GPU+AI解決方案,共拓計(jì)算生態(tài)

    近日,ImaginationTechnologies與國(guó)內(nèi)領(lǐng)先的異構(gòu)計(jì)算軟件與智算混合云服務(wù)提供商澎峰科技(PerfXLab)正式簽署合作備忘錄(MoU),圍繞GPUAI的深度融合展開(kāi)合作。雙方將
    的頭像 發(fā)表于 05-20 08:33 ?937次閱讀
    Imagination與澎峰科技攜手推動(dòng)<b class='flag-5'>GPU+AI</b>解決方案,共拓<b class='flag-5'>計(jì)算</b>生態(tài)

    超越CPU/GPU:NPU如何讓AI“輕裝上陣”?

    計(jì)算速度上更具優(yōu)勢(shì),尤其適合移動(dòng)設(shè)備、邊緣計(jì)算和嵌入式AI場(chǎng)景。 ? NPU有幾大核心特點(diǎn):其一是專用架構(gòu),針對(duì)神經(jīng)網(wǎng)絡(luò)計(jì)算優(yōu)化,支持并行
    的頭像 發(fā)表于 04-18 00:05 ?4025次閱讀

    讀懂極易并行計(jì)算:定義、挑戰(zhàn)與解決方案

    GPU經(jīng)常與人工智能同時(shí)提及,其中一個(gè)重要原因在于AI與3D圖形處理本質(zhì)上屬于同一類問(wèn)題——它們都適用極易并行計(jì)算。什么是極易并行計(jì)算?極易并行計(jì)算
    的頭像 發(fā)表于 04-17 09:11 ?830次閱讀
    讀懂極易<b class='flag-5'>并行計(jì)算</b>:定義、挑戰(zhàn)與解決方案

    摩爾線程GPU原生FP8計(jì)算助力AI訓(xùn)練

    近日,摩爾線程正式開(kāi)源MT-MegatronLM與MT-TransformerEngine兩大AI框架。通過(guò)深度融合FP8混合訓(xùn)練策略和高性能算子庫(kù),這兩大框架在國(guó)產(chǎn)全功能GPU上實(shí)現(xiàn)了高效的混合并行
    的頭像 發(fā)表于 03-17 17:05 ?1528次閱讀
    摩爾線程<b class='flag-5'>GPU</b>原生FP8<b class='flag-5'>計(jì)算</b>助力<b class='flag-5'>AI</b>訓(xùn)練