91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

為啥 AI 計算速度這么驚人?—— 聊聊 GPU、內(nèi)存與并行計算

穎脈Imgtec ? 2025-12-05 14:35 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

提到 AI,大家常說它 “算得快”,其實是指 AI 能在眨眼間處理海量數(shù)據(jù)??伤鼮樯队羞@本事?答案就藏在 “GPU + 高速內(nèi)存 + 并行計算” 這 trio(組合)里。

咱們可以把 AI 要處理的數(shù)據(jù),想象成一大堆 “小任務(wù)”。

比如一張圖片里的每個像素、一段語音里的每段聲波、一句話里的每個詞,都得單獨拿出來計算。

而且這些任務(wù)可不是幾十個,而是幾百萬、幾億甚至更多,數(shù)量特別驚人。


CPU
GPU

任務(wù)類型

單任務(wù),多任務(wù)并行,

內(nèi)存特性

數(shù)據(jù)秒取(高速緩存+內(nèi)存)快,但核心靠內(nèi)存(顯存帶寬高,依賴內(nèi)存協(xié)作)

工作流程

讀→算→寫(內(nèi)存必用)批量讀→并行算→批量寫(依賴內(nèi)存吞吐)


CPU:聰明卻“手少”的“學(xué)霸”

以前的電腦,主要靠 CPU 來做計算。CPU 就像個超級聰明的學(xué)霸,計算能力超強,復(fù)雜的問題都能搞定。

但它有個小缺點 ——“手臂” 太少,通常只有 4 條、8 條,同一時間能處理的事情很有限。它更擅長應(yīng)對少量但難度高的任務(wù),就像讓學(xué)霸做一堆重復(fù)的簡單題,雖然能做好,但速度肯定快不起來。


GPU:“人多力量大”的團隊

GPU(圖形處理器)一開始是用來處理圖像的,可它有個獨特優(yōu)勢 —— 擁有成千上萬的 “小核心”。這些小核心單獨看可能不算特別聰明,但勝在能一起干活、同步計算,這就是咱們說的 “并行計算”。

打個比方,要是讓一萬個人同時算簡單的數(shù)學(xué)題,速度肯定比一個學(xué)霸單打獨斗快得多。AI 剛好需要大量這種 “重復(fù)的小計算”,所以 GPU 就成了它的 “得力助手”。


高速內(nèi)存:GPU的“專屬倉庫”

GPU 的計算速度快到什么程度呢?快到如果數(shù)據(jù)沒及時送過來,它就只能 “等米下鍋”,白白浪費時間。于是工程師們給 GPU 配了個 “專屬倉庫”—— 顯存,也就是高速內(nèi)存。

平時會把要計算的數(shù)據(jù)提前存進顯存里,這樣 GPU 想用的時候,一瞬間就能拿到,不用像 CPU 那樣,還得頻繁去訪問速度慢不少的普通內(nèi)存。就像一個超高效的工廠,門口的倉庫里材料備得足足的,工廠才能一直高速運轉(zhuǎn),不耽誤事兒。


不管CPU還是GPU,都離不開“內(nèi)存三步曲”

其實不管是 CPU 還是 GPU,計算時都逃不開三個步驟:第一步,從內(nèi)存里把數(shù)據(jù)讀出來;第二步,對數(shù)據(jù)進行計算;第三步,把算好的結(jié)果寫回內(nèi)存。

GPU 和 CPU 的區(qū)別在于:GPU 一次能處理好多數(shù)據(jù),也就是并行計算;它還有自己專用的高速內(nèi)存(顯存);整體速度比傳統(tǒng)的 “CPU + 普通內(nèi)存” 快好幾倍。也正因為這樣,現(xiàn)在的 AI 都離不開 GPU。

一句話總結(jié)。AI 的快,靠的是 GPU 的并行計算能力,但不管它速度多驚人,本質(zhì)上還是 “從內(nèi)存讀數(shù)據(jù)、計算、再寫回內(nèi)存” 的過程,始終離不開內(nèi)存。

本文轉(zhuǎn)自:柏睿數(shù)據(jù)

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    5194

    瀏覽量

    135450
  • 內(nèi)存
    +關(guān)注

    關(guān)注

    9

    文章

    3210

    瀏覽量

    76369
  • AI
    AI
    +關(guān)注

    關(guān)注

    91

    文章

    39793

    瀏覽量

    301404
  • 并行計算
    +關(guān)注

    關(guān)注

    0

    文章

    30

    瀏覽量

    9741
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    一文看懂AI大模型的并行訓(xùn)練方式(DP、PP、TP、EP)

    大家都知道,AI計算(尤其是模型訓(xùn)練和推理),主要以并行計算為主。AI計算中涉及到的很多具體算法(例如矩陣相乘、卷積、循環(huán)層、梯度運算等),
    的頭像 發(fā)表于 11-28 08:33 ?1856次閱讀
    一文看懂<b class='flag-5'>AI</b>大模型的<b class='flag-5'>并行</b>訓(xùn)練方式(DP、PP、TP、EP)

    神經(jīng)網(wǎng)絡(luò)的并行計算與加速技術(shù)

    隨著人工智能技術(shù)的飛速發(fā)展,神經(jīng)網(wǎng)絡(luò)在眾多領(lǐng)域展現(xiàn)出了巨大的潛力和廣泛的應(yīng)用前景。然而,神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜度和規(guī)模也在不斷增加,這使得傳統(tǒng)的串行計算方式面臨著巨大的挑戰(zhàn),如計算速度慢、訓(xùn)練時間長等
    的頭像 發(fā)表于 09-17 13:31 ?1126次閱讀
    神經(jīng)網(wǎng)絡(luò)的<b class='flag-5'>并行計算</b>與加速技術(shù)

    科普:什么AI 內(nèi)存技術(shù)

    問題。 為什么 AI 內(nèi)存很重要? 在 AI 模型訓(xùn)練和推理過程中,大量的數(shù)據(jù)需要從內(nèi)存傳輸?shù)教幚砥鳎ㄈ?GPU 或 TPU)進行
    的頭像 發(fā)表于 09-03 15:44 ?1394次閱讀

    從自然仿真到智能調(diào)度——GPU并行計算的多場景突破

    我們正在參加全球電子成就獎的評選,歡迎大家?guī)臀覀兺镀薄x謝支持隨著復(fù)雜計算問題的不斷涌現(xiàn),傳統(tǒng)的CPU串行計算在處理大規(guī)模數(shù)據(jù)與高并發(fā)任務(wù)時逐漸顯露瓶頸。GPU(圖形處理單元)憑借其高度
    的頭像 發(fā)表于 09-03 10:32 ?829次閱讀
    從自然仿真到智能調(diào)度——<b class='flag-5'>GPU</b><b class='flag-5'>并行計算</b>的多場景突破

    Kintex UltraScale 純 FPGA 開發(fā)平臺,釋放高速并行計算潛能,高性價比的 FPGA 解決方案

    璞致電子PZ-KU060-KFB開發(fā)板采用Xilinx Kintex UltraScale KU060芯片,提供高密度并行計算能力,配備4GB DDR4內(nèi)存、20對GTH高速收發(fā)器和多種擴展接口
    的頭像 發(fā)表于 08-18 13:28 ?724次閱讀
    Kintex UltraScale 純 FPGA 開發(fā)平臺,釋放高速<b class='flag-5'>并行計算</b>潛能,高性價比的 FPGA 解決方案

    別讓 GPU 故障拖后腿,捷智算GPU維修室來救場!

    AI浪潮洶涌的當(dāng)下,GPU已然成為眾多企業(yè)與科研機構(gòu)的核心生產(chǎn)力。從深度學(xué)習(xí)模型訓(xùn)練,到影視渲染、復(fù)雜科學(xué)計算,GPU憑借強大并行計算能力
    的頭像 發(fā)表于 07-17 18:56 ?1148次閱讀
    別讓 <b class='flag-5'>GPU</b> 故障拖后腿,捷智算<b class='flag-5'>GPU</b>維修室來救場!

    AI芯片:加速人工智能計算的專用硬件引擎

    處理等應(yīng)用落地的關(guān)鍵硬件基礎(chǔ)。 ? AI芯片的核心技術(shù)特點 ? ? AI芯片的設(shè)計重點在于提升計算效率,主要技術(shù)特點包括: ? 1. ? 并行計算架構(gòu) ?:
    的頭像 發(fā)表于 07-09 15:59 ?1576次閱讀

    邊緣AI廣泛應(yīng)用推動并行計算崛起及創(chuàng)新GPU滲透率快速提升

    是時候重新教育整個生態(tài)了。邊緣AI的未來不屬于那些高度優(yōu)化但功能狹窄的芯片,而是屬于可編程的、可適配的并行計算平臺,它們能與智能軟件共同成長并擴展。
    的頭像 發(fā)表于 06-11 14:57 ?678次閱讀

    并行計算的崛起:為什么GPU將在邊緣AI中取代NPU

    人工智能(AI)不僅是一項技術(shù)突破,它更是軟件編寫、理解和執(zhí)行方式的一次永久性變革。傳統(tǒng)的軟件開發(fā)基于確定性邏輯和大多是順序執(zhí)行的流程,而如今這一范式正在讓位于概率模型、訓(xùn)練行為以及數(shù)據(jù)驅(qū)動的計算
    的頭像 發(fā)表于 06-06 14:55 ?703次閱讀
    <b class='flag-5'>并行計算</b>的崛起:為什么<b class='flag-5'>GPU</b>將在邊緣<b class='flag-5'>AI</b>中取代NPU

    GPU架構(gòu)深度解析

    GPU架構(gòu)深度解析從圖形處理到通用計算的進化之路圖形處理單元(GPU),作為現(xiàn)代計算機中不可或缺的一部分,已經(jīng)從最初的圖形渲染專用處理器,發(fā)展成為強大的
    的頭像 發(fā)表于 05-30 10:36 ?1855次閱讀
    <b class='flag-5'>GPU</b>架構(gòu)深度解析

    Imagination與澎峰科技攜手推動GPU+AI解決方案,共拓計算生態(tài)

    的繁榮發(fā)展。 本次合作將聚焦以下兩大方向: 聯(lián)合打造面向AI應(yīng)用的高性能計算解決方案 ? 依托 Imagination GPU并行計算和能效
    發(fā)表于 05-21 09:40 ?1220次閱讀

    超越CPU/GPU:NPU如何讓AI“輕裝上陣”?

    計算速度上更具優(yōu)勢,尤其適合移動設(shè)備、邊緣計算和嵌入式AI場景。 ? NPU有幾大核心特點:其一是專用架構(gòu),針對神經(jīng)網(wǎng)絡(luò)計算優(yōu)化,支持并行
    的頭像 發(fā)表于 04-18 00:05 ?4014次閱讀

    讀懂極易并行計算:定義、挑戰(zhàn)與解決方案

    GPU經(jīng)常與人工智能同時提及,其中一個重要原因在于AI與3D圖形處理本質(zhì)上屬于同一類問題——它們都適用極易并行計算。什么是極易并行計算?極易并行計算
    的頭像 發(fā)表于 04-17 09:11 ?819次閱讀
    讀懂極易<b class='flag-5'>并行計算</b>:定義、挑戰(zhàn)與解決方案

    摩爾線程GPU原生FP8計算助力AI訓(xùn)練

    近日,摩爾線程正式開源MT-MegatronLM與MT-TransformerEngine兩大AI框架。通過深度融合FP8混合訓(xùn)練策略和高性能算子庫,這兩大框架在國產(chǎn)全功能GPU上實現(xiàn)了高效的混合并行
    的頭像 發(fā)表于 03-17 17:05 ?1526次閱讀
    摩爾線程<b class='flag-5'>GPU</b>原生FP8<b class='flag-5'>計算</b>助力<b class='flag-5'>AI</b>訓(xùn)練

    在CM32M433R MCU上調(diào)用riscv_sqrt_f32()函數(shù)的計算速度比直接調(diào)用sqrtf()要慢,為什么?

    在CM32M433R MCU上調(diào)用riscv_sqrt_f32()函數(shù)的計算速度比直接調(diào)用sqrtf()要慢, 計算一次riscv_sqrt_f32大概54 cycles;sqrtf()大概29 cycles,FPU宏已打開,求助是什么問題。
    發(fā)表于 03-07 14:18