GPU架構(gòu)參數(shù)如CUDA核心數(shù)、顯存帶寬、Tensor TFLOPS、互聯(lián)方式等，并非 “冰冷的數(shù)字”，而是直接關系設備能否滿足需求、如何發(fā)揮最大價值、是否避免資源浪費等問題的核心要素。

本篇文章將全面分析GPU核心參數(shù)體系：算力、顯存大小、顯存帶寬、熱門架構(gòu)特性等關鍵指標，旨在幫您理解不同應用場景下，如何選擇最合適的GPU算力解決方案。

1、算力

GPU執(zhí)行浮點運算的能力，通常以TFLOPS(每秒浮點操作次數(shù))為單位衡量。

浮點運算能力是針對“高精度小數(shù)計算”的專項能力，也是處理“復雜科學 / 工程任務”的核心，它能加速模型訓練、數(shù)據(jù)分析以及復雜模擬的處理速度。

那我們常提到的半精度（FP16）、單精度（FP32）、雙精度（FP64）分別是什么？

它們是電腦存儲和計算「小數(shù)」的三種“精度檔位”，就像手機拍照的 “720P、1080P、4K”，檔位越高，細節(jié)越精細，精度越高，但“處理速度”（計算效率）越慢，效率越低，成本越貴。

以前的大模型訓練以FP32為主，現(xiàn)在更多是FP32和FP16的混合精度；推理的話，更多是FP16及其以下。

2、顯存

是GPU用于存儲數(shù)據(jù)和紋理的專用內(nèi)存，與系統(tǒng)內(nèi)存(RAM)不同，顯存具有更高的帶寬和更快的訪問速度。顯存的大小和性能直接影響GPU處理大規(guī)模數(shù)據(jù)的能力。

3、顯存帶寬

作為GPU與顯存之間數(shù)據(jù)傳輸?shù)臉蛄?顯存帶寬=顯存位寬x顯存頻率

如何理解顯存與顯存帶寬的關系呢？

顯存容量決定了“車廂”的載貨量，顯存越大裝載的貨物越多，而顯存帶寬決定了“裝卸貨”的速度，帶寬越高裝卸貨的效率越高。

4、顯存類型

顯卡上用于存儲和處理圖形數(shù)據(jù)的專用內(nèi)存技術，不同顯存類型在帶寬、功耗和性能上有顯著差異。

主流顯存類型有3種：GDDR、HBM和LPDDR。

GDDR系列主要用于游戲，HBM系列主要用于高端AI計算，如數(shù)據(jù)中心，LPDDR系列主要用于移動/邊緣設備。

5、功耗

指單位時間內(nèi)的能量消耗，反應消耗能量的速率單位是瓦特(W)。

6、卡間互聯(lián)

卡間互聯(lián)的作用是“高速專用通道”（比如 NVIDIA的NVLink、行業(yè)通用的PCIe 5.0），傳輸速度能達到每秒幾百 GB（比如 NVLink 能到 400GB/s），和計算速度匹配，讓所有卡 “算得快、傳得也快”，不浪費算力。

NVLink是由NVIDIA研發(fā)的專用高速互聯(lián)技術，專為解決“多 GPU 協(xié)同計算”的瓶頸 —— 當單張 GPU 算力不足時，多張 GPU 需快速交換數(shù)據(jù)，PCIe 的帶寬和延遲成為瓶頸。

例如：訓練千億參數(shù)大模型時，8 張 GPU 需實時同步梯度數(shù)據(jù)，NVLink 讓它們直接 “面對面溝通”。

7、流處理器（CUDA核心）

CUDA全稱：CUDA 核心（Compute Unified Device Architecture Core）

它是NVIDIA GPU的基礎計算單元。每個CUDA核心只處理簡單的數(shù)學運算（如浮點加減乘除），但通過集成數(shù)千個這樣的核心，GPU能同時處理海量數(shù)據(jù)，速度遠超CPU。CUDA核心越多，并行處理能力越強。

8、張量核心（Tensor Core）

它是NVIDIA GPU中的一種專用計算單元，專門用于加速矩陣和張量運算，尤其在深度學習和高性能計算（HPC）中表現(xiàn)突出。

張量核心與CUDA相比，在于它能做矩陣運算，而CUDA一次只能算一個數(shù)字。所以張量核心效率更高。

9、Tensor性能

Tensor性能（Tensor TFLOPS）是衡量GPU或AI加速器在張量計算任務中的浮點運算能力的核心指標。專指通過上面的Tensor Core加速的浮點運算。數(shù)字越大，計算越快。

需要補充說明的是一般企業(yè)在做決策時不會太關注Tensor core的數(shù)量，而更看重Tensor性能。

10、英偉達GPU架構(gòu)

英偉達數(shù)據(jù)中心級GPU名稱中，首字母是架構(gòu)的縮寫。例如，B代表Blackwell、H代表Hopper，A代表Ampere、L代表Lovelace、都是用世界著名的科學家名字來命名。

數(shù)字往往代表GPU產(chǎn)品的等級或者性能表現(xiàn)。每一代的產(chǎn)品英偉達都會設計低中高不同價格、性能和功耗的GPU。數(shù)字部分越大，通常代表GPU越強大、價格越昂貴（A800和H800這類閹割版產(chǎn)品除外）。

比如：H100、A100、V100這類產(chǎn)品型號代表的同一代產(chǎn)品中的旗艦產(chǎn)品，價格最昂貴、性能最強大。也擁有最高的核心數(shù)和最大的顯存，專為大型模型推理以及訓練而設計。

Ampere架構(gòu)

Ampere架構(gòu)是繼Volta和Turing架構(gòu)之后的新一代技術，以540億個晶體管打造，是有史以來最大的 7 納米 (nm) 芯片，于2020年首次發(fā)布。

該架構(gòu)具有更多的CUDA核心，并引入了第三代Tensor Core，針對AI和深度學習計算進一步優(yōu)化，支持更高效的混合精度運算，顯著提升了AI訓練和推理的性能。

Ampere GPU使用了更快的內(nèi)存技術(如GDDR6X)和更大的內(nèi)存容量，并支持更高數(shù)據(jù)傳輸速度的PCI Express 4.0標準，從而能夠更好地處理大規(guī)模數(shù)據(jù)集和復雜的應用程序。

典型卡型號:NVIDIA A100、A800

Hopper架構(gòu)

Hopper 架構(gòu)發(fā)布于 2022 年，擁有超過 800 億個晶體管，并采用新型流式處理器。Hopper支持第四代Tensor Core，能夠支持混合的 FP8 和 FP16 精度，與上一代相比，Hopper 將 TF32、FP64、FP16 和 INT8 精度的每秒浮點運算（FLOPS）提高了 3 倍，在矩陣運算中提供更高的吞吐量和效率。

Hopper Tensor Core 與 Transformer 引擎和第四代NVLink（GPU之間高達900GB/s的雙向帶寬）相結(jié)合，可使 HPC 和 AI 工作負載的加速實現(xiàn)數(shù)量級提升。

典型卡型號:NVIDIA H100、H200、H800、H20

Blackwell架構(gòu)

Blackwell架構(gòu)發(fā)布于 2024 年，具有2080億個晶體管，采用了雙倍光刻極限尺寸的裸片，通過10 TB/s的片間互聯(lián)技術連接成一塊統(tǒng)一的 GPU。

NVIDIA 還推出了第五代 NVLink，提供前所未有的并行性和 1.8TB/s 的芯片間通信帶寬，性能遠超Hopper架構(gòu)。Blackwell GPU具備192GB的HBM3E，支持高達7400億個參數(shù)的模型，提供了高達8TB/s的帶寬。

此外，它還引入了第二代 Transformer 引擎，支持 FP4 精度和動態(tài)精度切換，有助于自動將模型轉(zhuǎn)換為適當?shù)母袷揭赃_到最佳性能。

典型卡型號:NVIDIA B100、B200、B300

GPU 計算能力已成為推動全球技術革命的核心引擎，其作用貫穿人工智能、科學研究、工業(yè)制造等關鍵領域，深刻改變著人類解決復雜問題的能力邊界。

在這場算力革命中，誰盡早掌握GPU的核心技術，誰就能在人工智能、元宇宙、數(shù)智化轉(zhuǎn)型中占據(jù)制高點。

本文轉(zhuǎn)自：萬云智算