作為全球 AI 基礎(chǔ)設(shè)施的全新引擎，NVIDIA H100 GPU 實(shí)現(xiàn)了數(shù)量級(jí)的性能飛躍

　　加利福尼亞州圣克拉拉市 —— GTC 大會(huì) —— 太平洋時(shí)間 2022 年 3 月 22 日 —— 為推動(dòng) AI 數(shù)據(jù)中心的新一輪發(fā)展，NVIDIA 于今日宣布推出采用 NVIDIA Hopper? 架構(gòu)的新一代加速計(jì)算平臺(tái)。與上一代產(chǎn)品相比，該平臺(tái)實(shí)現(xiàn)了數(shù)量級(jí)的性能飛躍。

　　這一全新架構(gòu)以美國(guó)計(jì)算機(jī)領(lǐng)域的先驅(qū)科學(xué)家 Grace Hopper 的名字命名，將取代兩年前推出的 NVIDIA Ampere 架構(gòu)。

　　NVIDIA 同時(shí)發(fā)布其首款基于 Hopper 架構(gòu)的 GPU — NVIDIA H100。該款 GPU 集成了 800 億個(gè)晶體管。H100 是全球范圍內(nèi)最大的性能出眾的加速器，擁有革命性的 Transformer 引擎和高度可擴(kuò)展的 NVIDIA NVLink? 互連技術(shù)等突破性功能，可推動(dòng)龐大的 AI 語(yǔ)言模型、深度推薦系統(tǒng)、基因組學(xué)和復(fù)雜數(shù)字孿生的發(fā)展。

　　NVIDIA 創(chuàng)始人兼 CEO 黃仁勛表示： “數(shù)據(jù)中心正在轉(zhuǎn)變成‘AI 工廠’。它們處理大量數(shù)據(jù)，以實(shí)現(xiàn)智能。NVIDIA H100 是全球 AI 基礎(chǔ)設(shè)施的引擎，讓企業(yè)能夠利用其實(shí)現(xiàn)自身 AI 業(yè)務(wù)的加速?！?/p>

　　H100 技術(shù)突破

　　H100 NVIDIA GPU 為加速大規(guī)模 AI 和 HPC 設(shè)定了新的標(biāo)準(zhǔn)，帶來(lái)了六項(xiàng)突破性創(chuàng)新：

　　● 世界最先進(jìn)的芯片 —— H100 由 800 億個(gè)晶體管構(gòu)建而成，這些晶體管采用了專為 NVIDIA 加速計(jì)算需求設(shè)計(jì)的尖端的 TSMC 4N 工藝，因而能夠顯著提升 AI、HPC、顯存帶寬、互連和通信的速度，并能夠?qū)崿F(xiàn)近 5TB/s 的外部互聯(lián)帶寬。H100 是首款支持 PCIe 5.0 的 GPU，也是首款采用 HBM3 的 GPU，可實(shí)現(xiàn) 3TB/s 的顯存帶寬。20個(gè) H100 GPU 便可承托相當(dāng)于全球互聯(lián)網(wǎng)的流量，使其能夠幫助客戶推出先進(jìn)的推薦系統(tǒng)以及實(shí)時(shí)運(yùn)行數(shù)據(jù)推理的大型語(yǔ)言模型。

　　● 新的 Transformer 引擎 —— Transformer 現(xiàn)在已成為自然語(yǔ)言處理的標(biāo)準(zhǔn)模型方案，也是深度學(xué)習(xí)模型領(lǐng)域最重要的模型之一。H100 加速器的 Transformer 引擎旨在不影響精度的情況下，將這些網(wǎng)絡(luò)的速度提升至上一代的六倍。

　　● 第二代安全多實(shí)例 GPU —— MIG 技術(shù)支持將單個(gè) GPU 分為七個(gè)更小且完全獨(dú)立的實(shí)例，以處理不同類型的作業(yè)。與上一代產(chǎn)品相比，在云環(huán)境中 Hopper 架構(gòu)通過(guò)為每個(gè) GPU 實(shí)例提供安全的多租戶配置，將 MIG 的部分能力擴(kuò)展了 7 倍。

　　● 機(jī)密計(jì)算 —— H100 是全球首款具有機(jī)密計(jì)算功能的加速器，可保護(hù) AI 模型和正在處理的客戶數(shù)據(jù)?？蛻暨€可以將機(jī)密計(jì)算應(yīng)用于醫(yī)療健康和金融服務(wù)等隱私敏感型行業(yè)的聯(lián)邦學(xué)習(xí)，也可以應(yīng)用于共享云基礎(chǔ)設(shè)施。

　　● 第 4 代 NVIDIA NVLink —— 為加速大型 AI 模型，NVLink 結(jié)合全新的外接 NVLink Switch，可將 NVLink 擴(kuò)展為服務(wù)器間的互聯(lián)網(wǎng)絡(luò)，最多可以連接多達(dá) 256 個(gè) H100 GPU，相較于上一代采用 NVIDIA HDR Quantum InfiniBand網(wǎng)絡(luò)，帶寬高出9倍。

　　● DPX 指令 —— 新的 DPX 指令可加速動(dòng)態(tài)規(guī)劃，適用于包括路徑優(yōu)化和基因組學(xué)在內(nèi)的一系列算法，與 CPU 和上一代 GPU 相比，其速度提升分別可達(dá) 40 倍和 7 倍。Floyd-Warshall 算法與 Smith-Waterman 算法也在其加速之列，前者可以在動(dòng)態(tài)倉(cāng)庫(kù)環(huán)境中為自主機(jī)器人車隊(duì)尋找最優(yōu)線路，而后者可用于 DNA 和蛋白質(zhì)分類與折疊的序列比對(duì)。

　　H100 的多項(xiàng)技術(shù)創(chuàng)新相結(jié)合，進(jìn)一步擴(kuò)大了 NVIDIA在 AI 推理和訓(xùn)練的領(lǐng)導(dǎo)地位，利用大規(guī)模 AI 模型實(shí)現(xiàn)了實(shí)時(shí)沉浸式應(yīng)用。H100 將支持聊天機(jī)器人使用功能超強(qiáng)大的monolithic Transformer 語(yǔ)言模型 Megatron 530B，吞吐量比上一代產(chǎn)品高出 30 倍，同時(shí)滿足實(shí)時(shí)對(duì)話式 AI 所需的次秒級(jí)延遲。利用 H100，研究人員和開(kāi)發(fā)者能夠訓(xùn)練龐大的模型，如包含 3950 億個(gè)參數(shù)的混合專家模型，訓(xùn)練速度加速高達(dá)9倍，將訓(xùn)練時(shí)間從幾周縮短到幾天。

　　NVIDIA H100 的廣泛采用

　　NVIDIA H100 可部署于各種數(shù)據(jù)中心，包括內(nèi)部私有云、云、混合云和邊緣數(shù)據(jù)中心。這款產(chǎn)品預(yù)計(jì)于今年晚些時(shí)候全面發(fā)售，屆時(shí)企業(yè)可從全球各大云服務(wù)提供商和計(jì)算機(jī)制造商處購(gòu)買，或者直接從 NVIDIA 官方渠道購(gòu)買。

　　NVIDIA 的第四代 DGX? 系統(tǒng) DGX H100 配備 8 塊 H100 GPU，以全新的 FP8 精度提供 32 Petaflop 的 AI 性能，并支持?jǐn)U展，能夠滿足大型語(yǔ)言模型、推薦系統(tǒng)、醫(yī)療健康研究和氣候科學(xué)的海量計(jì)算需求。

　　DGX H100 系統(tǒng)中的每塊 GPU 都通過(guò)第四代 NVLink 連接，可提供 900GB/s 的帶寬，與上一代相比，速度提升了 1.5 倍。NVSwitch? 支持所有八塊 H100 GPU 通過(guò) NVLink 全互聯(lián)。新一代 NVIDIA DGX SuperPOD? 超級(jí)計(jì)算機(jī)可通過(guò)外部 NVLink Switch 互聯(lián)，最多可連接 32 個(gè) DGX H100 節(jié)點(diǎn)。

　　Hopper 已在行業(yè)內(nèi)獲得各大云服務(wù)提供商的廣泛支持，包括阿里云、AWS、百度智能云、Google Cloud、Microsoft Azure、Oracle Cloud、騰訊云和火山引擎，這些云服務(wù)商均計(jì)劃推出基于 H100 的實(shí)例。

　　全球領(lǐng)先的系統(tǒng)制造商，包括源訊、BOXX Technologies、思科、戴爾科技、富士通、技嘉、新華三、慧與 （HPE）、浪潮、聯(lián)想、寧暢和超微預(yù)計(jì)推出各種采用 H100 加速器的服務(wù)器。

　　規(guī)模各異的 NVIDIA H100

　　H100 將提供 SXM 和 PCIe 兩種規(guī)格，可滿足各種服務(wù)器設(shè)計(jì)需求。此外，NVIDIA還會(huì)推出融合加速器，耦合 H100 GPU 與 NVIDIA ConnectX?-7 400Gb/s InfiniBand 和以太網(wǎng)智能網(wǎng)卡。

　　NVIDIA H100 SXM 提供 4 GPU 和 8 GPU 配置的 HGX? H100 服務(wù)器主板，可助力企業(yè)將應(yīng)用擴(kuò)展至一臺(tái)服務(wù)器和多臺(tái)服務(wù)器中的多個(gè) GPU?；?HGX H100 的服務(wù)器可為 AI 訓(xùn)練和推理以及數(shù)據(jù)分析和 HPC 應(yīng)用提供更高的應(yīng)用性能。

　　H100 PCIe 通過(guò) NVLink 連接兩塊 GPU，相較于 PCIe 5.0，可提供 7 倍以上的帶寬，為主流企業(yè)級(jí)服務(wù)器上運(yùn)行的應(yīng)用帶來(lái)卓越的性能。PCIe規(guī)格便于集成到現(xiàn)有的數(shù)據(jù)中心基礎(chǔ)設(shè)施中。

　　H100 CNX 是一款全新的融合加速器。這款加速器將 H100 與 ConnectX-7 智能網(wǎng)卡相結(jié)合，可為 I/O 密集型應(yīng)用（如企業(yè)級(jí)數(shù)據(jù)中心內(nèi)的多節(jié)點(diǎn) AI 訓(xùn)練和邊緣 5G 信號(hào)處理）提供強(qiáng)勁性能。

　　NVIDIA Hopper 架構(gòu) GPU 還可與 NVIDIA Grace? CPU 通過(guò) NVLink-C2C 互聯(lián)，與 PCIe 5.0 相比，可將 CPU 和 GPU 之間的通信速度提高 7 倍以上。這一組合，即Grace Hopper 超級(jí)芯片，可用于大規(guī)模 HPC 和 AI 應(yīng)用。

　　NVIDIA 軟件支持

　　H100 NVIDIA GPU 由功能強(qiáng)大的軟件工具提供支持，可助力開(kāi)發(fā)者和企業(yè)構(gòu)建并加速 AI、HPC 等一系列應(yīng)用。其中包括用于語(yǔ)音、推薦系統(tǒng)和超大規(guī)模推理等工作負(fù)載的 NVIDIA AI 軟件套件的重大更新。

　　NVIDIA 還發(fā)布了 60 多個(gè)針對(duì) CUDA-X? 的一系列庫(kù)、工具和技術(shù)的更新，以加速量子計(jì)算和 6G 研究、網(wǎng)絡(luò)安全、基因組學(xué)和藥物研發(fā)等領(lǐng)域的研究進(jìn)展。

　　供貨信息

　　NVIDIA H100 將自第三季度起開(kāi)始供貨。