電子發(fā)燒友網(wǎng)報道（文/周凱揚(yáng)）英偉達(dá)于今年發(fā)布了新一代的GH200 Grace Hopper硬件平臺，預(yù)示著其發(fā)展HPC與AI的重要路線邁進(jìn)了新階段。GH200將用于應(yīng)對世界上最復(fù)雜的生成式AI負(fù)載，涵蓋大語言模型、推薦系統(tǒng)和矢量數(shù)據(jù)庫等應(yīng)用，且英偉達(dá)依然為GH200準(zhǔn)備了不同的配置選項，無疑這一芯片很快就會用于各大數(shù)據(jù)中心和超算中。

NVLink，從片外互聯(lián)走向片內(nèi)互聯(lián)

或許在多數(shù)人眼中，GH200不過是新一代Grace CPU和Hopper GPU結(jié)合的又一新產(chǎn)品，但這必然不是英偉達(dá)追求的“1+1=2”效果。事實(shí)上，GH200是象征著英偉達(dá)在芯片互聯(lián)技術(shù)先進(jìn)設(shè)計水平的集大成者。

在英偉達(dá)的第四代NVLink技術(shù)和第三代NVSwitch技術(shù)下，創(chuàng)造一個256個GH200連接在一起的系統(tǒng)也不在話下。但這樣的片外互聯(lián)技術(shù)并不算罕見，市面上也有不少初創(chuàng)公司的AI芯片可以做到類似或者更夸張的擴(kuò)展性。

然而在片內(nèi)芯片互聯(lián)上，NVLink-C2C這一互聯(lián)技術(shù)確實(shí)達(dá)到了新的高度。NVLink-C2C是英偉達(dá)專為其superchip系列打造的內(nèi)存一致、高帶寬、低延遲互聯(lián)技術(shù)。也是其實(shí)現(xiàn)高達(dá)900GB/s總帶寬的關(guān)鍵所在。900GB/s的帶寬是什么概念呢？與現(xiàn)代AI/HPC加速器常用的16路的PCIe 5.0相比，還要快上6倍。

NVLink-C2C的優(yōu)勢

NVLink-C2C的第一大優(yōu)勢就是其內(nèi)存一致性，這不僅提高了開發(fā)者的效率、芯片性能，還提高了GPU可以訪問的內(nèi)存量。在這一互聯(lián)技術(shù)的支持下，如今CPU、GPU線程都可以并行訪問CPU和GPU各自的內(nèi)存，無需頁遷移，所以開發(fā)者可以專心于優(yōu)化算法本身，而不是內(nèi)存管理。

其次就是900GB/s的帶寬了，有了NVLink-C2C，應(yīng)用程序可以直接用滿GPU的內(nèi)存，再以超高的帶寬直接調(diào)用Grace CPU的內(nèi)存。畢竟即便是最新的HBM3e版GH200，也只有144GB的內(nèi)存，而Grace CPU可以支持到最高480GB的LPDDR5X內(nèi)存。甚至在NVSwitch的支持下，可以高速訪問整個系統(tǒng)中最高達(dá)144TB的內(nèi)存。

如此一來在GPT這樣的LLM模型中，可用的內(nèi)存也就變多了。這對于batch size增加后，推理所需內(nèi)存數(shù)增加的生成式AI來說至關(guān)重要。相比過去x86 CPU+PCIe 5.0 H100的搭配組合，GH200在更大的batch size下推理速度有著數(shù)倍的提升。

英偉達(dá)也對高帶寬在HPC加速上的優(yōu)勢進(jìn)行了解讀，以ABINIT的標(biāo)準(zhǔn)執(zhí)行時間為例，ABINIT是一個用于計算材料光學(xué)、機(jī)械、振動等特性的模擬軟件。以只用x86 CPU的執(zhí)行時間作為標(biāo)準(zhǔn)，在x86 CPU與Hopper GPU的結(jié)合下，超高性能的Hopper GPU極大地縮短了執(zhí)行時間。

然而在CPU與GPU之間的傳輸開銷下，這一組合最終只能做到快上1.16倍的優(yōu)勢。而如果是使用Grace Hopper方案的話，在NVLink-C2C的超大帶寬下，CPU與GPU之間的傳輸開銷迅速縮減，最終實(shí)現(xiàn)了縮短4.25倍的執(zhí)行時間。

寫在最后

英偉達(dá)會走上自研CPU和Superchip的路線其實(shí)并不令人意外，為CPU與GPU之間打通一個更快的接口一直是英偉達(dá)的努力方向之一。此前由于x86的CPU設(shè)計主要還是有英特爾和AMD兩家廠商完成，而Grace這樣的自研Arm芯片則沒了設(shè)計限制，可以摻入英偉達(dá)的各種定制化開發(fā)。

NVLink-C2C也為市面上其他的AI芯片帶來了更大的挑戰(zhàn)，畢竟英偉達(dá)在性能、軟件生態(tài)上已經(jīng)處于領(lǐng)先地位，又有著如此高效的互聯(lián)技術(shù)?？梢灶A(yù)見未來其他廠商也會在芯片互聯(lián)、高速接口等領(lǐng)域發(fā)力，否則很難與英偉達(dá)同臺競爭。