周四，英特爾、AMD、博通、思科、谷歌、HPE、Meta和微軟宣布正在建立一個新的行業(yè)組織——Ultra Accelerator Link(UALink）推廣組，以指導(dǎo)數(shù)據(jù)中心AI加速器芯片之間連接組件的發(fā)展。作為一項新的開放標(biāo)準(zhǔn)，他們希望用它來取代 Nvidia專有的 NVLink 接口。

?

去年七月，由英特爾、AMD、思科、Meta等公司支持的超以太網(wǎng)聯(lián)盟 (UEC) 正式成立，旨在引領(lǐng)高性能網(wǎng)絡(luò)的發(fā)展。現(xiàn)在，UALink橫空出世，用于在同一系統(tǒng)或形成pod 的一組系統(tǒng)內(nèi)連接 GPU/加速器。

如何“連接” GPU ？

Nvidia作為GPU技術(shù)的領(lǐng)航者，顯著推動了GPU技術(shù)在高性能計算、通用人工智能（GenAI）等多個領(lǐng)域的應(yīng)用發(fā)展。通過GPU間的互聯(lián)，可以實現(xiàn)更復(fù)雜問題的處理及應(yīng)用性能的飛躍。

GPU互連主要有三種基本方式：

1. PCI 總線：一般支持4至8個GPU通過PCI總線相連，而利用GigaIO FabreX內(nèi)存架構(gòu)等技術(shù)，這一數(shù)量可拓展至32個。CXL 技術(shù)也展現(xiàn)出了潛力，但是 Nvidia 對此的支持有限。對于多種應(yīng)用場景，這些可重組的GPU架構(gòu)作為GPU直接擴展的替代方案，具有吸引力。

2. 服務(wù)器間互連：以太網(wǎng)或 InfiniBand 可以連接包含 GPU 的服務(wù)器。這種連接級別通常稱為橫向擴展，其中較快的多 GPU 域通過較慢的網(wǎng)絡(luò)連接以形成大型計算網(wǎng)絡(luò)。其中，以太網(wǎng)長期擔(dān)當(dāng)計算機網(wǎng)絡(luò)的核心，超以太網(wǎng)聯(lián)盟的成立進一步推動其高性能發(fā)展。英特爾Gaudi -2 AI 處理器在芯片上擁有 24 個 100-Gigabit以太網(wǎng)連接，強化了在以太網(wǎng)領(lǐng)域的地位。Nvidia未加入Ultra Ethernet聯(lián)盟，其在 2019 年 3 月收購 Mellanox 后，幾乎獨占了高性能 InfiniBand 互連市場。超以太網(wǎng)聯(lián)盟旨在成為其他企業(yè)的“InfiniBand”。值得注意的是，英特爾過去曾是InfiniBand的主要推動者。

3. GPU 到 GPU 互連：鑒于快速且可擴展的GPU連接需求，Nvidia開發(fā)了NVLink，這是一種目前可在GPU間以每秒1.8TB 的速率傳輸數(shù)據(jù)的GPU間連接技術(shù)。還有NVLink機架級交換機，能夠在無阻塞計算結(jié)構(gòu)中支持多達576個全互聯(lián)GPU。通過NVLink相連的GPU被稱為“pod”，表明它們擁有獨立的數(shù)據(jù)和計算域。

對于其他廠商來說，除了AMD用于連接MI300A APU的Infinity Fabric外，別無選擇。如同InfiniBand與以太網(wǎng)的情況，需要一個由競爭對手組成的某種“Ultra”聯(lián)盟來填補非Nvidia“pod”領(lǐng)域的空白。而UALink正是這一需求的響應(yīng)。

UALink 劍指 NVLink ！

與 NVLink 類似，構(gòu)建一個強大、低延遲且高效的橫向擴展網(wǎng)絡(luò)至關(guān)重要，該網(wǎng)絡(luò)可以輕松地將計算資源添加到單個實例（即將 GPU 和加速器視為一個大型系統(tǒng)或“pod”）。

在此背景下，UALink 和開放行業(yè)規(guī)范的出現(xiàn)對于標(biāo)準(zhǔn)化下一代硬件的 AI 和機器學(xué)習(xí)、HPC 和云應(yīng)用接口至關(guān)重要。該小組將開發(fā)一種高速、低延遲的互連規(guī)范，旨在加速AI計算Pod中加速器與交換機間的擴展通信。

UALink 1.0規(guī)范將支持在AI計算Pod內(nèi)部連接多達1,024個加速器，并允許Pod內(nèi)加速器（如GPU）所附著的內(nèi)存之間進行直接加載與存儲操作。UALink發(fā)起小組已組建UALink聯(lián)盟，預(yù)計該聯(lián)盟將于2024年第三季度正式成立。1.0規(guī)范預(yù)期同樣在2024年第三季度面世，并向加入UALink聯(lián)盟的公司開放。



UALink Scale Up Pod

UALink 的一大優(yōu)勢是，它為業(yè)內(nèi)其他廠商提供了一個追趕Nvidia的機會。如今，Nvidia已有能力生產(chǎn)NVSwitch盒，并將這些NVSwitch托盤集成進諸如Nvidia DGX GB200 NVL72之類的高端產(chǎn)品中。相比之下，英特爾今年銷售了價值數(shù)億美元的 AI 加速器，AMD憑借MI300X預(yù)計將售出數(shù)十億美元的產(chǎn)品，但盡管如此，其在AI領(lǐng)域的規(guī)模仍無法與Nvidia相提并論。

UALink的出現(xiàn)，使得像博通這樣的企業(yè)能夠制造UALink交換機，助力其他企業(yè)實現(xiàn)規(guī)模擴展，并且這些交換機能跨不同廠商的多種加速器使用。此前，博通就制定了Atlas交換機計劃，即利用AMD Infinity Fabric作為與Nvidia NVLink競爭的規(guī)?；壏桨?，并應(yīng)用于PCIe Gen7的博通交換機中，這些交換機可能會實現(xiàn) UALink V1.0。

超以太網(wǎng)將繼續(xù)作為向更多節(jié)點擴展的關(guān)鍵技術(shù)。博通可能會在其 800Gbps Thor 產(chǎn)品系列的早期型號中集成超以太網(wǎng) NIC，但考慮到規(guī)范標(biāo)準(zhǔn)化的當(dāng)前進程，全面實現(xiàn)UEC標(biāo)準(zhǔn)的支持可能還需等待下一代產(chǎn)品的問世。



UALink Ultra Ethernet

為了支持 UALink，超以太網(wǎng)聯(lián)盟主席 J Metz 博士表達了其積極的支持態(tài)度：“在很短的時間內(nèi)，科技行業(yè)已經(jīng)接受了AI和HPC揭示的挑戰(zhàn)。在追求效率與性能提升的過程中，加速器，尤其是GPU的互連，需要一個全面的視角。我們相信UALink所采取的針對Pod集群問題的擴展解決方案，與UEC的橫向擴展協(xié)議相得益彰。我們滿懷期待，未來能攜手合作，共同打造一個既開放又利于生態(tài)系統(tǒng)建設(shè)、覆蓋全行業(yè)的解決方案，以全面滿足不同場景下的擴展需求?！?

最后

如今，許多企業(yè)都在嘗試采用標(biāo)準(zhǔn) PCIe 交換機，并構(gòu)建基于 PCIe 的架構(gòu)以擴展到更多加速器。然而，行業(yè)巨頭們似乎視其更多為權(quán)宜之計。相比之下，Nvidia的NVLink成為了業(yè)內(nèi)公認(rèn)的橫向擴展技術(shù)標(biāo)桿?，F(xiàn)在，一個開放標(biāo)準(zhǔn)的陣營正崛起，旨在打破其專有技術(shù)壁壘。

對于 AMD 和英特爾等公司來說，這提供了一條復(fù)制 NVLink 和 NVSwitch 功能的道路，同時能夠與其他企業(yè)共享開發(fā)成果。博通這樣的公司很可能是最大的贏家，無論是在橫向還是縱向擴展場景下，它都將成為非Nvidia系統(tǒng)連接解決方案的首選供應(yīng)商。無論AMD或英特爾誰能領(lǐng)先，博通都將作為連接技術(shù)的供應(yīng)商而受益。對于超大規(guī)模數(shù)據(jù)中心運營商來說，投資標(biāo)準(zhǔn)化架構(gòu)極具意義，無論最終采用哪家的終端設(shè)備。

這一切都需要時間。



審核編輯：劉清