NVIDIA NVLink已成為高性能計算（HPC）和人工智能領(lǐng)域的關(guān)鍵技術(shù)。本文深入探討了NVLink的復(fù)雜性，并介紹NVSwitch芯片、NVLink服務(wù)器和NVLink交換機，以揭示其在不斷演進的先進計算領(lǐng)域中的重要性。

關(guān)于CPU、服務(wù)器和存儲詳細(xì)技術(shù)，請參考“服務(wù)器基礎(chǔ)知識全解(終極版)”，“更新下載：存儲系統(tǒng)基礎(chǔ)知識全解（終極版）”、“存儲芯片技術(shù)基礎(chǔ)知識介紹（2023）”等等。

什么是NVIDIA NVLink

NVLink是一種解決服務(wù)器內(nèi)GPU之間通信限制的協(xié)議。與傳統(tǒng)的PCIe交換機不同，NVLink帶寬有限，可以在服務(wù)器內(nèi)的GPU之間實現(xiàn)高速直接互連。第四代NVLink提供更高的帶寬，每條通道達(dá)到112Gbps，比PCIe Gen5通道速率快三倍。

NVLink旨在為GPU直接互連提供簡化、高速、點對點的網(wǎng)絡(luò)，相比傳統(tǒng)網(wǎng)絡(luò)減少了開銷。通過在不同層次提供CUDA加速，NVLink減少了與通信相關(guān)的網(wǎng)絡(luò)開銷。NVLink隨著GPU架構(gòu)的演進不斷發(fā)展，從P100的NVLink1到H100的NVLink4，如圖所示。NVLink 1.0、NVLink 2.0、NVLink 3.0和NVLink 4.0之間的關(guān)鍵區(qū)別在于連接方式、帶寬和性能。

NVSwitch芯片

NVSwitch芯片是一種物理芯片，類似于交換機ASIC，可通過高速的NVLink接口連接多個GPU，提高服務(wù)器內(nèi)的通信和帶寬。第三代NVIDIA NVSwitch可支持以900 GB/s的速率互連每對GPU。

NVSwitch3芯片具有64個NVLink4端口，提供總共12.8 Tbps的單向帶寬或3.2 TB/s的雙向帶寬。NVSwitch3芯片的獨特之處在于其集成了SHARP功能，對多個GPU單元的計算結(jié)果進行聚合和更新，減少網(wǎng)絡(luò)數(shù)據(jù)包并提高計算性能。

NVLink服務(wù)器

NVLink服務(wù)器采用NVLink和NVSwitch技術(shù)連接GPU，通?？稍?a href="http://www.makelele.cn/tags/英偉達(dá)/" target="_blank">英偉達(dá)（NVIDIA）的DGX系列服務(wù)器或具有類似架構(gòu)的OEM HGX服務(wù)器中找到。這些服務(wù)器利用NVLink技術(shù)，提供出色的GPU互聯(lián)性、可擴展性和高性能計算能力。2022年，英偉達(dá)（NVIDIA）宣布推出第四代NVIDIA DGX系統(tǒng)，這是世界上首個采用新的NVIDIA DGX H100服務(wù)器構(gòu)建的AI平臺。

因此，NVLink服務(wù)器在科學(xué)計算、人工智能、大數(shù)據(jù)處理和數(shù)據(jù)中心等關(guān)鍵領(lǐng)域已經(jīng)變得不可或缺。通過提供強大的計算能力和高效的數(shù)據(jù)處理，NVLink服務(wù)器不僅滿足了這些領(lǐng)域的嚴(yán)格要求，還推動了這些領(lǐng)域的進步和創(chuàng)新。

NVLink交換機

2022年，英偉達(dá)（NVIDIA）將NVSwitch芯片獨立出來，并制作成NVLink交換機，用于連接主機之間的GPU設(shè)備。它采用了1U尺寸設(shè)計，具有32個OSFP端口；每個OSFP端口包含8個112G PAM4通道，每個交換機內(nèi)置2個NVSwitch3芯片。

NVLink網(wǎng)絡(luò)

NVSwitch物理交換機將多個NVLink GPU服務(wù)器連接成一個大型Fabric網(wǎng)絡(luò)，即NVLink網(wǎng)絡(luò)，解決了GPU之間的高速通信帶寬和效率問題。每個服務(wù)器都有獨立的地址空間，為NVLink網(wǎng)絡(luò)中的GPU提供數(shù)據(jù)傳輸、隔離和安全保護。當(dāng)系統(tǒng)啟動時，NVLink網(wǎng)絡(luò)通過軟件API自動建立連接，并可以在運行過程中更改地址。

該圖比較了NVLink網(wǎng)絡(luò)與傳統(tǒng)以太網(wǎng)網(wǎng)絡(luò)，演示了如何創(chuàng)建獨立于IP以太網(wǎng)并專用于GPU服務(wù)的NVLink網(wǎng)絡(luò)。

InfiniBand網(wǎng)絡(luò) VS NVLink網(wǎng)絡(luò)

InfiniBand網(wǎng)絡(luò)和NVLink網(wǎng)絡(luò)是在高性能計算和數(shù)據(jù)中心應(yīng)用中使用的兩種不同的網(wǎng)絡(luò)技術(shù)。它們有以下區(qū)別： 架構(gòu)和設(shè)計：InfiniBand網(wǎng)絡(luò)是一種采用多通道、高速串行連接的開放標(biāo)準(zhǔn)網(wǎng)絡(luò)技術(shù)，支持點對點和多播通信。NVLink網(wǎng)絡(luò)是由英偉達(dá)（NVIDIA）開發(fā)的專有技術(shù)，旨在實現(xiàn)GPU之間的高速直連。 應(yīng)用場景：InfiniBand網(wǎng)絡(luò)廣泛應(yīng)用于高性能計算集群和大規(guī)模數(shù)據(jù)中心。NVLink網(wǎng)絡(luò)主要用于大規(guī)模GPU集群、HPC、人工智能等領(lǐng)域。 帶寬和延遲：InfiniBand網(wǎng)絡(luò)提供高帶寬和低延遲的通信，提供更高的吞吐量和更短的傳輸延遲。NVLink網(wǎng)絡(luò)為GPU之間提供更高的帶寬和更低的延遲，以支持快速數(shù)據(jù)交換和協(xié)同計算。以下是使用NVLink網(wǎng)絡(luò)的H100和使用InfiniBand網(wǎng)絡(luò)的A100之間的帶寬比較。

結(jié)論

NVIDIA NVLink作為一項開創(chuàng)性的技術(shù)，徹底改變了高性能計算和人工智能領(lǐng)域。它能夠增強GPU之間的通信，提高性能，并實現(xiàn)無縫的并行處理，成為眾多高性能計算和人工智能應(yīng)用中不可或缺的組成部分。隨著先進計算領(lǐng)域的不斷發(fā)展，NVLink的重要性和影響力將不斷擴大，推動技術(shù)創(chuàng)新。

審核編輯：黃飛

?