隨著數(shù)據(jù)生成的不斷增加，線性性能擴展已成為橫向擴展存儲的絕對要求。存儲網(wǎng)絡就像汽車道路系統(tǒng)：如果道路不是為速度而建造的，那么汽車的潛在速度就無關緊要了。即使是法拉利在充滿障礙的非鋪裝的土路上也會很慢。

連接存儲節(jié)點的以太網(wǎng)網(wǎng)絡架構(gòu)可能會阻礙橫向擴展存儲性能。NVIDIA 加速以太網(wǎng)可以消除性能瓶頸，從而為一般應用程序，特別是 AI/ML 實現(xiàn)最高的存儲性能。

橫向擴展存儲需要強大的網(wǎng)絡

全球每秒有 54000 張照片被拍攝。當您閱讀本文時，這一數(shù)字將會更高。無論您的業(yè)務是什么，您都有可能擁有大量需要存儲和分析的數(shù)據(jù)，而且數(shù)據(jù)量每天都在增長。

以前使用越來越大的存儲文件服務器的縱向擴展方法已被橫向擴展方法所取代，以提供在容量和性能方面線性擴展的存儲。

借助橫向擴展存儲或分布式存儲，可以配置和連接多個較小的節(jié)點，使其成為一個邏輯單元。單個文件或?qū)ο罂梢苑植荚诙鄠€節(jié)點上。

當需要更大的規(guī)模時，可以輕松添加額外的存儲節(jié)點，以提高存儲容量和性能。這既適用于傳統(tǒng)的企業(yè)存儲供應商解決方案，也適用于軟件和硬件獨立采購的軟件定義解決方案。

分布式存儲實現(xiàn)了靈活的擴展和成本效益，但需要高性能網(wǎng)絡來連接存儲節(jié)點。許多數(shù)據(jù)中心交換機不適合存儲的獨特流量特性，實際上可能會削弱橫向擴展存儲解決方案的性能。

存儲流量與傳統(tǒng)流量的區(qū)別

對于許多用例來說，網(wǎng)絡流量是一致且同構(gòu)的，傳統(tǒng)以太網(wǎng)就足夠了。但是，存儲設備生成的流量可能會導致以下詳述問題。

01

網(wǎng)絡壓力

當前的存儲解決方案受益于更快的 SSD 和存儲接口，如 NVMe 和 PCIe Gen 4（即將推出 PCIe Gen 5），旨在提供更高的性能。

02

擁塞

當存儲網(wǎng)絡架構(gòu)飽和時，網(wǎng)絡擁塞就不可避免，就像高速公路上交通量過多時造成道路擁堵一樣。網(wǎng)絡擁塞對于橫向擴展存儲來說尤其成問題，因為每個存儲節(jié)點都需要提供快速的數(shù)據(jù)傳輸。但當出現(xiàn)擁塞時，許多數(shù)據(jù)中心交換機都存在公平問題，其中一些節(jié)點的速度會比其他節(jié)點慢得多。單個文件或?qū)ο笸ǔ７植荚诙鄠€節(jié)點上，因此任何降低單個節(jié)點速度的操作都會有效地降低整個集群的速度。

03

突發(fā)流量

大多數(shù)存儲工作負載都是突發(fā)的，會產(chǎn)生密集的數(shù)據(jù)傳輸，并在短時間內(nèi)反復需要大量帶寬。當這種情況發(fā)生時，網(wǎng)絡交換機必須使用其緩沖區(qū)來吸收突發(fā)，直到瞬時突發(fā)結(jié)束，從而防止數(shù)據(jù)包丟失。否則，數(shù)據(jù)包丟失將需要重新傳輸數(shù)據(jù)，從而顯著降低應用程序性能。

04

存儲巨型幀

傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡流量使用的最大數(shù)據(jù)包大?。?MTU）為 1.5KB。當橫向擴展存儲節(jié)點可以使用 9KB 的“巨型幀”時，它們的性能會更好，這樣可以在提高吞吐量的同時降低? CPU 處理開銷。許多使用商用交換機 ASIC 構(gòu)建的數(shù)據(jù)中心交換機在處理巨型幀時表現(xiàn)不佳或不可預測。

05

低延遲

提高存儲 IOP 的方法之一是通過為基于閃存介質(zhì)中的讀/寫操作實現(xiàn)幾個數(shù)量級延遲降低。?然而，當網(wǎng)絡引入高延遲時，尤其是由于過度緩沖，這些昂貴的性能改進可能會丟失。

訓練和推理都需要足夠的數(shù)據(jù)量和高速訪問，以確保 GPU 處理器足夠快地輸入數(shù)據(jù)，使其保持被充分使用。在訓練期間，所有節(jié)點都會執(zhí)行寫操作，以提高模型的準確性。這導致了突發(fā)，使得交換機必須有效地處理擁塞。最后，較低的存儲延遲使 GPU 能夠更有效地處理計算任務。

為什么 ASIC 不適合存儲流量

大多數(shù)數(shù)據(jù)中心交換機都是使用商用交換機 ASIC 構(gòu)建的，這些 ASIC 針對傳統(tǒng)的數(shù)據(jù)流量模式和數(shù)據(jù)包大小進行了成本優(yōu)化。為了在實現(xiàn)帶寬目標的同時保持低成本，以太網(wǎng)交換機芯片供應商通過使用分離緩沖區(qū)架構(gòu)，這犧牲了公平性。

每個交換機都有一個緩沖區(qū)，用于吸收流量突發(fā)，并在發(fā)生擁塞時防止數(shù)據(jù)包丟失。常見的方法是擁有一個跨多個端口共享的緩沖區(qū)。然而，并非所有共享緩沖區(qū)都是相同的——存在不同的緩沖區(qū)架構(gòu)。

商用交換機沒有完全共享的緩沖區(qū)，而是使用入口共享緩沖區(qū)或出口共享緩沖區(qū)。

對于入口共享緩沖區(qū)，在一組傳入端口和特定內(nèi)存切片之間存在靜態(tài)映射。這些端口只能使用分配切片中的內(nèi)存，而不能使用整個緩沖區(qū)，即使緩沖區(qū)的其余部分可用并且沒有人在使用它。

對于出口共享緩沖區(qū)，在一組輸出端口和特定緩沖區(qū)內(nèi)存切片之間進行映射。同樣，每組出口只能使用其分配的緩沖區(qū)切片，而不能使用整個緩沖區(qū)。

對于這兩種體系結(jié)構(gòu)，保持在同一內(nèi)存切片中的流與在內(nèi)存切片之間傳輸?shù)牧鞔嬖谛袨榈牟煌Ｈ绻S多流使用具有相同緩沖區(qū)的端口，那么這些端口將面臨更高的延遲和更低的吞吐量，而使用緩沖區(qū)其他切片的流量將享受更高的性能。

存儲性能取決于存儲流量（和其他流量）使用的端口以及這些端口緩沖區(qū)切片的繁忙程度。這就是為什么使用分離緩沖區(qū)的交換機經(jīng)常遇到公平性、可預測性和微突發(fā)吸收相關的問題。

為什么深度緩沖區(qū)交換機

在存儲方面未得到優(yōu)化

深度緩沖區(qū)交換機通常指的是提供更多緩沖區(qū)（GB 而不是 MB）的交換機。深度緩沖區(qū)交換機通常被推廣用作路由器，因為如果網(wǎng)絡速度不匹配或出現(xiàn)多對一通信情況，它們可以吸收并保持大量流量突發(fā)。

但在大多數(shù)數(shù)據(jù)中心應用程序（包括橫向擴展存儲）中，深度緩沖區(qū)交換機會對性能產(chǎn)生負面影響，原因如下：

01

作業(yè)完成時間

對于并行文件系統(tǒng)，響應速度最慢的存儲節(jié)點決定了獲取文件所需的時間。與具有切片的片上緩沖區(qū)的商用交換機 ASIC 不同，深度緩沖區(qū)交換機同時具有片上和片外緩沖區(qū)，并且它們都是切片的，而非完全共享的緩沖區(qū)。

想象一下，在流離開交換機之前，有多少種流進入交換機的方式。它們可以保持在一個片上內(nèi)存切片內(nèi)（速度最快），在片上內(nèi)存切片間傳輸（速度較慢），或在片上和片外內(nèi)存切片間傳輸（速度非常慢）。

所有這些流的行為都會有所不同，因此會導致存儲流量的公平性和可預測性問題。由于這些問題會降低一個或多個節(jié)點的速度，因此會對作業(yè)完成時間產(chǎn)生負面影響，并降低整個分布式存儲集群的速度。

02

延遲

交換機緩沖區(qū)越大，每個數(shù)據(jù)包必須經(jīng)過的隊列就越長，延遲也就越大。深度緩沖區(qū)交換機的測試平均端口到端口延遲超過 500 微秒。與同代的完全共享緩沖區(qū)交換機相比，NVIDIA Spectrum 1 的延遲僅為 0.3 微秒。而交換/路由數(shù)據(jù)包需要的時間是納秒而不是微秒。

深度緩沖區(qū)延遲高出 1000 倍。您可能想知道，這只是發(fā)生在擁塞的時候嗎？不會。在擁塞的情況下，深度緩沖區(qū)的延遲會高得多；事實上，最高可達 20 毫秒，或高出 50000 倍。對于數(shù)據(jù)中心之間的路由器來說，500 微秒的延遲可能還可以，但在數(shù)據(jù)中心內(nèi)，這意味著閃存存儲性能的不可用。

03

功率和成本

深緩沖區(qū)交換機即使在空閑時也需要數(shù)百瓦的功率才能運行，這使得其持續(xù)的運營成本更高。深度緩沖區(qū)交換機的初始購買成本也高得多。如果性能更好，這可能是合理的，但實際測試證明恰恰相反。

選擇不合適的網(wǎng)絡交換機會嚴重拖慢存儲工作負載，使昂貴的快速存儲變得像更便宜、更慢的存儲一樣。

借助 NVIDIA Spectrum 可以降低資本支出和運營支出。節(jié)省的電力還可以用于機架內(nèi)的其他用途。

NVIDIA Spectrum 交換機

針對存儲進行了優(yōu)化

使用商用交換 ASIC，流要么保持在同一個內(nèi)存切片上，要么在內(nèi)存切片之間流動。

借助 NVIDIA Spectrum 交換機，由于完全共享的緩沖區(qū)，所有流的行為都是相同的。這種架構(gòu)的價值在于最大的突發(fā)吸收能力以及最佳的公平和可預測的性能。通過交換機的所有流都得到相同的處理，并且通常享有相同的良好性能，無論它們使用哪個入口和出口。

深度緩沖區(qū)交換機和

NVIDIA Spectrum 的基準測試

第一種情況使用一個通用的存儲基準 FIO 工具，在后臺流量運行時從兩個發(fā)起端發(fā)送到一個目標端的寫操作。這是一種典型的存儲場景。

該團隊測量了 FIO 工作完成所需的時間（越短越好）。使用深度緩沖區(qū)交換機，F(xiàn)IO 作業(yè)耗時 87 秒。使用 NVIDIA Spectrum 交換機，作業(yè)運行速度提高 40%，僅需 51 秒即可完成。

圖 1：與深度緩沖區(qū)交換機相比，NVIDIA Spectrum 交換機的存儲寫入操作快 40%

深度緩沖區(qū)交換機大大增加了延遲，從而降低了存儲速度并降低了應用程序性能。但是延遲能有多高？

對于第二種情況，該團隊采用了深度緩沖區(qū)交換機，并測試了在不同的擁塞用例下延遲是如何受到影響的。最大緩沖區(qū)占用率僅為整個緩沖區(qū)大小的 10% 左右。

圖 2：與緩沖區(qū)大小和緩沖區(qū)占用率相比的實際和預測延遲

從圖 2 左側(cè)的圖表中可以得出兩個有意義的見解。首先，深度緩沖區(qū)交換機延遲比 Spectrum 交換機高 50000 倍（2 – 19 毫秒，而 Spectrum 僅為 300 納秒）。

其次，緩沖區(qū)占用率和延遲之間存在明顯的線性相關性。換句話說，測試證明，占用的緩沖區(qū)越大，延遲就越大。

有了這一理解，圖 2 右側(cè)的圖表顯示了每個深度緩沖區(qū) ASIC（如 Jericho 1 、Jericho 2 或 Ramon）的最大延遲。這些非常高的延遲數(shù)通常與數(shù)據(jù)中心應用程序不兼容，尤其與快速存儲解決方案不兼容。

對于第三種情況，該團隊使用了兩臺 Windows 計算機，并同時將每臺計算機中的一個文件復制到同一目標存儲中。

使用深度緩沖區(qū)交換機時，一臺 Windows 計算機的帶寬是另一臺計算機的三倍（ 830MBps 與 290MBps 相比）。使用 Spectrum 交換機時，每臺計算機的帶寬均為 584 MBps（如預期的 50%）。

實際測試表明，深度緩沖區(qū)交換機對數(shù)據(jù)中心應用程序（如吸收數(shù)據(jù)包和防止數(shù)據(jù)丟失）沒有積極影響。

長距離或廣域網(wǎng)連接可能需要深度緩沖區(qū)交換機；然而，它們對于數(shù)據(jù)中心應用程序來說不是理想選擇，并且會產(chǎn)生負面影響，特別是當工作負載擴展到僅兩個節(jié)點之外時，如本用例中所示。

圖 3 ：深度緩沖區(qū)交換機為每個節(jié)點提供了不公平的帶寬（左圖），而 NVIDIA Spectrum 交換機提供了相等的帶寬（右圖）

這三個用例證明了為什么深度緩沖區(qū)交換機會對 AI/ML 和存儲工作負載產(chǎn)生不利影響，而 Spectrum 交換機則提供了最大化的性能。

總結(jié)

NVIDIA Spectrum Ethernet switches?是專為 AI/ML 和存儲工作負載而構(gòu)建的，其性能優(yōu)于具有分離緩沖區(qū)或深度緩沖區(qū)的交換機。它們可以更好地處理擁塞，防止數(shù)據(jù)包丟失，并且在處理巨型幀（首選存儲）方面表現(xiàn)出色。NVIDIA Spectrum 以太網(wǎng)交換機可以提供良好的應用程序性能，網(wǎng)絡延遲也較低。

掃描下方二維碼，查看更多有關 NVIDIA Spectrum Ethernet switches 的信息。

?

更多精彩內(nèi)容 使用 NVIDIA Spectrum-X 網(wǎng)絡平臺加速生成式 AI 工作負載
COMPUTEX2023 | NVIDIA 推出面向超大規(guī)模生成式 AI 的加速以太網(wǎng)平臺