在人工智能、5G、邊緣計算等數(shù)字化創(chuàng)新技術(shù)的驅(qū)動下，數(shù)據(jù)正在呈現(xiàn)爆發(fā)式增長的趨勢。為挖掘海量數(shù)據(jù)背后的價值，高性能存儲系統(tǒng)的需求急劇增加，也為分布式存儲系統(tǒng)提供了廣闊的應(yīng)用空間。

相比傳統(tǒng)架構(gòu)，分布式存儲系統(tǒng)具有更高的并發(fā)和更低的時延，可實現(xiàn)敏捷的擴展，幫助企業(yè)提升投資回報，目前已經(jīng)成為企業(yè)推進數(shù)字化轉(zhuǎn)型的關(guān)鍵策略之一。網(wǎng)易主導(dǎo)自研的云原生高性能分布式存儲系統(tǒng) Curve 就是其中之一，它致力于為企業(yè)提供一個高性能、低時延的存儲底座，基于該存儲底座，企業(yè)可以打造適用于不同應(yīng)用場景的存儲系統(tǒng)，如塊存儲、對象存儲、云原生數(shù)據(jù)庫等。同時，網(wǎng)易與英特爾聯(lián)合推出了第四代英特爾 至強 可擴展處理器的 Curve 方案，該方案借助高性能處理器與高性能數(shù)據(jù)庫，實現(xiàn)了較高的存儲性能表現(xiàn)，以應(yīng)對分布式存儲系統(tǒng)在性能、TCO 等方面遇到的挑戰(zhàn)。

分布式存儲系統(tǒng)雖有優(yōu)勢但仍面臨挑戰(zhàn)

Curve 是網(wǎng)易數(shù)帆主導(dǎo)自研的一款高性能、易運維、云原生的開源分布式存儲系統(tǒng)，并具有高性能、高可用和自治三大設(shè)計特點。Curve 目前支持文件存儲 (CurveFS) 和塊存儲 (CurveBS)。Curve 可應(yīng)用于主流的云原生基礎(chǔ)設(shè)施平臺，亦可作為云存儲中間件使用 S3 兼容的對象存儲作為數(shù)據(jù)存儲引擎，為公有云用戶提供高性價比的共享文件存儲。

雖然分布式存儲系統(tǒng)相比傳統(tǒng)存儲架構(gòu)具有更高并發(fā)和更低時延等優(yōu)勢，但隨著數(shù)據(jù)的快速增長，分布式存儲系統(tǒng)在性能、TCO 等方面仍然面臨多重挑戰(zhàn)：

創(chuàng)新應(yīng)用、海量數(shù)據(jù)帶來嚴峻性能壓力

用戶增長與業(yè)務(wù)創(chuàng)新使得分布式存儲系統(tǒng)必須具備更高的性能水平，以在特定的服務(wù)級別協(xié)議 (SLA) 標準下處理數(shù)據(jù)。這對存儲系統(tǒng)的吞吐能力和時延造成了巨大壓力，使得存儲系統(tǒng)的性能壓力遠超傳統(tǒng)業(yè)務(wù)。

存儲集群規(guī)模增長可能導(dǎo)致 IO 性能抖動

在大規(guī)模的存儲集群中，有可能出現(xiàn)單個節(jié)點或磁盤異常（慢盤壞盤、節(jié)點超載等），導(dǎo)致 IO 請求時延飆高，進而出現(xiàn) IO 抖動。隨著集群規(guī)模的增長，IO 抖動的問題可能變得更加嚴峻。

分布式存儲系統(tǒng)的規(guī)模帶來較高的 TCO 挑戰(zhàn)

為了提升系統(tǒng)吞吐量并降低時延，面向關(guān)鍵業(yè)務(wù)的分布式存儲系統(tǒng)通常需要較高的集群規(guī)模，這會直接帶來高額的采購成本。此外，存儲系統(tǒng)的服務(wù)器集群在空間占用、運維、供電散熱等方面，也會帶來較高的成本壓力，因此提升單節(jié)點的性能密度成為重要發(fā)展方向。

英特爾 至強?提升Curve 性能
滿足多場景存儲需求

高性能存儲系統(tǒng)依賴于高性能的硬件，尤其是 CPU 的性能更是堪稱關(guān)鍵。為避免出現(xiàn)性能瓶頸，網(wǎng)易推薦采用搭載英特爾 至強 可擴展處理器的服務(wù)器，以搭建 Curve 存儲系統(tǒng)，滿足多種場景的存儲需求。?

以第四代英特爾 至強 可擴展處理器為例，它通過創(chuàng)新架構(gòu)增加了每個時鐘周期的指令，每個插槽多達 60 個核心，支持 8 通道DDR5 內(nèi)存，有效提升了內(nèi)存帶寬與速度，并通過 PCIe 5.0（80 個通道）實現(xiàn)了更高的 PCIe 帶寬提升。第四代英特爾 至強 可擴展處理器提供了出色性能和安全性，可根據(jù)用戶的業(yè)務(wù)需求進行擴展。借助英特爾 IAA、英特爾 AMX、英特爾 DSA、英特爾 QAT等內(nèi)置加速器，用戶可以在 AI、分析、云和微服務(wù)、網(wǎng)絡(luò)、數(shù)據(jù)庫、存儲等類型的工作負載中獲得優(yōu)化的性能。通過與強大的生態(tài)系統(tǒng)相結(jié)合，第四代英特爾 至強 可擴展處理器能夠幫助用戶構(gòu)建更加高效、安全的基礎(chǔ)設(shè)施。?

為了測試搭載第四代英特爾 至強 可擴展處理器的 Curve 塊存儲系統(tǒng)性能表現(xiàn)，網(wǎng)易進行了測試。測試使用 3 臺 Server 節(jié)點和 1 臺 Client 節(jié)點，配置如表 1 所示，并在同一配置上部署了Ceph，進行了性能對比。

圖1：節(jié)點硬件配置

測試工具采用了 fio 基準測試，對比了同等配置下 Curve 塊存儲與 Ceph 存儲的 4K 隨機性能。測試數(shù)據(jù)如圖 2 所示，Curve 塊存儲 4K 隨機寫性能比 Ceph 高 1.07 倍，在混合讀寫場景（讀寫比7:3）下，性能比 Ceph 高 1.47 倍，隨機讀性能高 1.55 倍1。

圖2：Ceph 與 Curve 性能比較

在 Curve 塊存儲中，網(wǎng)絡(luò)傳輸中服務(wù)端處理可能會占用內(nèi)存帶寬與 CPU 資源，影響系統(tǒng)性能。通過在 Curve 塊存儲中啟用遠程直接數(shù)據(jù)存取 (Remote Direct Memory Access, RDMA) 技術(shù)，有助于進一步提升存儲性能：RDMA 技術(shù)可以讓計算機直接訪問遠程計算機的內(nèi)存，而無需在本地和遠程計算機之間進行數(shù)據(jù)復(fù)制，從而提高網(wǎng)絡(luò)通信的性能和效率。?

網(wǎng)易數(shù)帆測試了啟用 RDMA 后 Curve 的性能，測試數(shù)據(jù)如圖 3 所示，啟用 RDMA 后 Curve 性能最高提升到 1.86 倍，同時時延也有大幅改進2。

圖3：啟用 RDMA 前后的 Curve 性能比較

圖 4. 啟用 RDMA 后不同隊列深度的讀寫時延

雙方攜手打造高效云原生存儲解決方案，實現(xiàn)四大收益

基于第四代英特爾 至強 可擴展處理器的 Curve 高性能分布式存儲方案在吞吐、時延、TCO 等方面具備出色優(yōu)勢，能夠為金融、互聯(lián)網(wǎng)、交通、能源等各行業(yè)提供高效的云原生存儲解決方案。其主要收益有以下四個方面：

應(yīng)對超高性能場景的存儲需求，實現(xiàn)快速響應(yīng)：得益于第四代英特爾 至強 可擴展處理器的強大性能，以及 Curve 在性能方面的優(yōu)化，該方案實現(xiàn)了卓越的性能表現(xiàn)，能夠有效應(yīng)對超大并發(fā)量業(yè)務(wù)在吞吐、時延方面的挑戰(zhàn)，提升業(yè)務(wù)服務(wù)能力。 ? 降低大規(guī)模集群下的性能抖動：Curve 采用了優(yōu)化數(shù)據(jù)均衡工具、Backport 下線主動發(fā)現(xiàn)機制、優(yōu)化 Peering 耗時、恢復(fù)速度控制、實現(xiàn)異步恢復(fù)等方式，并配置了數(shù)量眾多的監(jiān)控告警，以便及時發(fā)現(xiàn)問題節(jié)點、進行故障處理，從而降低存儲異常導(dǎo)致 IO 抖動的問題。 ? 有效控制 TCO，提高投資回報：基于第四代英特爾 至強 可擴展處理器的 Curve 提升了單節(jié)點的性能密度，有助于降低集群構(gòu)建、擴展帶來的成本壓力。 ? 提升可用性：Curve 采用多種數(shù)據(jù)高可用機制，網(wǎng)易的應(yīng)用實踐顯示，系統(tǒng)上線以來，未出現(xiàn)數(shù)據(jù)不一致和丟數(shù)據(jù)的情況，沒有發(fā)生過重大故障，實現(xiàn)了卓越的數(shù)據(jù)可靠性和服務(wù)可用性。

在現(xiàn)有成果的基礎(chǔ)上，Curve 將會持續(xù)優(yōu)化性能表現(xiàn)，包括支持云原生數(shù)據(jù)庫、為 K8s 集群提供存儲服務(wù)，并積極挖掘英特爾 至強 可擴展處理器、英特爾 以太網(wǎng)適配器等新一代硬件的性能潛力，探索 io_uring、QUIC、英特爾 SPDK、RAMA 等技術(shù)的應(yīng)用，將其反饋給開源社區(qū)，為客戶提供更高性能的存儲系統(tǒng)。?

英特爾也將與網(wǎng)易繼續(xù)深度合作，通過聯(lián)合技術(shù)創(chuàng)新、產(chǎn)品驗證、場景化落地等方式，持續(xù)釋放英特爾 至強 可擴展處理器在性能和可擴展性等方面的優(yōu)勢，加速軟硬件的融合，高效地利用計算、存儲、網(wǎng)絡(luò)等資源，充分發(fā)揮云原生高性能分布式存儲系統(tǒng)的優(yōu)勢，助力企業(yè)數(shù)字化創(chuàng)新。

審核編輯：黃飛