8月25日，在青島舉行的全國高性能計算學(xué)術(shù)年會大會（CCF HPC China 2023）上，2023華為高性能計算解決方案分論壇同步舉辦。來自北京大學(xué)計算中心工程師付振新分享了“北京大學(xué)高性能計算平臺超融合以太數(shù)據(jù)中心網(wǎng)絡(luò)解決方案實踐”。

為滿足校內(nèi)的教學(xué)科研計算需求，北京大學(xué)從2018年起陸續(xù)建設(shè)了“未名一號”、“未名生科一號”、“未名教學(xué)二號”等高性能計算集群，有力地提升了校內(nèi)的算力供應(yīng)能力。隨著承載的用戶、計算任務(wù)和數(shù)據(jù)量不斷增加，原有平臺的網(wǎng)絡(luò)基礎(chǔ)設(shè)施性能逐漸不敷使用，因此北京大學(xué)在2023年進(jìn)行了高性能計算平臺的系統(tǒng)及網(wǎng)絡(luò)改造項目。經(jīng)過全方位的綜合評估，北京大學(xué)最終選擇了華為超融合以太數(shù)據(jù)中心網(wǎng)絡(luò)解決方案，實現(xiàn)高性能計算平臺的大提速，真正釋放算力基礎(chǔ)設(shè)施的全部潛力。

進(jìn)入二十一世紀(jì)以來，人類的科學(xué)探索逐漸深入高度復(fù)雜、高度不確定性的新環(huán)境，大量龐大而復(fù)雜的科學(xué)問題需要借助超級計算機來進(jìn)行模擬、仿真、預(yù)測。從傳統(tǒng)的化學(xué)化工、生物制藥、高能物理、金融工程、社會治理，到新興的大數(shù)據(jù)、人工智能、網(wǎng)絡(luò)信息安全等等，都因強大算力的加持而取得了超出以往的全新進(jìn)展和成果。

北京大學(xué)早在2018年就建成了高性能計算校級公共平臺，先后建成投用了“未名一號”、“未名教學(xué)二號”、“未名生科一號”等5套集群。不過隨著平臺使用人數(shù)、計算任務(wù)的增加，網(wǎng)絡(luò)基礎(chǔ)設(shè)施的流量吞吐量和復(fù)雜性都大大增加，年均節(jié)點占用率都在80%以上，“未名生科一號”的節(jié)點占用率甚至長期處于95%以上，作業(yè)時間和排隊時間變得越來越漫長。針對這一問題，幾家供應(yīng)商分別提出了基于IB、RoCEv1、RoCEv2等技術(shù)打造的網(wǎng)絡(luò)方案。在北京大學(xué)組織的基準(zhǔn)測試和通用地球系統(tǒng)模式CESM、分子動力學(xué)軟件VASP等應(yīng)用場景測試中，華為提供的基于RoCEv2的超融合以太數(shù)據(jù)中心網(wǎng)絡(luò)解決方案表現(xiàn)出了優(yōu)異性能，能夠有效縮短作業(yè)運行時間和排隊時間，于是成功入選北京大學(xué)高性能計算平臺的改造項目。

為適應(yīng)用戶對計算效率、時延、擴展性等方面的苛刻要求，高性能計算需要在不同節(jié)點之間實時高速傳遞海量數(shù)據(jù)，這對服務(wù)器互連方案的要求非常高。目前業(yè)界主流的計算互聯(lián)協(xié)議有RoCE和IB兩種，其中IB具有高吞吐、低時延、高可靠性等特點，技術(shù)先進(jìn)，不過主要掌握在英特爾、IBM、英偉達(dá)等企業(yè)手中，技術(shù)和產(chǎn)品生態(tài)都比較封閉，成本高昂。RoCE則是一種基于以太網(wǎng)絡(luò)的RDMA網(wǎng)絡(luò)協(xié)議，生態(tài)相對開放，而且著力于實現(xiàn)網(wǎng)絡(luò)的無損傳輸，深受各國高性能計算和AI等產(chǎn)業(yè)歡迎，被認(rèn)為是未來全球數(shù)字化的重要路徑。

華為基于RoCE的超融合以太技術(shù)，具有完善的流量控制、擁塞控制、流量調(diào)度和應(yīng)用加速功能，獨家實現(xiàn)了以太網(wǎng)0丟包。此外，華為還開發(fā)了在網(wǎng)計算（INC）技術(shù)有效提高集合通信效率、降低總的任務(wù)完成時間，在時延方面比IB略勝一籌。

在北京大學(xué)組織的測試中，共有TCP/IP、IB、RoCEv2三種方案，分別用基準(zhǔn)測試工具Linpack和地球系統(tǒng)模式CESM、分子動力學(xué)軟件VASP等應(yīng)用進(jìn)行實驗。結(jié)果表明，承載VASP應(yīng)用時，華為100GE RoCEv2略優(yōu)于IB；承載Linpack和CESM時，華為方案與IB性能表現(xiàn)基本一致。此前權(quán)威評測機構(gòu)Tolly也曾做過測試，在擁塞條件下的帶寬和時延等基礎(chǔ)性能測試、MPI計算性能基準(zhǔn)測試以及HPC應(yīng)用測試中，華為方案的性能都優(yōu)于其它廠商的IB組網(wǎng)方案。這些實測結(jié)果都表明，華為超融合以太網(wǎng)絡(luò)解決方案可完全可以代替IB方案。

近年來，華為超融合以太網(wǎng)絡(luò)解決方案已經(jīng)在國內(nèi)外多個高性能計算平臺項目中落地應(yīng)用。比如在2022年，華為超融合以太網(wǎng)絡(luò)解決方案還在武漢超算中心、阿聯(lián)酋高級國家研究和教育網(wǎng)絡(luò)Ankabut項目中投入了應(yīng)用，因其卓越性能而得到了客戶的高度評價。

在北京大學(xué)高性能計算平臺的前期項目中，“未名二號”集群就采用了華為100GE RoCE無損以太網(wǎng)絡(luò)方案。“未名二號”由240臺CPU計算節(jié)點和30臺GPU計算節(jié)點組成，后續(xù)可擴容至340臺CPU計算節(jié)點。與IB方案相比，北京大學(xué)高性能計算平臺管理人員發(fā)現(xiàn)華為RoCE方案無需用戶改變使用習(xí)慣，以太網(wǎng)帶寬增加更快，性能也超出預(yù)期。

隨著HPC和AI應(yīng)用的快速發(fā)展，對網(wǎng)絡(luò)帶寬吞吐的需求將不斷增長，從100GE、200GE、400GE到800GE等更高速率不斷演進(jìn)的以太網(wǎng)絡(luò)無疑是最佳的承載技術(shù)。與此同時，RoCE無損以太網(wǎng)絡(luò)在時延、吞吐量、可靠性、編解碼和調(diào)制技術(shù)等方面也在不斷進(jìn)步，使得無損以太網(wǎng)絡(luò)的總體性能不斷提高，未來有望在自動駕駛、智能制造、生物科技、金融等更多行業(yè)和領(lǐng)域投入應(yīng)用。