當(dāng)下大規(guī)模AI訓(xùn)練成為常態(tài)，RoCEv2憑借高性能、低延遲與低CPU開(kāi)銷(xiāo)的優(yōu)勢(shì)，已成為構(gòu)建智算中心的優(yōu)先選擇。然而，RoCE對(duì)網(wǎng)絡(luò)無(wú)損的嚴(yán)苛要求，配置不當(dāng)會(huì)放大擁塞，如 PFC、ECN、Buffer滯留等引發(fā)的高延遲、性能下降等，而這些問(wèn)題統(tǒng)一表現(xiàn)為“GPU通信異?！?。而逐項(xiàng)排查的操作相當(dāng)繁瑣。

如何有效采集RoCE網(wǎng)卡狀態(tài)數(shù)據(jù)？

為解決 RoCE 網(wǎng)絡(luò)監(jiān)控運(yùn)維上的不便，我們新推出了EasyRoCE-NE（RoCE網(wǎng)卡狀態(tài)采集，NIC Exporter）RoCE網(wǎng)卡狀態(tài)采集工具。

EasyRoCE 工具集是星融元依托開(kāi)源、開(kāi)放的網(wǎng)絡(luò)架構(gòu)與技術(shù)，為AI 智算、超算等場(chǎng)景的RoCE網(wǎng)絡(luò)提供的一系列實(shí)用特性和小工具，如一鍵配置RoCE，高精度流量監(jiān)控等…

NE 是 EasyRoCE 工具集中針對(duì)服務(wù)器網(wǎng)絡(luò)監(jiān)控部分的組件。由兩部分構(gòu)成：Exporter 客戶端（NIC Exporter）、監(jiān)控面板自動(dòng)化創(chuàng)建程序（NIC Generator）

采集數(shù)據(jù)

NIC Exporter 運(yùn)行在GPU服務(wù)器內(nèi)部，采集GPU網(wǎng)卡的配置、流量狀況信息。轉(zhuǎn)換為Prometheus能讀取的標(biāo)準(zhǔn)格式并通過(guò)HTTP接口暴露。

可視化呈現(xiàn)

NIC Generator運(yùn)行在部署EasyRoCE 工具集的服務(wù)器上，從 AID 工具（AI基礎(chǔ)設(shè)施藍(lán)圖規(guī)劃，AI Infrastructure Descriptor）（數(shù)據(jù)庫(kù)組件）讀取GPU服務(wù)器的IP信息。即可自動(dòng)在 UG 工具 （統(tǒng)一監(jiān)控面板，Unified Glancer）中創(chuàng)建可視化面板，將NIC Exporter采集到的信息展示出來(lái)。

部署指南

第一步：準(zhǔn)備工作

1. 下載NE工具包（ne.tgz、nic_exporter）（請(qǐng)聯(lián)系項(xiàng)目銷(xiāo)售/售前人員獲取。）
2. 先通過(guò)AID完成網(wǎng)絡(luò)規(guī)劃（GPU服務(wù)器硬件信息等），并將其上傳到服務(wù)器的EasyRoCE 工具集目錄下

第二步：開(kāi)始安裝

1.將nic_exporter上傳到GPU服務(wù)器中，并后臺(tái)啟動(dòng)

chmod +x nic_exporter nohup ./ nic_exporter &

2.將nic_exporter.tgz上傳到服務(wù)器的EasyRoCE工具集目錄下并解壓，解壓后其目錄結(jié)構(gòu)如下

. ├── ne_dashboard.json #UG面板文件 ├── nic_generator.py #啟動(dòng)腳本 └── requirements.txt #依賴

其中ne_dashboard.json為UG的面板文件，nic_exporter.py是工具的啟動(dòng)腳本。

注意：這里為了為了避免影響服務(wù)器自身的python環(huán)境，推薦使用venv作資源隔離。

python -m venv .venv source .venv/bin/activate

安裝依賴

pip install -r requirement.txt

3. 啟動(dòng)

./nic_generator.py

4. 打印如下即成功創(chuàng)建UG面板

Pushing dashboard to Grafana... Dashboard pushed successfully: {'id': 116, 'slug': 'gpu-server8', 'status': 'success', 'uid': 'easyroce-ne-gpu-server8', 'url': '/d/easyroce-ne-gpu-server8/gpu-server8', 'version': 4} All dashboards processed. Total: 8. Url: http://10.106.219.5:3000/dashboards/f/2LzXeK6Hk Pushing dashboard to Grafana... Dashboard pushed successfully: {'id': 116, 'slug': 'gpu-server8', 'status': 'success', 'uid': 'easyroce-ne-gpu-server8', 'url': '/d/easyroce-ne-gpu-server8/gpu-server8', 'version': 4} All dashboards processed. Total: 8. Url: http://10.106.219.5:3000/dashboards/f/2LzXeK6Hk

【面板展示】

訪問(wèn)打印信息中的URL即可訪問(wèn)UG面板

左上角變量就是該服務(wù)器的網(wǎng)卡，切換變量則可以展示不同網(wǎng)卡的信息。