隨著大模型的興起，為了應(yīng)對新的AI應(yīng)用，AI或算力數(shù)據(jù)中心建設(shè)如火如荼。

無論是作為聊天機器人，推薦系統(tǒng)還是在各個領(lǐng)域中實現(xiàn)流程自動化，比如無人駕駛、人臉識別；AI技術(shù)都有望提升并加速眾多企業(yè)和公共設(shè)施的運營，甚至改變?nèi)藗兊纳罘绞健?/p>

然而，AI網(wǎng)絡(luò)或算力網(wǎng)絡(luò)作為一個概念，常常讓人感到困惑且被誤解，AI和算力需要網(wǎng)絡(luò)么？

在本文中，我們將探討關(guān)于AI網(wǎng)絡(luò)的五個基本要點，以及隨著AI的發(fā)展，網(wǎng)絡(luò)所面臨的獨特挑戰(zhàn)。

GPU是AI的核心

簡單來說，AI的核心是圖形處理單元（GPU）或神經(jīng)處理單元（NPU）。

過去，我們通常認(rèn)為中央處理單元（CPU）是計算機的核心。但GPU的優(yōu)勢在于，它在執(zhí)行數(shù)學(xué)計算特別是矩陣計算方面非常出色，從某種角度來說，與人腦神經(jīng)元更接近。

CPU時代的數(shù)據(jù)中心網(wǎng)絡(luò)處理的大多是供人閱讀的文字或多媒體，典型的就是網(wǎng)站的瀏覽、文件傳輸以及觀看視頻，數(shù)據(jù)中心往往能夠同時支持?jǐn)?shù)億人的同時在線及高速的視頻碼流傳輸。

而在構(gòu)建大語言模型或深度學(xué)習(xí)模型時，需要讓GPU進(jìn)行“訓(xùn)練”，這涉及到解決可能包含數(shù)十億參數(shù)的矩陣和梯度運算。GPU的計算非常的快，整個“訓(xùn)練”過程異常嚴(yán)苛，不允許有任何的錯誤發(fā)生，一旦發(fā)生錯誤或延遲，整個“訓(xùn)練”的周期就會被拉長。這樣的運算量，以及對無損和低延時的要求，對于傳統(tǒng)的數(shù)據(jù)中心而言，突然就變得捉襟見肘了。

AI訓(xùn)練任務(wù)由多GPU協(xié)同完成

大語言模型在訓(xùn)練的參數(shù)和模型復(fù)雜度上有非常明顯的提升，完成這些計算必須讓多達(dá)上千個GPU共同處理訓(xùn)練任務(wù)，即便如此，訓(xùn)練或微調(diào)大模型也可能需要數(shù)周甚至數(shù)月的時間。

一般的多GPU互聯(lián)的架構(gòu)是將一組GPU服務(wù)器放置在機架中，并通過機架頂部的交換機相互連接。機架與機架通過CLOS網(wǎng)絡(luò)結(jié)構(gòu)將它們?nèi)窟B接起來。隨著解決問題復(fù)雜性的提升，對GPU的需求也會增加，有些情況下單個數(shù)據(jù)中心的電力不足以支持的時候，甚至需要跨數(shù)據(jù)中心連接通信來完成更大型的訓(xùn)練任務(wù)。

AI集群是一臺超級計算機

在構(gòu)建AI集群時，不僅僅要將GPU相互連接，更需要把它作為一個系統(tǒng)，解決很多錯誤和優(yōu)化的問題。正因為AI集群的規(guī)模不斷的上升，其中任何單點錯誤會導(dǎo)致整體訓(xùn)練任務(wù)的失敗或效率低下，整個系統(tǒng)的組成部件比如模塊、線纜、交換機、網(wǎng)卡、服務(wù)器、存儲甚至電源，冷卻系統(tǒng)等，都會影響整個系統(tǒng)的執(zhí)行和維護。AI集群已經(jīng)慢慢由一個組網(wǎng)變成為一臺超級計算機，越來越多的工作將會圍繞在部件之間的協(xié)同而不僅是部件內(nèi)部的單點優(yōu)化展開。

網(wǎng)絡(luò)成為了訓(xùn)練效率的關(guān)鍵瓶頸

在去年秋天的開放計算項目（OCP）全球峰會上，Marvell Technology的Loi Nguyen指出，網(wǎng)絡(luò)成為了AI部署的新瓶頸。GPU在解決計算問題或處理訓(xùn)練負(fù)載方面非常有效。然而，進(jìn)行并行計算的GPU在完成本身處理的信息之外需要獲取其他GPU處理完成的信息，彼此之間需要相互通信和同步。

如果一個GPU無法獲取所需信息，或者同步需要較長時間，其他所有GPU都必須等待，直到協(xié)作任務(wù)完成。在技術(shù)層面上，由網(wǎng)絡(luò)擁塞導(dǎo)致的數(shù)據(jù)包延遲或丟失可能會引發(fā)數(shù)據(jù)包重傳，顯著增加任務(wù)完成時間（JCT）。

這意味著價值數(shù)百萬甚至數(shù)千萬美元的GPU長時間處于閑置狀態(tài)，從而導(dǎo)致AI產(chǎn)品的上市時間延遲并影響公司的財務(wù)成果。

測試對于AI網(wǎng)絡(luò)至關(guān)重要

為了確保AI集群的高效運行，需要網(wǎng)絡(luò)對GPU協(xié)同作業(yè)可能存在的擁塞和錯誤有提前的感知以及良好的應(yīng)對。

這要求對網(wǎng)絡(luò)處理AI負(fù)載的性能進(jìn)行詳盡的測試和基準(zhǔn)評估。但這并非易事，因為GPU協(xié)同作業(yè)的負(fù)載區(qū)別于傳統(tǒng)網(wǎng)絡(luò)的流量負(fù)載，微突發(fā)、大象流、低熵是比較典型的特征。

因此，在測試AI網(wǎng)絡(luò)時，我們會面臨諸多挑戰(zhàn)：

? GPU短缺，無法復(fù)刻生產(chǎn)網(wǎng)絡(luò)環(huán)境或無法長時間復(fù)現(xiàn)問題。

?在生產(chǎn)系統(tǒng)上進(jìn)行測試可能會降低系統(tǒng)的處理能力。

?系統(tǒng)內(nèi)的部件不能提供足夠的日志及調(diào)試能力，無法準(zhǔn)確定位問題。

?此外，獲取GPU之間集合通信更細(xì)節(jié)的信息，比如 Queue-Pair 的信息是一個挑戰(zhàn)。

為了應(yīng)對這些挑戰(zhàn)，可以首先在實驗室環(huán)境中對建議配置的一個子集或小的組網(wǎng)進(jìn)行測試，對關(guān)鍵參數(shù)進(jìn)行基準(zhǔn)測試，比如任務(wù)完成時間（JCT）、AI集群可達(dá)到的帶寬，以及這些參數(shù)與網(wǎng)絡(luò)利用率和交換機緩存消耗的比較。

這種基準(zhǔn)測試有助于找到GPU/工作負(fù)載與網(wǎng)絡(luò)設(shè)計/參數(shù)設(shè)置之間的平衡。當(dāng)計算架構(gòu)師和網(wǎng)絡(luò)工程師對結(jié)果滿意時，他們可以將這些設(shè)置應(yīng)用于生產(chǎn)環(huán)境，并測量新的結(jié)果。

結(jié)論

為了充分利用AI算力，必須對AI網(wǎng)絡(luò)的設(shè)備和基礎(chǔ)設(shè)施進(jìn)行優(yōu)化。

企業(yè)和學(xué)術(shù)界正在提出更多好的架構(gòu)和算法來優(yōu)化AI系統(tǒng)的各個部件及部件間協(xié)同，以應(yīng)對未來更多AI應(yīng)用給大型網(wǎng)絡(luò)帶來的挑戰(zhàn)。

測試對AI系統(tǒng)非常關(guān)鍵，只有通過確定可重復(fù)的測試，行業(yè)才能實現(xiàn)從探索性實驗到可交付的迭代，這會是優(yōu)化AI這臺超級計算機的基礎(chǔ)。

關(guān)于是德科技

是德科技（NYSE：KEYS）啟迪并賦能創(chuàng)新者，助力他們將改變世界的技術(shù)帶入生活。作為一家標(biāo)準(zhǔn)普爾 500 指數(shù)公司，我們提供先進(jìn)的設(shè)計、仿真和測試解決方案，旨在幫助工程師在整個產(chǎn)品生命周期中更快地完成開發(fā)和部署，同時控制好風(fēng)險。我們的客戶遍及全球通信、工業(yè)自動化、航空航天與國防、汽車、半導(dǎo)體和通用電子等市場。我們與客戶攜手，加速創(chuàng)新，創(chuàng)造一個安全互聯(lián)的世界。