通過 PCI Express (PCIe) 和以太網(wǎng)連接的分散計(jì)算資源網(wǎng)絡(luò)可創(chuàng)建超大規(guī)模數(shù)據(jù)中心基礎(chǔ)設(shè)施，從而構(gòu)建超聚合計(jì)算平臺(tái)。如圖 1 所示的計(jì)算資源網(wǎng)絡(luò)主要依賴于兩種接口：PCIe/Compute Express Link (CXL) 和以太網(wǎng)接口，其中PCIe/CXL用于芯片到芯片或機(jī)架內(nèi)連接，以太網(wǎng)用于機(jī)架外連接。PCIe 網(wǎng)絡(luò)接口卡 (NIC) 將 PCIe 轉(zhuǎn)換為以太網(wǎng)接口，并允許通過多層網(wǎng)絡(luò)交換機(jī)實(shí)現(xiàn)以太網(wǎng)結(jié)構(gòu)。本文解釋了下一代高性能計(jì)算 (HPC) 設(shè)計(jì)中對(duì) 224Gbps 電氣接口的要求，包括信道、信號(hào)調(diào)制和 SerDes 技術(shù)。

圖 1：HPC 作為通過 PCIe 和以太網(wǎng)鏈接的計(jì)算資源網(wǎng)絡(luò) ?

下一代電氣接口的需求

? ? 如圖 2 所示，四通道 PCIe 的吞吐量與單通道以太網(wǎng)數(shù)據(jù)速率最為匹配，比如PCIe 2.0 帶寬 10Gbps、PCIe 3.0 帶寬 25Gbps、PCIe 4.0 帶寬 50Gbps、PCIe 5.0 帶寬 100Gbps。在過去的十多年中，這種奇偶校驗(yàn)允許 x16 PCIe NIC 與 40G/100G/200G 和 400G 以太網(wǎng)端口連接，無需額外的變速器，從而降低了系統(tǒng)總功率并最大限度地減少了延遲。

?

圖 2：x16 PCIe 吞吐量相當(dāng)于 x4 以太網(wǎng)端口帶寬 ?

PCIe 6.0 以 64Gbps 的速度運(yùn)行，為高于 100Gbps 的每通道電氣以太網(wǎng)接口鋪平了道路，使 x16 PCIe 6.0 能夠高效地支持 800G 以太網(wǎng)端口。 ? 此外，數(shù)據(jù)中心光學(xué)器件正在不斷發(fā)展，以支持更高的網(wǎng)絡(luò)帶寬。表 1 總結(jié)了 100G/200G λ 光學(xué)器件的發(fā)展時(shí)間表。帶有 100G λ 光收發(fā)器的 800G-DR8/FR8 模塊已開始在 HPC 數(shù)據(jù)中心部署。四通道 800G 光學(xué)模塊和 102.4T 交換機(jī)將網(wǎng)絡(luò)帶寬翻倍，但這將取決于 200G λ 光學(xué)器件和相應(yīng)的 200Gbps 電氣接口的發(fā)展情況。

?
表 1：采用 100G/200G λ 光學(xué)器件 ?

?

最后，對(duì)于現(xiàn)代高基數(shù)交換機(jī)，HPC 機(jī)架的交換帶寬受到最高密度以太網(wǎng)端口的限制。當(dāng)前的 400G/800G 以太網(wǎng)端口使用 100Gbps 電氣/光學(xué)收發(fā)器的四/八通道。表 2 突出顯示了以太網(wǎng)端口帶寬時(shí)間表，顯示需要 200Gbps SerDes 才能推出帶有 800G 以太網(wǎng)端口的 102.4T 交換機(jī)。 ?
表格 2：工業(yè)以太網(wǎng)交換機(jī)/SerDes/端口時(shí)間表 ?

根據(jù)這些趨勢，IEEE 802.3、OTN ITU-T G 和 OIF-CEI 已經(jīng)啟動(dòng)了標(biāo)準(zhǔn)化工作，目標(biāo)是每通道電信號(hào)傳輸速率高于 112Gbps。 ?

為什么選擇 224Gbps？

? ? OIF-CEI 旨在標(biāo)準(zhǔn)化一個(gè)可與以太網(wǎng)、光纖通道和 Interlaken 等多種協(xié)議配合使用的電氣接口。以太網(wǎng)數(shù)據(jù)速率是媒體訪問控制 (MAC) 層的凈數(shù)字吞吐量，以太網(wǎng)建議采用端到端正向糾錯(cuò) (FEC) 和編碼方案，從而使產(chǎn)生的原始 SerDes 電氣或線路速率高于每通道以太網(wǎng)吞吐量。例如，使用 Reed Solomon (514-544) 和 256/257 編碼的四通道 400G 以太網(wǎng)需要 106.25Gbps 的有效線路速率。那么，問題來了，當(dāng)數(shù)據(jù)速率翻倍后，為什么線路速率不是直接翻倍到 212.5Gbps？反而要談?wù)?224Gbps呢？ ? 一些關(guān)于行業(yè)論壇的早期討論表明，800G 以太網(wǎng)/1.6T 以太網(wǎng)可能會(huì)與串聯(lián)或端到端 FEC 配合使用。此外，還要考慮各種 FEC 因素，例如 800G 一致性鏈路的 staircase/zipper 代碼，所有這些都會(huì)增加不同的開銷。此外，光纖通道和 InfiniBand 也將會(huì)產(chǎn)生不同的開銷。因此，OIF 已開始起草下一代 CEI-224G 電氣接口。 ?

哪種調(diào)制方案？

? ? 高階調(diào)制可增加每個(gè)符號(hào)位數(shù)或每個(gè)單位間隔 (UI) 位數(shù)，并在信道帶寬和信號(hào)振幅之間提供權(quán)衡。標(biāo)準(zhǔn)通常探索更高階數(shù)的調(diào)制方案以及更高的數(shù)據(jù)速率。2012 年，PAM-4/6/8 被考慮用于 100Gbps 線路速率，最終 PAM-4 成為 56Gbps 和 112Gbps SerDes 的調(diào)制選擇。從整體電氣光學(xué)電氣 (E-O-E) 系統(tǒng)視圖，可以很明顯地看出，如果光收發(fā)器和電氣 SerDes 的調(diào)制方案和數(shù)據(jù)速率不同，任何 E-O-E 轉(zhuǎn)換都需要變速器并增加額外的功耗和延遲開銷。因此，電調(diào)制方案的選擇與 200G λ 中采用的相同調(diào)制方案密切相關(guān)。200G λ 光收發(fā)器的初步工作顯示 PAM-4 或 PAM-6 調(diào)制方案似乎是合理的。 ?

PAM-4 調(diào)制提供與前幾代產(chǎn)品的向后兼容性，與更高調(diào)制方案相比，可提供更好的信噪比 (SNR)，并允許產(chǎn)生延遲的更低 FEC 開銷架構(gòu)。然而，由于模擬帶寬限制和通過創(chuàng)新 DSP 方案實(shí)現(xiàn)高級(jí)均衡，實(shí)現(xiàn)則需要更好的模擬前端 (AFE)。 ? PAM-6 調(diào)制可編碼每個(gè)符號(hào) 2.5 位，與 PAM-4 相比，其使用 DSQ-32 實(shí)現(xiàn)的 SNR 損耗增加了約 3.2dB。它提供了一種實(shí)現(xiàn) SerDes 的方法，其 AFE 帶寬比 PAM-4 SerDes 低，但 SNR 更高。PAM-6 調(diào)制方案增加了更高的 FEC 開銷，從而增加了面積、功耗并降低了編碼效率。 ?

新通道達(dá)到 224Gbps 電氣接口

? ? 高速電氣 SerDes 應(yīng)用不斷發(fā)展。OIF 于 2016 年 8 月啟動(dòng)首個(gè) 112G-VSR 項(xiàng)目，并于 2017/18 年增加了多芯片模塊 (MCM)、超短距離 (XSR)、中等距離 (MR) 和長距離 (LR)。2021 年，OIF 啟動(dòng)了兩個(gè) 112G 線性和 112G 超短距離 (XSR)+ 的新項(xiàng)目。OIF 目前正在制定 CEI-224G 標(biāo)準(zhǔn)，以識(shí)別和定義典型系統(tǒng)中的下一代電氣接口，用于通過背板/中間板或銅電纜在兩個(gè) PCBA 之間（甚至在兩個(gè)機(jī)箱之間）的印刷電路板組件 (PCBA) 內(nèi)的晶粒到晶粒、晶粒到 OE（光學(xué)引擎）、芯片到模塊，以及芯片到芯片。 ?

在類似線路中，IEEE 標(biāo)準(zhǔn)委員會(huì)最近批準(zhǔn)了 IEEE P802.3df 項(xiàng)目授權(quán)請(qǐng)求 (PAR)，以定義 200Gbps、400Gbps、800Gbps 和 1.6Tbps 電氣接口的媒體訪問控制參數(shù)、物理層和管理參數(shù)。工作組將為附件單元接口 (AUI) 和電氣物理介質(zhì)依賴 (PMD) 的 1/2/4/8 通道變體制定每通道 200Gbps 的電信號(hào)標(biāo)準(zhǔn)。

?

圖 3：224Gbps 電氣 SerDes 的早期用例 ?

圖 3 顯示了 224Gbps 電氣 SerDes 的早期用例，業(yè)界認(rèn)為 102.4T 交換機(jī)和 800G/1.6T 相干光學(xué)模塊將采用該案例，這些模塊需要 224Gbps XSR/XSR＋/VSR/LR SerDes。 ?

224Gbps SerDes 架構(gòu)

? ? 224Gbps 數(shù)據(jù)速率將單位間隔 (UI) 設(shè)計(jì)減少到邏輯延遲的序列。即使采用 PAM-6 調(diào)制，224Gbps 數(shù)據(jù)速率的 UI 也將約為 11ps。從 HPC 數(shù)據(jù)中心通道的演變角度考慮封裝和 PCB 材料的改進(jìn)/變化，很明顯，224Gbps 收發(fā)器將需要靈活的高帶寬 AFE，以擴(kuò)展可用晶體管帶寬的邊界。 ?
圖 4：端到端 224Gbps 電氣鏈路，突出顯示接收器 DSP ?

如圖 4 所示，224Gbps 接收器必須具有自適應(yīng)和差異化 DSP，才能在傳統(tǒng) VSR/MR/LR 通道中工作。使用 224Gbps 接口時(shí)，在某些信道上采用最大似然序列檢測器 (MLSD)是一個(gè)常見的選項(xiàng)，但是，提高信道的比特誤碼率 (BER) 并不是一個(gè)魔法棒。圖 5 顯示了端到端 224G 發(fā)射器到接收器的仿真結(jié)果，與 BER 相比，實(shí)際 HPC 通道的鏈路損耗各不相同。

?

圖 5：224Gbps 時(shí)的 BER 與信道損耗 ?

圖 5 中的紅點(diǎn)和藍(lán)點(diǎn)表示具有或不具有 MLSD 的 BER。BER 跨信道損耗的分布和發(fā)散需要先進(jìn)的 DSP 算法，該算法可在圖中以綠點(diǎn)表示的信道損耗之間提供一致的 BER。 ?

總結(jié)

? ? 需要 224G SerDes 來繼續(xù) HPC 數(shù)據(jù)中心的數(shù)據(jù)處理步伐。以太網(wǎng)已成為現(xiàn)代 HPC 數(shù)據(jù)中心服務(wù)器間通信的事實(shí)標(biāo)準(zhǔn)。因此，組織正在定義和開發(fā)包括 224Gbps 在內(nèi)的下一代電氣接口。新思科技提供完整的 200G/400G 和 800G 以太網(wǎng)控制器和 PHY IP 解決方案，包括物理編碼子層 (PCS)、物理介質(zhì)依賴 (PMD)、物理介質(zhì)附件 (PMA)?和自動(dòng)協(xié)商功能。雖然 800G 以太網(wǎng)和 1.6T 以太網(wǎng)的定義仍在進(jìn)行中，但新思科技 的以太網(wǎng) IP 解決方案已經(jīng)在每端口帶寬為224G SerDes的 800G/1.6T 早期方案中得到應(yīng)用了。