摘要

2022年11月9日-10日，第十屆數(shù)據(jù)中心標準峰會在北京隆重召開，峰會以“匯聚雙碳科技 夯實數(shù)據(jù)之基”為主題，康普北亞區(qū)技術總監(jiān)吳健在本次峰會上以《尋找數(shù)據(jù)中心網(wǎng)絡發(fā)展的確定性》為題發(fā)表演講，現(xiàn)將精彩內(nèi)容整理如下，供數(shù)據(jù)中心廣大從業(yè)者學習交流。

以下為演講實錄

今天的世界有很多的不確定性因素，“在不確定性中找到確定性”尤為重要。對于網(wǎng)絡來說，各種技術流派都在發(fā)展，迭代更新日新月異，我們總在思考如何在發(fā)展中找到確定性的因素。

高密度與節(jié)能

第一個確定性就是“高密度”。不同的從業(yè)者對高密度的理解可能不一樣，有人認為是配電的密度，也可能是制冷的密度，可能是空間密度，也可能是網(wǎng)絡接口的密度。對于網(wǎng)絡來說，“高密度”更多地體現(xiàn)著高速率和高性能。

以太網(wǎng)的發(fā)展

IEEE組織每年都會更新以太網(wǎng)發(fā)展的線路圖，我們已經(jīng)走過了一個時代，那就就是10G到100G的時代；那么接下來，我們會進入一個新的時代，我們需要思考100G之后的時代是什么技術路線？100G之后的確定性是什么？100G之后發(fā)展的決定性因素又是什么？ 放眼200G、400G、800G、1.6T等各種前瞻性技術，100G之后最具有確定性和生命力的應該是400G?？v觀線路圖我們?nèi)匀荒苷业揭粋€參數(shù)、一個因素、或一個確定性，那就是：四倍速迭代。有了25G單通道能力，于是就有了100G的網(wǎng)絡；有了100G的單通道，于是就有了400G的網(wǎng)絡；有了200G的應用，也很容易達到800G網(wǎng)絡；當400G成熟時，必然會成型 1.6T的網(wǎng)絡，這就是確定性。以太網(wǎng)已經(jīng)不再延續(xù)過去1M，100M，1000M，10G這樣的10倍速迭代。

交換機的發(fā)展

從最近四代網(wǎng)絡交換機的技術發(fā)展來看，基本上印證了高密度的趨勢。隨著數(shù)據(jù)交換密度越來越高，芯片集成度也越來越高。例如25.6T交換機需要14納米的芯片支持，到51.2T需要7納米的技術。在網(wǎng)絡技術發(fā)展過程中，有一個非常重要的決定性因素，實現(xiàn)高效率地數(shù)據(jù)交換，必須不斷地基于單通道疊加復用，交換機內(nèi)借助于電氣通道的復用，交換機外借助于光纖通道的堆疊，才能達到高速率。這就是搭建高速網(wǎng)絡架構地底層邏輯。 所以確定性因素是什么？要達到更高速的數(shù)據(jù)交換，必須要有更高速的單通道能力。通俗地說，服務器速率決定著網(wǎng)絡速率的迭代或疊加需求，而單通道速率則是由光電芯片決定的。光電轉(zhuǎn)換的通道速率，由芯片制成技術決定，進而最終形成高密度交換機的成果。

大家的個人經(jīng)驗是，服務器作為計算單元與交換機路由器等網(wǎng)絡傳輸設備來比較，前者更耗能。隨著網(wǎng)絡速率的迭代，事實是否如此？我們來看一下數(shù)據(jù)分析，從2010年到2022年，這12年中帶寬增長了80倍；這是從交換機的升級過程來計算的，比如從640G交換容量發(fā)展到今天的51.2T交換容量，速率提高了80倍，能耗提升了22倍。這時我們看到一個好消息，也看到一個壞消息：好消息是密度提高，能效提高了，更節(jié)能了；壞消息是單一設備能耗的絕對值提升了，基礎設施面臨挑戰(zhàn)。

從能耗的細分組成來看，總能耗提升了22倍，而與光電器件相關的能耗卻提升了26倍之多；實驗數(shù)據(jù)顯示，隨著速率提高，耗能貢獻最大的不是CPU，不是GPU，而是光電轉(zhuǎn)換器件，是光通訊器件。所以通訊能耗增長速率遠遠大于計算處理器的能耗，意味著當網(wǎng)絡向高速邁進時，光通訊技術，以及光電芯片的技術發(fā)展決定著整個網(wǎng)絡的能耗。這就是我要給大家的一個提示：重視網(wǎng)絡設備的能耗。當然，這里的通訊是指廣義的通信，包含了IT設備內(nèi)部的數(shù)據(jù)交換和IT設備外部的傳輸。

從長期的技術演進看，ASIC的耗能不再占據(jù)IT設備耗能的主導地位，此類現(xiàn)象只在IT界存在嗎？ 如果把人的大腦與數(shù)據(jù)社會的數(shù)據(jù)中心做類比，人腦是人體耗能最高的單一器官，大約耗掉人體20%的能量。這里面大概有800億到1000億個神經(jīng)元，這些神經(jīng)元主要負責計算，仿佛是信息社會的服務器，那么神經(jīng)系統(tǒng)的組成部分中，那個部分是最耗能的呢？科學研究表明是軸突和樹突。軸突可以理解為單模光纖完成遠端連接，樹突可以理解為多模光纖完成近端連接，它們一起來完成人腦計算的溝通和通訊。實驗數(shù)據(jù)顯示神經(jīng)元間的通訊耗能竟然是計算耗能的35倍， 我們的大量能量不是用在計算上，而是用在通訊上，用在溝通上，用在連接上！或許超出了各位的傳統(tǒng)認知。 正如數(shù)據(jù)中心作為一個高耗能的場地，其帶動和代表著信息社會這個“人體”的智慧程度，同時我們必須重視另一個趨勢：能量不僅僅用于計算上，而是更多地用在連接上。隨著高性能網(wǎng)絡的發(fā)展，未來數(shù)據(jù)中心網(wǎng)絡通訊的耗能有可能大幅度增加。這是對基礎設施的挑戰(zhàn)之一。

“高密度”是確定的，如果有了高密度的交換機，新的架構就可以拋棄很多低性能的交換機，被少量高密度高性能的交換機所取代，從而達到低延時，高可用性，節(jié)能，節(jié)省總成本的目的。這就是我提到的第一個確定性-高密度。

網(wǎng)絡架構的優(yōu)化

再來看第二個確定性，網(wǎng)絡架構的演進。很多年前，數(shù)據(jù)中心網(wǎng)路在“東西流量”大于“南北流量”的業(yè)務模型驅(qū)動下，從傳統(tǒng)三層架構在向（Leaf-Spine）扁平架構推演。而所謂Leaf-Spine是邏輯上的兩層架構，并非真正的兩層架構，因為在Leaf-Spine交換機互聯(lián)之下，通常會下掛一個TOR交換機。如果一組服務器群要連入到Leaf-Spine云中去，它至少跳轉(zhuǎn)了三級設備區(qū)域：由TOR交換機，到Leaf交換機，最后到Spine交換機。而此時，盡管大容量的交換效率提升了很多，東西流量的可靠性和一致性提升很多，但是依然沒有跳出三層交換的構架模型。過去，TOR交換機在數(shù)據(jù)中心中起到有效的服務器接入作用，在高性能高密度數(shù)據(jù)中心中完成收斂、轉(zhuǎn)發(fā)、匯聚等作用， 功不可沒。直到顛覆性的技術出現(xiàn)，該架構將面臨挑戰(zhàn)。

我們需要顛覆性的技術就是VSFF，便于中文表述，在這里我把它稱作“微雙工”。它是一種新型連接器，適用于高密度的連接，也是一種網(wǎng)絡收斂策略，借助于微雙工可以把高速接口分成兩個或四個低速接口，就是“一對二”或“一對四”的連接關系。四倍速率的確定性因素再次出現(xiàn)。同時，微雙工的出現(xiàn)，為“去除TOR”帶來了一個契機。 眾所周知，LC是一種非常普遍的雙工連接器，而微雙工比LC尺寸還要小，配合接口高密度的趨勢，更加微小靈活的連接器應運而生，目前國內(nèi)外有很多連接器廠商正在提供自有專利的VSFF接口。如你所知，MPO也是一種高密度接口，那么為何還需要微雙工呢？這里還有一個驅(qū)動因素，那就是靈活性。用一根MPO-LC扇形分支纜，可以形成一對多的分支連接關系，比如MPO12分為6組LC雙工，但是在MPO側(cè)則是固定的，無法快速拆分與聚合。高密度和靈活性是IT技術發(fā)展的兩個必要因素和重要因素。

到了400G/800G時代，微雙工出現(xiàn)后，可以在Leaf/Spine網(wǎng)絡架構中去除TOR置頂交換機。隨著單通道100G的成熟，服務器接口速率可能提升到100G，這時TOR交換機夾在100G服務器和400Gleaf交換機之間，只會制約網(wǎng)絡速率和增加網(wǎng)絡延時，因此必須去除TOR這一層有源設備。如果不這樣優(yōu)化架構，TOR這種過去的“法寶” 將成為今后的桎梏，它帶來了更多的能耗、更多轉(zhuǎn)發(fā)跳轉(zhuǎn)和更大的延時。400G以后的網(wǎng)絡用物理層的收斂替代數(shù)據(jù)鏈路層的收斂，使得成本更低、能耗更低、密度更高、延時更低。

去除TOR置頂交換機，作為一個長期目標是確定的。這個確定性在布線系統(tǒng)的設計層面來看將帶來一個更有利的確定性姿態(tài)，那就是列中或列頭的布線模式將更有生命力和普適性。通過高速光纖系統(tǒng)來對服務器群的高速接口收斂接入Leaf/Spine矩陣中，讓網(wǎng)絡架構極簡，讓網(wǎng)絡極可靠。這是大勢所趨，這就是我今天提到的第二個確定性--提高物理層的收斂能力。

光纖的節(jié)能選擇

第三個確定性就是光纖的合理選擇。網(wǎng)絡系統(tǒng)的提速，其實和社會交通運輸路網(wǎng)的提速模型如出一轍。三個維度而已：1）提高車速；2）提高車的容量容積；3）提供更多的車道。 PAM4編解碼相當于“車”的容量定義；波特率相當于車輛的最高時速；光纖通道的并行使用，支持傳輸能力達到2倍、4倍、8倍、16倍的帶寬提升。車已確定，車速也確定，大幅度提高容量的方式只剩下一個：建立更多的通道。光纖系統(tǒng)可以建立更多的物理通道（光纖），也可以建立更多的邏輯通道（光波），從而有了單模和多模的選擇問題，以及微型連接器的選擇問題。 在企業(yè)數(shù)據(jù)中心中，單模和多模光纖系統(tǒng)誰占比更多呢？

各位是否可以從上圖找到一些確定性的因素？我們至少可以看到兩點：一，多模仍然占據(jù)主導地位；二，并行技術的增長趨勢更為明顯。也就是MPO形態(tài)的多模和單模預端接系統(tǒng)都會快速增長。多芯或多波長并行技術的發(fā)展，就是因為需要建立更多的通道，從而快速達到400G/800G的應用。

多模光纖已經(jīng)在數(shù)據(jù)中心中被廣泛使用。多模有很多優(yōu)勢，例如成本更低、能耗更低、易于維護等等，所以多模仍然在高速數(shù)據(jù)中心有用武之地。盡管所有的連接任務單模系統(tǒng)都可以勝任，但是在數(shù)據(jù)中心里面，考慮到從IT側(cè)節(jié)能考慮，IT設備本身的節(jié)能會對整個機房的總體節(jié)能有非常大的貢獻，多模的收發(fā)器件和多模的光器件對節(jié)能貢獻非常顯著。要節(jié)能，多模必是首選。

要考慮節(jié)能，必須要重視多模。在應用標準里，無論400G還是800G，仍然保留著非常多的多模光纖選項。例如400GBAE-SR8， 400GBASE-SR4.2， 800GBASE-SR8等等。

到了800G時代多模是否會退出市場？事實上在800G的市場里，多模仍然在努力，比如800GBASE-VR8和800GBASE-SR8都是基于8發(fā)8收，借助MPO16的多模光纖技術線路。前者是50米的應用場景，后者是面向100米的應用場景。 單模光纖和多模光纖自從光通訊誕生以來就成為彼此成就的兄弟。在數(shù)據(jù)中心里，也是攜手前行。多模系統(tǒng)的優(yōu)勢是節(jié)能，成本低，缺點是距離太短；單模系統(tǒng)應用距離非常自由，但缺點是成本高，耗能太高，連接器要求進一步提高。 在兩套技術系統(tǒng)發(fā)展過程中，二者也在互相借鑒，互相學習。單模和多模是如何互相學習呢？ 第一，我們剛剛提到，提高“車”的容量，需要優(yōu)化編解碼方式，比如PAM-4比NRZ的信息容量高，但是PAM4對于插入損耗IL和回波損耗RL非常敏感，這就需要在網(wǎng)絡傳輸中盡量優(yōu)化回波損耗這一參數(shù)。在RL這方面單模過去做得非常不錯，這就是APC端面連接器的廣泛采用。

但是多模能否也在400G之后，向單模學習，進一步優(yōu)化傳輸能力，避免回波噪聲所帶來的影響？答案是確定的，多模在學習單模，我們創(chuàng)造一種APC斜面研磨面的多模系統(tǒng)來減少回波噪聲的影響，從而可以更好地支持信號完整性，達到更高的帶寬。

單模之所以在通訊行業(yè)做到長距離，高帶寬的應用，激光器和WDM波分復用技術功不可沒。那么多模是否可以學習借鑒單模的這種波分復用模式呢，答案是肯定的。光纖科學家們多年前就已經(jīng)建立了短波分復用的標準SWDM，攜手OM5寬帶多模光纖，實現(xiàn)4倍帶寬，同時進一步延展應用距離。這就是OM5誕生的背景，從而使多模在數(shù)據(jù)中心領域有持久的生命力。OM5的核心問題不僅在于距離，也不僅在于850nm波長的表現(xiàn)，還在于850nm之外稍長波長的表現(xiàn)，并不是每個廠商的產(chǎn)品都能達到理想模式帶寬。

多模和單模都有自己的用武之地，尤其多模在節(jié)能方面的表現(xiàn)更好，這里面提到兩個400G應用在多模方面的標準：400GBASE-SR8和400GBASE-SR4.2，前者消耗更多的光纖，后者推薦配合OM5達到短波分復用的優(yōu)勢。 在單模應用方面，值得注意的是兩個標準：400G DR4和400G FR4; 其中400G DR4充分反映了單模也吸收了多模的優(yōu)勢，功率降低，距離縮短。所以數(shù)據(jù)中心行業(yè)特別看好400G DR4的發(fā)展，而且500米可以覆蓋數(shù)據(jù)中心內(nèi)部絕大部場景的應用距離。400G DR4是一個好例子，敞開胸懷，吸收對方優(yōu)點，擁抱新技術，可以讓你的數(shù)據(jù)中心更節(jié)能。

不論是單模系統(tǒng)還是多模系統(tǒng)，要做出正確的選擇，必須從設備成本，布線成本和運維成本三個維度綜合分析。從400G的三款單模和多模網(wǎng)絡總成本看，上圖展示了全球頭部互聯(lián)網(wǎng)公司采用三種技術的成本對比，很明顯400G SR8作為多模的代表技術，具有做好的成本優(yōu)勢；對比于企業(yè)網(wǎng)數(shù)據(jù)中心采用三種技術的成本對比，趨勢沒有變，400G SR8地位也沒有變，依照FR4、DR4和SR8的次序逐步降低。多模的成本優(yōu)勢和節(jié)能優(yōu)勢是確定的。

以不變應萬變

尋找確定性?？灯战?jīng)過15年以上，與數(shù)據(jù)中心設計建設者和使用者的溝通，一直在聽取客戶的反饋，嘗試建立一套適應性更強，包容性更強，更易于維護的解決方案。什么樣的光纖方案能把所有的技術，所有的不確定性，融合到一個統(tǒng)一的平臺里呢？

比如把所有的MPO8/MPO12/MPO16/MPO24等技術融入進去，把所有的連接器技術融入進去，把智能化融入進去，綠色環(huán)保的理念融入進去，形成一個統(tǒng)一的解決方案。它就是PROPEL。PROPEL是驅(qū)動力的意思，驅(qū)動數(shù)據(jù)中心進入400G之后的新時代。

以太網(wǎng)速率的提高帶來了技術的多樣性和需求的多樣性。讓PROPEL滿足多樣性的需求，它有多種不同的模塊選擇，并在一個統(tǒng)一平臺里任意組合，滿足高密度，高性能，智能化，易于維護，易于升級的特性。

如果用一句話概括，今天所講的所有確定性因素，都是為了確定一個綠色節(jié)能數(shù)據(jù)中心的發(fā)展方向。高密度是為了綠色節(jié)能；去TOR架構是為了綠色節(jié)能；充分利用多模光纖是為了綠色節(jié)能；建立統(tǒng)一融合的平臺也是為了綠色節(jié)能。所以綠色節(jié)能就是我們確定的追求，謝謝各位！

審核編輯 ：李倩