最近又讀了阿里巴巴的技術委員會的新書《彈性計算》，從序上看的確很新，2020年7月。在疫情這個年代，短時間內出版再次證明了中國人民的偉大。關于書中的內容，不想再多說。俺幾個小時讀下來，挑了幾個錯別字，以后找各位大佬領賞了。

其中印象深刻的是，為什么有神龍裸金屬服務器，對RDMA的支持是一個關鍵的場景。在云計算中引入RDMA，目的也很明確-HPC。HPC是老黃的老巢，也是老黃現(xiàn)在整合網絡，計算和存儲的試驗田。有了Mellanox，ARM加持，老黃提出了自己的口號：

CPU，做業(yè)務的編排，框架

GPU，做計算

DPU，數(shù)據的搬運和服務

不得不講，老黃的市場部很強大，DPU就這樣橫空出世了。對比我司萬能的P2P[1]的功能，我們就是簡單說P2P，不知道的人以為我們就是個金融片子，悲催的我司沒趕上匹凸匹的好時光。人家老黃不對稱的P2P實現(xiàn)就有一個響亮的名字，GPUDirect。同樣，老黃的Tensor Core也有一個土鱉的名字，DSP。

這里就來談談這個RDMA，RDMA的優(yōu)勢和劣勢都很清楚。在過去的10幾年中，mellanox作為另類的以色列公司持續(xù)投入了很多年。（大部分以色列公司的套路是第一代產品創(chuàng)新，賣公司。公司賣不掉，第二代產品就SoSo了，如果有第三代產品，可以真接pass了）。

在Flash剛剛進入數(shù)據中心的時候，大家都在考慮DAS到SANder問題，什么樣的網絡最合適。

其中試過PCIE 外接，AMD的HT，等等。就像一位做HPC出身的朋友講的一樣：“沒幾年就會冒出了一堆硬件公司，然后大家就上一把，然后大部分公司都死掉了”

因此，可以看到IB versb在2010年成為主流，在HPC中目前已經已有疲態(tài)了，正是把這個HPC的專用技術用到hyperscale數(shù)據中心的好時機。

第一個規(guī)模使用IB而成功的案例是Oracle 的Exadata[1]

之后就是大量的SDS存儲的公司起來了。Flash+RDMA是大家的標配。直到Microsoft在數(shù)據中心中規(guī)模部署。其實之前的RoCE本質上還是一個channel的協(xié)議，和之前的FCOE類似，只是在RoCEv2的時候，因為Microsoft的加持，從真正成就了Mellanox，同時把原來最擅長存儲的Iwarp打進了小眾市場，但是目前IBM和Netapp依然在堅守。

原來一個Intel的網卡大佬就很不服氣，“我們做網卡快20年了，Mellanox的ethernet 網卡到現(xiàn)在都有很多功能不支持，但是他們咋就成了先進技術了，成了Smartnic呢？”。這樣的話，當年EMC也說過Fusion-io這樣的startup。

不管結果如何，Microsoft和Mellanox在Data Center Network的深度合作，讓Mellanox在25G成功上位。取代了Intel和Broadcom在高端網卡的江湖地位。

當年在見識了Annapuna的EBS性能之后，我在加入新公司時就對大佬說要做RDMA，要做RoCEv2。但是大佬就是大佬，他們認為lossless的網絡一直就是一個傳說。而且，那個時候AI正在風口上?？傊?，這個事情也讓我看清了一個事實，就是Hyperscale用RDMA，只會有兩種配置：Mellanox的RDMA，以及他們自己的RDMA。

這個微軟是最先這么考慮的，他們就是認為RDMA只有兩種。微軟內部實現(xiàn)的RDMA的細節(jié)很少有透露，知道的大佬歡迎分享。

但是另一個大佬的AWS的RDMA就有很多細節(jié)。拿另一個常常教育我的大佬的話:" 他們想做什么都在EFA的驅動里寫著?。?！“。在火焰圖流行的這個時代，靜態(tài)分析的確有點反人類。

比較好的是，作為HPC RDMA權威的熊貓教授率先被AWS的EFA招安，他們在SC19以及今年發(fā)表很多關于EFA的詳細信息[2]。當然還有Annapurna CTO Nafea 同學的軟文[3]

熊貓教授的一個學生做了Azure和AWS的RDMA性能的分析，因為過于敏感，自己關心的人可以去了解。但是以后估計每家大廠炫耀的資本里面會很快有一個：“我的RDMA是自研的，是XXXCloud特色的RDMA！”

--"老黃你怎么辦呢？"

"DPU，DPU+GPU，DPU+GPU+CPU。。。。。。。"

--"Chiplets 要不要考慮一下？"

責任編輯：lq