設計目標：
RDMA技術(shù)采用無感傳輸機制，消除傳統(tǒng)網(wǎng)絡傳輸中需要CPU介入下的多重數(shù)據(jù)復制與內(nèi)核參與環(huán)節(jié)，實現(xiàn)直接跨主機內(nèi)存訪問的機制。其設計目標為優(yōu)化分布式環(huán)境下的數(shù)據(jù)傳輸效率，降低CPU負載。
RoCEv2基于標準網(wǎng)絡的以太網(wǎng)、網(wǎng)絡層和傳輸層（UDP）協(xié)議，這可以使得RoCEv2的網(wǎng)絡流量可以經(jīng)過傳統(tǒng)的網(wǎng)絡路由器路由。之前RDMA簡介1~8有對相關資料介紹，這里強調(diào)的是：它是目前性價比最高的RDMA實現(xiàn)方式，雖然IB模式在一些高校應用較多，但因為它的專有特性，價格較貴，難廣泛用于產(chǎn)品中。

設計思考
基于PC-PC或GPU-GPU之間RDMA設計已有較多廠商投入，雖然有的大廠投入幾年后折羽而歸，但不影響PC領域成熟應用產(chǎn)品的推廣。這里主要討論在FPGA上設計RDMA over RoCE V2，雖然已有xilinx的ernic應用，但是性價比以及國產(chǎn)化需求還是有其發(fā)展空間。這里討論設計需要著重考慮地方：
1）通用性
一般項目中的數(shù)據(jù)采集前端基于 FPGA 進行開發(fā)。第一，各數(shù)據(jù)采集前端使用的 FPGA型號各不相同，需要實現(xiàn)的設計能夠工作在多種不同型號 FPGA 上；第二，為了降低設計部署成本，需要實現(xiàn)的設計能夠在脫離 CPU 控制下獨立運行和控制傳輸；第三，一些廠商不愿意采用私有化協(xié)議，主要是考慮其被迫被捆綁，私有協(xié)議也就意味著難以與其他系統(tǒng)兼容，一旦存在功能或性能設計不足，只能前功盡棄?？紤]到以上三點需求，設計時建議采用純邏輯電路實現(xiàn)。
2）高性能
數(shù)據(jù)采集前端得到的數(shù)據(jù)，數(shù)據(jù)塊大小不固定、數(shù)據(jù)速率也不盡相同。同時對于數(shù)據(jù)傳輸?shù)男枨笠膊⒉幌嗤?，存在一對一、一對多、多對多等多種傳輸情況。面對大量離散數(shù)據(jù)時，需要增加 RDMA 隊列數(shù)量及深度，同時靈活調(diào)整數(shù)據(jù)包大小來保證傳輸性能，而面對大量連續(xù)數(shù)據(jù)請求時，則可通過減少隊列數(shù)量的方式來降低功耗。
同時，在面對一對多或多對多傳輸需求時，則要求設計能夠正確地處理網(wǎng)絡擁塞情況并正確地進行流量控制。因此，需要實現(xiàn)完備的隊列管理及擁塞處理功能，在滿足性能要求的同時適應不同的應用環(huán)境。具體要求為使用 QSFP28 及以上光纖接口，在傳輸不小于 256 MB 的連續(xù)數(shù)據(jù)時，數(shù)據(jù)傳輸速率不小于 90 Gbps。在傳輸包大小為 4KB 時，延遲不高于 10 μs、包吞吐量不小于 1000 kpps。這里也只是簡要指標分析，上面這些指標在PC-FPGA之間實現(xiàn)較容易，在FPGA-FPGA之間還是有一些挑戰(zhàn)。這也反映競爭環(huán)境下適者生存，最后生存的不大可能是大多數(shù)。雖然我們設計的IP性能（包括我們A, FPGA-FPGA)早已超越這些指標，相信其他廠家也能滿足。
3）易集成、用戶操作簡便
實現(xiàn)的 RDMA 協(xié)議棧和控制邏輯，應能夠簡易地集成到應用生產(chǎn)環(huán)境中，并提供簡易的用戶操作方式來實現(xiàn)數(shù)據(jù)傳輸控制及隊列控制。因此，設計需要使用標準化接口，同時盡可能地降低資源占用率，并具備 DMA 數(shù)據(jù)傳輸功能。
4）穩(wěn)定性
這里強調(diào)的是，如果只是預研項目，就不大需要考慮穩(wěn)定性，其特有的功能和性能才是項目需要重點解決的。但是作為商用IP，就需要考慮其穩(wěn)定性，不能出現(xiàn)上次可以，這次就工作不正常，或者性能下降明顯情況。

它涉及到?幾個因素：
1）高速接口的匹配性?：RDMA數(shù)傳通道一般采用AXI總線，它需確保IP核與FPGA的如AXI4-Stream/AXI4-Lite等兼容性，避免因協(xié)議不匹配導致傳輸錯誤； ?
2）?時序優(yōu)化：一般它需要跨時鐘域設計，因此對時鐘同步、信號路徑規(guī)劃和資源分配等關鍵因素需要重點考慮；
3）?存儲資源分配?：合理設計FIFO深度，（一般采用2的整數(shù)次冪深度設計）和RAM塊數(shù)量，避免因資源不足導致數(shù)據(jù)丟失或性能下降。 ?

這里給出IP讀寫性能情況：

B站已給出相關性能的視頻，如想進一步了解，請搜索B站用戶：專注與守望
鏈接：https://space.bilibili.com/585132944/dynamic?spm_id_from=333.1365.list.card_title.click

審核編輯 黃宇