13.3 RDMA 協議

RDMA 指的是一種遠程直接存儲器訪問技術。具體到協議層面，它主要包含 InfiniBand、RoCE 和 iWARP 三種協議。三種協議都符合 RDMA 標準，共享相同的上層用戶接口(Verbs)，只是在不同層次上有一些差別。圖 13-6 對比了這幾個協議在不同層次上的差異。

RDMA 技術簡介

13.3.1 InfiniBand

InfiniBand(直譯為“無限帶寬”，縮寫為 IB)是一個用于高性能計算的計算機網絡通信標準，它具有極高的吞吐量和極低的時延，在 2000 年由 IBTA(InfiniBand TradeAssociation)提出。IBTA 是 RDMA 技術最主要的倡導者和先行者，其規定了一整套完整的鏈路層到傳輸層(和傳統 OSI 七層模型的傳輸層不同)規范，如圖 13-7 所示。但是 InfiniBand無法兼容現有以太網，如果企業想部署的話，除了需要專用網卡之外，還要重新購買配套的網絡交換設備

13.3.2 RoCE

基于融合以太網的 RDMA(RDMA over Converged Ethernet，RoCE)也是由 IBTA 定義的。InfiniBand 架構規范定義了如何通過 InfiniBand 網絡執行 RDMA，而 RoCE 則定義了如何通過以太網網絡執行 RDMA。RoCE 有 RoCEv1 和 RoCEv2 兩個版本。如圖 13-6 所示，RoCE v1 的網絡層使用了InfiniBand 規范，鏈路層使用以太網協議，因此允許同一個以太網廣播域中的兩臺主機進行通信。RoCEv2 使用了“UDP+IP”作為網絡層，是一個“網絡層+鏈路層”協議，因此 RoCE v2網絡中的數據包可以被路由。RoCE 被認為是 InfiniBand 的“低成本解決方案”，將 InfiniBand傳輸層的報文封裝成以太網數據包進行收發(也就是說 RoCE 仍然使用 InfiniBand 傳輸層，見圖 13-6)。由于 RoCE 可以使用以太網交換設備，因此在企業中的應用比較多，但是其在相同場景下相比 InfiniBand 會有一些性能方面的損失。

RoCE 與 InfiniBand 有如下幾個技術差異。

? 鏈路級流量控制。InfiniBand 使用基于信用(credit-based)的算法來保證無損的網絡通信。RoCE 的實現需要無損以太網網絡，以達到類似 InfiniBand 的性能。無損以太網通常通過以太網流量控制或優先級流量控制(PFC)進行配置，配置一個無損以太網網絡比配置一個 InfiniBand 網絡復雜。

? 阻塞控制。InfiniBand 定義了基于 FECN/BECN 標記的阻塞控制協議。RoCEv2 定義了一種使用 ECN 進行標記、CNP 幀進行反饋的阻塞控制協議，網絡中的交換機中需要支持 ECN 功能。

? InfiniBand 交換機的時延通常低于以太網交換機。在以太網鏈路層上使用 RDMA 應用程序時，應注意以下幾點。

? 網絡中不需要子網管理器。對于那些需要與子網管理器通信的操作，在 RoCE 網絡中會以不同的方式進行管理。

? 由于 LID 是 InfiniBand 協議棧鏈路層的屬性，其在 RoCE 網絡中無效，因此在查詢RoCE 網卡的端口時，LID 顯示為零。

? 因為子網管理器不存在，所以無法查詢路徑。因此，在建立連接之前，必須將相關的值填充進路徑記錄結構。建議使用 RDMA CM 建立連接，因為它可以負責填充路徑記錄結構。

? RoCE 設備的流量不顯示在相關以太網設備的計數器(比如 ifconfig 命令的輸出中可以看到的收發包計數)中，因為它的數據收發不通過以太網設備驅動程序。RoCE 設備 和 InfiniBand 設備的流量統計都在 /sys/class/infiniband//ports//counters/目錄下。作者使用的 Mellanox ConnectX-5 100G 網卡就是一種 RoCE 設備。在安裝了該設備的機器上，執行 ibv_devinfo 命令可以獲取如下比較詳細的設備信息，如下所示。

從其中的 transport: InfiniBand 可以看出其傳輸層為 InfiniBand 傳輸層，link_layer: Ethernet表示它支持以太網鏈路層，再結合圖 13-6，就可以確認這是一種符合 IBTA 定義的 RoCE 類型的 RDMA 設備。另外，port_lid: 0 表示其 LID 為 0(LID 對 RoCE 無意義)。執行 cma_roce_mode 命令可以獲知此網卡當前支持的 RoCE 版本為 RoCEv2。

審核編輯：湯梓紅