盛科交换机配置基于DSCP的RoCEv2-无损网络

简介

当前HPC高性能计算、分布式存储、AI人工智能等应用采用RoCEv2网络替代传统的TCP/IP网络，来降低CPU的处理和延迟，提升应用的性能。然而，这些分布式高性能应用的特点是“多打一”的Incast流量模型，对于以太交换机，Incast流量易造成交换机内部队列缓存的瞬时突发拥塞甚至丢包，将会带来应用时延的增加和吞吐的下降，从而损害分布式应用的性能。因此，针对RoCEv2流量实现的智能流量分析功能，将对设备经过的RoCEv2流量通过ACL匹配特征报文，上送至TAP后分析其丢包、时延、吞吐和路径信息，实时监控RoCEv2网络状态。

基本概念

RDMA（Remote Direct Memory Access），远程直接内存访问功能，用于InfiniBand网络，是一种直接内存访问技术，它将数据直接从一台计算机的内存传输到另一台计算机，数据从一个系统快速移动到远程系统存储器中，无需双方操作系统的介入，不需要经过处理器耗时的处理，最终达到高带宽、低延迟和低资源利用率的效果。

RoCE（RDMA over Converged Ethernet），允许应用通过以太网实现远程内存访问的网络协议，是将RDMA技术运用到以太网上的协议。目前RoCE有两个协议版本，RoCEv1和RoCEv2。

业务需求

VMware vSAN的 RoCEv2 网络照要求划分到优先级 3 和 6，开启 PFC 和 ECN 功能，实现无损网络。

交换机使用盛科E680系列交换机，版本为 v7.4.8。

策略配置

ECN 配置策略

#配置优先级 3 及优先级 6 的 ECN 策略
class-map type traffic-class ecn-pri-3
 match traffic-class 3
 exit
class-map type traffic-class ecn-pri-6
 match traffic-class 6
 exit
policy-map type traffic-class ecn-pmap
 class type traffic-class ecn-pri-3
 random-detect maximum-threshold 8192 minimum-threshold 64
 exit
class type traffic-class ecn-pri-6
 random-detect maximum-threshold 8192 minimum-threshold 64
 end
#将 ECN 策略应用至对应的物理接口
interface eth-0-1
 service-policy type traffic-class ecn-pmap

PFC 配置策略

#将 DSCP=26（af31）映射到优先级 3，将 DSCP=48（CS6）映射到优先级 6
class-map type qos pfc-pri-3
 match dscp af31
 exit
class-map type qos pfc-pri-6
 match dscp cs6
 exit
policy-map type qos pfc-pmap
 class type qos pfc-pri-3
 set traffic-class 3
 exit
class type qos pfc-pri-6
 set traffic-class 6
 end

#将映射策略应用到对应的物理接口，并开启对应物理接口优先级 3 和优先级 6 的 PFC 功能
interface eth-0-1
 priority-flow-control mode on
 priority-flow-control enable priority 3 6
 service-policy type qos input pfc-pmap

物理接口最终配置

interface eth-0-4
 switchport mode trunk
 switchport trunk allowed vlan add 222,223
 priority-flow-control mode on
 priority-flow-control enable priority 3 6
 service-policy type qos input pfc-pmap
 service-policy type traffic-class ecn-pmap


# 注意交换机与其他交换机互联接口也需要配置。如果需要相互发送RDMA的话。

汇聚口配置

# Agg口配置较为特殊，下面为示例

interface eth-0-27
 switchport mode trunk
 switchport trunk allowed vlan add 222,223
 switchport trunk allowed vlan remove 1
 priority-flow-control mode on
 priority-flow-control enable priority 3 6
 service-policy type traffic-class ecn-pmap
 channel-group 1 mode active
!
interface eth-0-28
 switchport mode trunk
 switchport trunk allowed vlan add 222,223
 switchport trunk allowed vlan remove 1
 priority-flow-control mode on
 priority-flow-control enable priority 3 6
 service-policy type traffic-class ecn-pmap
 channel-group 1 mode active
!
interface agg1
 switchport mode trunk
 switchport trunk allowed vlan add 222,223
 switchport trunk allowed vlan remove 1
 service-policy type qos input pfc-pmap

参考

参考盛科RDMA2.0 文档
参考华为文档：https://support.huawei.com/enterprise/zh/doc/EDOC1100198802/5d4312fb

博客

https://songxwn.com/switch-ROCEv2-DSCP/