高性能网络SIG月度动态：virtio-net 支持动态中断调节，SMC v2 协议增加新扩展

高性能网络 SIG（Special Interest Group） ：在云计算时代，软硬件高速发展，云原生、微服务等新的应用形态兴起，让更多的数据在进程之间流动，而网络则成为了这些数据流的载体，在整个云时代扮演者前所未有的重要角色。在这个万物互联的时代，云上的网络通信效率对各种服务至关重要，高性能网络兴趣组致力于利用 XDP、RDMA、VIRTIO 等新高效通信技术，结合软硬件一体化的思想，打造高性能网络协议栈，提升云计算时代数据中心应用的网络的性能。

01 本月 SIG 整体进展

本月高性能网络 SIG 的主要工作聚焦在 SMC，virtio 和 Anolis OS 通用内核网络上。

本月关键进展：

• 本月 SIG 小组和 IBM SMC 开发团队在 SMC v2 的协议扩展上达成了一致，至此 SIG 推进的几个关键协议扩展内容（单连接特性支持，LGR 最大连接数可协商支持，RDMA write with immediate 支持，以及可扩展的选项等）在 SMC 开发者例会上基本讨论完毕。
• SIG 小组提出并推进的 virtio-net: support the virtqueue coalescing moderation （​​https://lists.oasis-open.org/archives/virtio-dev/202303/msg00415.html​​）提案在 virtio 社区投票通过，该提案可以让 virtio-net 支持动态中断调节，提升 virtio-net 的性能。

02 Anolis OS

修复

Anolis OS ANCK 5.10 新增以下修复：

• [Anck 5.10 aarch64][nightly]kernel_selftests测试套下net.tls用例fail：在 ->get_port() 前将 err 设置成正确的错误码。（​​https://bugzilla.openanolis.cn/show_bug.cgi?id=2394​​）
• [Anck 5.10 nightly][ANCK-5.10-14][x86_64]kernel-selftests：执行net目录下reuseaddr_ports_exhausted.sh用例fail：修复内核为未建立的 socket 附加 ktls ULP 时返回正确的错误码。（​​https://bugzilla.openanolis.cn/show_bug.cgi?id=4510​​）
• 安全

本月网络方向共计修复 17 个 CVE，覆盖 ulp/wifi/sched/ipv6/sctp/mpls/usb/nfc/netfilter/bluetooth 等模块，CVE 列表：CVE-2022-4129，CVE-2023-0461， CVE-2023-23455，CVE-2023-23559，CVE-2022-47929，CVE-2023-0394，CVE-2023-1074，CVE-2023-26545，CVE-2022-2964，CVE-2023-23454，CVE-2023-1281，CVE-2020-25672，CVE-2023-0590，CVE-2020-25670，CVE-2023-1095，CVE-2022-20566，CVE-2020-25671。

03 高性能网络协议栈 SMC

本月，龙蜥社区高性能网络 SIG 在 SMC 领域的工作，主要聚焦在标准化协议的扩展、本机高性能通信方案和 eBPF 策略替换能力。

本机高性能通信方案

本机的 loopback 和容器间（跨 netns）通信已经是一种常见的数据路径，在数据处理和云原生场景有着非常广泛的使用。例如云原生场景下，service mesh 通过 proxy 进程与业务进程、sidecar 进行通信。SMC 提供了本机（loopback 和 容器间）的高性能通信方案，对比传统的用户态 IPC、以及内核的 TCP loopback 或者 UNIX domain socket 等方案，除了性能具有非常大的优势之外（详细数据可参考 LWN 链接：​​https://lwn.net/Articles/927410/​​），同时对于应用透明无侵入、无修改。本月我们继续完善已经推送到 Linux 社区的 RFC 提案，并发送出 v4 版本（LWN 链接）。从当前反馈来看，Linux 社区对于方案的适用场景、可行性已经达成一致。目前聚焦在 SMC 协议如何确保唯一识别到本机的 loopback 设备。当前的方案是通过多重 ID 来区分不同的 loopback 设备，冲突的概率在 1/2^(64*3)。关于 SMC loopback 的更进一步的议题，我们将在 SMC 开发者例会上与 Linux 社区的 Maintainer 进一步沟通。

协议扩展

SMC 协议定义在 IETF RFC 7609 和 IBM SMC PDF 手册之中，协议规定了双方如何握手直至建立连接并正常通信。当前协议存在一些问题，例如 SMC v2 协议尚未标准化，以及尚无针对协议设定预期场景之外的拓展。本月龙蜥社区与 Linux 社区在协议扩展上达成了一致，至此我们推进的几个关键协议扩展内容在 SMC 开发者例会上讨论基本完毕，并在经过一系列 review 和 comment 之后，进入正式的协议更新和发布流程。本次达成一致的协议扩展主要包括：单连接的特性的支持，LGR 最大连接数可协商的支持，RDMA write with immediate 的支持，以及可扩展的选项等。

eBPF 策略替换

SMC 提供了动态回退 TCP 的能力，当前的回退策略的决策因素主要是由 RDMA / ISM 连接建立是否成功。由于 SMC 短链接性能不如 TCP，为了让 SMC 更加通用，因此计划给 SMC 增加基于策略的回退 TCP 的能力，帮助 SMC 更好地适配不同应用模型和场景。基于上面的背景，我们向 Linux 的 BPF 社区推送了基于 eBPF struct ops 特性的 SMC 策略回退的补丁，并于 BPF 的 maintainer 和 struct ops 的作者讨论实现细节。基于讨论的细节，我们发送了更新版本的补丁。如果 eBPF 策略替换方案被社区接受后，我们将 eBPF 策略替换的用户态实现提交到 SMC 工具（smc-tools）之中，简化用户使用，同时 SMC ULP 方案也将会被废弃。

04 virtio

virtio specification 支持 virtqueue notification coalescing

背景：Net DIM (Generic Network Dynamic Interrupt Moderation) ​​https://www.kernel.org/doc/html/next/networking/net_dim.html​​算法通过统计当前网络中单个队列的流量信息和中断次数，自适应计算中断调整方向和步长，并将结果配置下发到设备，以达到提升网络吞吐量的目的。由于目前的 virtio specification 不支持对单个队列进行中断参数下发，所以还无法支持 netdim。

高性能网络组推进的 virtio-net: support the virtqueue coalescing moderation 的提案，可以让 virtio-net 支持动态中断调节，并对逐个队列下发中断调节参数，目前该工作已经被 virtio 社区投票通过（​​https://lists.oasis-open.org/archives/virtio-dev/202303/msg00415.html​​）。

virtio-net inner header hash

为了支持 VXLAN、GENEVE、GRE 等隧道协议基于内头部计算哈希，提升 RSS 以及监控场景的收包性能，高性能网络 SIG 小组发起了 virtio_net: support inner header hash （​​https://lists.oasis-open.org/archives/virtio-dev/202303/msg00415.html​​）的提案。

本月 v9->v12 的讨论主要集中在 inner header hash 如何更好的支持对称哈希的主题上：

legacy GRE 等隧道协议基于 IP 头进行传输，其既没有外部端口号，也没有可以用于识别 flow-specific 的字段，所以基于内头部计算哈希是十分必要的。另外，VXLAN、GENEVE 等现代隧道协议虽然都可基于 transport header 进行传输，即可以通过外部端口号来提高熵，但是在某些监控场景下，它们可能需要同一流的数据包被散列到同一个接收队列，但是同一条流可能会经过不同隧道封装，因此，必须使用内头部计算对称哈希才能到达此目的。

目前针对如何找出一个 key 或者 hash 算法可以同时对称散列 ipv4/ipv6 数据包的问题还没有达成一致，我们会和社区进一步沟通以让 inner header hash 更加通用。

virtio-net 支持 AF_XDP zerocopy

背景：AF_XDP 是一个 bypass 内核的新的收发包框架。它可以把驱动的收包直接传递到用户态，用户态可以直接把包从用户态传递到驱动直接发送出去。它的性能相比于内核的 UDP PPS 可以提升 3-7 倍。但是它要驱动进行 zerocopy 的支持。

目前这个系列的 patch set 由于数量太多，计划分成两个部分：

• virtio core 支持 DMA premapped。这个部分是让 virtio core 框架支持提交 DMA address 操作, 目前的实现里面，所有的 DMA 操作都在 virito core 里面完成的，我们要让 virtio core 支持传递 DMA address 给 virtio core。因为 AF_XDP 会提前完成所有的地址的 DMA 操作，以及一些 virtqueue reset 的相关操作。
• 这部分已经基本在社区的 review 通过。
• virtio-net 支持 AF_XDP。后续的工作在前面一个 patch set 的基础上，会提交到 net-next 分支上。
• 这部分的 patch 也进行了拆分，目前在推进对于 virtio-net 的 xdp 进行代码重构。这一实现已经和社区基本达成了一致。
• 后续的 patch 会在下一个版本发布之后，net 部分包含了 virtio core 的代码更新之后再提交。

以上为 3 月高性能网络 SIG 月度动态，欢迎大家加入共建（入群方式见文末）。更多 SIG 动态前往龙蜥官网获取：

龙蜥 SIG 主页链接：​​https://openanolis.cn/sig​​

高性能网络 SIG 主页：​​https://openanolis.cn/sig/high-perf-network​​

—— 完 ——