Linux编程：嵌入式ARM平台Linux网络实时性能优化

0. 概要

本文将通过优化时钟周期、网络中断处理、协议栈配置、CPU 调度等配置来提升网络吞吐量，尤其是 UDP 数据包的处理效率。同时也将分析这些优化措施可能带来的副作用和对系统资源的影响。

1. 时钟周期与网络性能的权衡

时钟周期（ClockPeriod）

优化策略：

• 启用高分辨率定时器：对于实时性要求高的应用，建议配置内核，启用高分辨率定时器（CONFIG_HIGH_RES_TIMERS），以提高定时器精度。

  make menuconfig  # 打开Linux内核配置
  CONFIG_HIGH_RES_TIMERS=y
  

• 合理选择时钟周期：选择适当的时钟周期，使其在精度和 CPU 负载之间找到平衡。可通过测试找到最适合的时钟周期。

副作用：

• CPU 负担增加：高分辨率定时器提高了系统调度的精度，但也增加了频繁的上下文切换和时钟更新，可能会增加 CPU 资源的消耗，特别是在 CPU 负载本已较重的情况下。
• 过短的时钟周期可能会导致 CPU 资源被频繁的中断处理占用，从而影响网络中断的响应，尤其是在高流量的 UDP 数据包处理中。

2. 网络中断优化

问题：

• 中断过于频繁：默认情况下，网络驱动会为每个数据包触发一次中断，这在高流量场景下会大幅增加 CPU 的负载，降低 UDP 数据包的吞吐量。
• 中断竞争：在多核系统中，多个中断可能争夺 CPU 资源，导致缓存失效和上下文切换开销，进一步影响性能。

优化策略：

• 启用 NAPI：通过启用 NAPI（New API）合并中断，减少中断的频率，优化 CPU 的使用。

  ethtool -C eth0 rx-usecs 10
  

• 中断优先级调整：调整网络中断的优先级，确保网络中断能在系统繁忙时优先处理。

  echo 1 > /proc/irq/<irq_number>/smp_affinity_list
  

• 中断绑定（CPU 绑定）：将网络中断绑定到特定的 CPU 核心，减少跨核上下文切换开销。

  echo 1 > /sys/class/net/eth0/queues/rx-0/rps_cpus
  

副作用：

• 内存使用增加：NAPI 的合并中断可能会导致系统使用更多的内存来存储等待处理的数据包，特别是在大流量情况下。
• 延迟增加：尽管中断频率减少，但合并中断和轮询可能会导致延迟略有增加，尤其是在低流量场景下。

3. 网络协议栈优化

在高吞吐量应用中，网络协议栈的一些默认配置可能成为性能瓶颈。

优化策略：

• 调整缓冲区大小：合理调整 UDP 接收和发送缓冲区的大小，以优化吞吐量。

  sysctl -w net.core.rmem_max=16777216
  sysctl -w net.core.wmem_max=16777216
  

• 禁用不必要的协议：如果系统不需要 IPv6 或其他协议，可以通过禁用这些协议来减少协议栈的负担。

  sysctl -w net.ipv6.conf.all.disable_ipv6=1
  

副作用：

• 内存消耗增加：增大缓冲区大小会增加内存的消耗，特别是在高负载的情况下，可能导致系统内存紧张。

4. 禁用内存页面交换（禁用 Swap）

为什么禁用 Swap？

交换空间（swap）允许操作系统将不常用的数据页从内存移至硬盘，当系统内存不足时，避免直接崩溃。虽然这种机制有助于防止内存溢出，但当数据被交换到磁盘上时，每当需要访问这些数据时都会触发缺页中断，进而导致额外的延迟。

禁用 Swap 配置：

可以使用以下命令禁用当前的 swap 分区：

# 禁用 swap 分区
swapoff -a

# 永久禁用 swap，编辑 /etc/fstab 文件，注释掉 swap 行

副作用：

• 内存压力增加：禁用 swap 后，如果系统内存不足，应用程序可能会因内存溢出而崩溃。需要确保系统有足够的物理内存来承载高负载。

5. 配置 swappiness 为 0

• 禁用 Swap 是彻底关闭交换空间，不允许内存数据交换到磁盘。
• 配置内核swappiness 为 0 是一种软性优化，它尽量避免使用交换空间，但不完全禁止。当系统内存极度紧张时，swappiness 为 0 不会阻止系统使用 swap

如何设置 swappiness 为 0：

1. 临时修改： 临时修改 swappiness 的值，使其立即生效，但重启后会失效。

   sysctl vm.swappiness=0
   

2. 永久修改： 修改 /etc/sysctl.conf 文件，使配置在系统重启后依然生效。

   echo "vm.swappiness = 0" >> /etc/sysctl.conf
   sysctl -p
   

副作用：

• 内存压力增加：将 swappiness 设置为 0 后，如果系统内存不足，进程可能会因内存不足而崩溃。

6. 网络吞吐量与 CPU 调度

网络吞吐量不仅与中断处理有关，还与 CPU 调度效率和任务优先级密切相关。合理调度网络相关进程，确保它们能够高优先级地执行，可以有效提高 UDP 数据包的吞吐量。

优化策略：

• CPU 亲和性：将 UDP 数据处理任务绑定到特定的 CPU 核心上，避免跨核任务迁移，减少缓存失效的概率。

  taskset -c 0-1 ./my_udp_task
  

• 高优先级调度：使用实时调度策略（如 FIFO 或 RR）提高与 UDP 数据包处理相关进程的优先级，确保网络中断能够及时响应。

  chrt -f 99 my_udp_task
  

副作用：

• CPU 负担不均：CPU 亲和性优化可能会导致某些 CPU 核心的负载过重，而其他核心处于闲置状态，因此需要仔细评估。

7. 使用硬件辅助优化

硬件时间戳可以提高网络吞吐量，减轻 CPU 的负担。

优化策略：

• 启用硬件时间戳：如果网卡支持，启用硬件时间戳可以减轻 CPU 的负担。

  ethtool -T eth0
  ethtool -s eth0 time-stamping on
  

副作用：

• 内存消耗：硬件时间戳等功能会占用一定的内存资源，特别是在需要精确时间同步的高流量环境中，可能导致内存消耗增加。

更多阅读

• 针对ARM64嵌入式系统的Linux内核参数优化
• tcp网络编程性能优化点
• Linux操作系统的实时化-PREEMPT_RT

后记补充

我们可以对NIC驱动做驱动层优化，有些已经在上文中提及。

中断和中断聚合优化

• 中断合并（Interrupt Coalescing）：传统中断方式下，每个数据包触发一次中断，增加CPU负担。启用中断合并后，网卡在接收到一定数量的数据包或按时间间隔合并触发中断。

  • 优化策略：动态调整中断合并阈值，减少不必要的中断，提升数据处理效率。

• 中断亲和性（Interrupt Affinity）：将中断处理分配到特定CPU核心，避免资源竞争，减少缓存失效和调度开销。

大包聚合（LRO）

• LRO：网卡将多个小包合并为一个大包，减少CPU中断次数，降低开销并提高吞吐量。

硬件加速功能优化

• 启用网卡的硬件加速功能（如CRC校验、包过滤、加密解密等），减轻CPU负担，提升性能。

DMA优化

• DMA优化：通过调整DMA的传输批量、模式（如单次传输、链式传输）和缓冲区分配策略，可以减少CPU干预和内存冲突，提升数据传输效率。