linux 网卡RX丢包,解决网卡丢包问题，以及丢包问题解决后系统网络还是慢的问题...

背景

线上的K8S集群有一台节点，装了Istio的遥测组件，这个组件，之前在哪个节点哪个节点就出问题。出现的问题主要体现在几个点：

①：服务器间歇性 NodeNotReady

②：服务器丢包极为严重

③：服务器网络非常慢，以至于在服务器上执行 curl youku.com 都要响应很久。

Istio的遥测组件，是一个服务，由Istio的Ingress以及SideCar发送数据给遥测服务，而且发送的是UDP的包，量非常非常大，能达到 500Mbps。UDP包量大应该是导致了网卡丢包以及网络缓慢的主要问题，所以，要解决这个问题，就需要坐下Linux网卡收包层面的优化。开始优化前，需要先明确一下步骤：

几个基本概念

网卡相关的基础知识

网卡收包问题排查

几个基本概念

NIC：NIC 是 Network Interface Card，即网络接口卡，也就是网卡。

IRQ：传统上，NIC会生成中断请求(IRQ)，指示数据已到达。IRQ也是有多种的，有三种常见类型的IRQ：MSI-X，MSI和传统IRQ。

网卡相关的基础知识

网卡的队列数量

查看和设置网卡使用的队列数量(注意，是队列的数量，不是队列本身的大小，仅针对收包)

1

2// 小写 l 查看

ethtool -l em2

1

2

3

4

5

6

7

8

9

10

11Channel parameters for em2:

Pre-set maximums:

RX: 4

TX: 4

Other: 0

Combined: 0

Current hardware settings:

RX: 4

TX: 1

Other: 0

Combined: 0

从上面看，队列有几种：RX、TX、Combined 等。有些网卡，只支持 Combined 队列(发送和接收公用，这种叫做组合队列)，有些可以单独设置 RX 和 TX 队列(RX 就是接收队列，TX 就是发送队列)。

设置网卡队列的大小

1

2// 大写 L 为设置

ethtool -L eth0 rx 8

注意：

①：并非所有网卡都支持这个操作命令，这得看网卡驱动是否支持 ethtool get_channels 操作，一般支持这个操作的是物理网卡，虚拟网卡、虚拟网桥一般不支持。

②：设置队列操作，会导致网卡关闭后再次启动，所以和这个网卡相关的链接就会关闭。

网卡的队列大小

查看和设置网卡的队列大小(注意是大小，不是数量)

查看网卡队列大小

1

2// 小写 g 为查看

ethtool -g em2

1

2

3

4

5

6

7

8

9

10

11Ring parameters for em2:

Pre-set maximums:

RX: 2047

RX Mini: 0

RX Jumbo: 0

TX: 511

Current hardware settings:

RX: 200

RX Mini: 0

RX Jumbo: 0

TX: 511

这个设置说明，网卡本身的队列大小，支持最高 2047，目前的设置是 200。

设置网卡队列大小

1

2// 大写 G 为设置

ethtool -G eth0 rx 4096

注意：

①：并不是所有网卡都支持通过 ethtool 查看和修改网卡队列大小。

②：这个操作，同样会关闭和启动网卡，所以，和这个网卡相关的连接也会中断。

网卡的队列权重

调整网卡队列的处理权重(仅针对收包)

查看网卡队列的权重

1

2// 小写 x 为查看

ethtool -x em2

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17RX flow hash indirection table for em2 with 4 RX ring(s):

0: 0 1 2 3 0 1 2 3

8: 0 1 2 3 0 1 2 3

16: 0 1 2 3 0 1 2 3

24: 0 1 2 3 0 1 2 3

32: 0 1 2 3 0 1 2 3

40: 0 1 2 3 0 1 2 3

48: 0 1 2 3 0 1 2 3

56: 0 1 2 3 0 1 2 3

64: 0 1 2 3 0 1 2 3

72: 0 1 2 3 0 1 2 3

80: 0 1 2 3 0 1 2 3

88: 0 1 2 3 0 1 2 3

96: 0 1 2 3 0 1 2 3

104: 0 1 2 3 0 1 2 3

112: 0 1 2 3 0 1 2 3

120: 0 1 2 3 0 1 2 3

说明：如上，有4个队列，队列编号是：0、1、2、3。散列值为2的数据，要发往2号队列，散列值为3的，要发往3号队列，散列值为8的，要发往0号队列。

设置网卡队列权重

1

2

3

4

5

6

7

8// 大写 X 为设置

// 设置权重均分，equal

ethtool -X eth0 equal 2

// 单独设置权重

// 下面这个操作，是为网卡的0号队列设置权重为6，网卡的1号队列设置权重为2。这样一来，队列0会处理更多的数据

ethtool -X eth0 weight 6 2

针对网卡队列的网卡收包的哈希策略

调整网卡上收包(RX)过程用于哈希的字段(仅针对收包)

首先，对数据包哈希的意义，是用于放入不同的队列。哈希可以选择数据包中的不同字段来哈希。

查看用于哈希的字段：

1

2// 小写 n 查看

ethtool -n eth0 rx-flow-hash udp4

1

2

3UDP over IPV4 flows use these fields for computing Hash flow key:

IP SA

IP DA

上面的输出说明，计算接受UDP包的哈希字段，是 IP地址的源地址和目的地址。

配置用于哈希的字段：

1

2// 大写的 N 为设置

ethtool -N eth0 rx-flow-hash udp4 sdfn

其中 sdfn 是一个字符串，可以通过 man ethtool 来查看。

网卡 RX的 ntuple 过滤功能(仅针对收包)

有一些网卡，是支持“ntuple过滤”的功能。这个功能用于过滤硬件中的传入网络数据并将其排入特定的RX队列。这个可以做到很多过滤特性，比如：

①：用户可以指定发往特定端口的TCP数据包应该发送到RX队列1。换句话说，让发往80端口的是数据包，指定到某个队列。

②：让发往某个端口的数据，由某个CPU处理。

这个功能，有不同的叫法，比如说，Intel 的网卡管这个叫做 Internet Ethernet Flow Director。

举一个此功能的使用场景：提供Web服务的响应效率，步骤如下：

①：让80上运行的Web服务器固定在CPU 2上运行(也就是对进程的CPU绑定)。

②：RX队列(收包队列)的IRQ(请求中断)被分配为由CPU 2处理。也就是，让某个收包队列，由某个CPU处理。

③：发往端口80的TCP流量使用ntuple“过滤”到CPU 2。

正题，查看网卡是否支持 ntuple 过滤：

1

2// 小写 k 查看

ethtool -k eth1

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20Features for eth1:

rx-checksumming: off [fixed]

tx-checksumming: on

tx-checksum-ipv4: off [fixed]

tx-checksum-ip-generic: on

tx-checksum-ipv6: off [fixed]

tx-checksum-fcoe-crc: off [fixed]

tx-checksum-sctp: off [fixed]

scatter-gather: on

tx-scatter-gather: on

tx-scatter-gather-fraglist: off [fixed]

tcp-segmentation-offload: on

tx-tcp-segmentation: on

tx-tcp-ecn-segmentation: off [fixed]

tx-tcp6-segmentation: on

tx-tcp-mangleid-segmentation: off

....

ntuple-filters: off [fixed]

....

hw-tc-offload: off [fixed]

如上，nutple-filters 为 off ，表示 ntuple 过滤功能没有开启。

开启 nutple 过滤：

1

2// 大写 K 设置

ethtool -K eth0 ntuple on

查看 ntuple 过滤规则：

1

2// 小写 u 查看规则

ethtool -u eth0

1

240 RX rings available

Total 0 rules

如上，Total 0 rules 表示此设备没有 ntuple 过滤规则。

添加 ntuple 过滤规则：

1

2

3// 大写 U 设置规则

// 添加 ntuple 过滤规则，让目标端口80的TCP流发送到RX队列2

ethtool -U eth0 flow-type tcp4 dst-port 80 action 2

注意：可以使用ntuple过滤在硬件级别丢弃特定流的数据包。比如，丢弃特定IP地址的传入流量。

软中断(softirq)

中断简介：

中断：外部设备，需要通过中断机制(中断信号)，来通知CPU处理响应的任务。这样CPU就响应中断信号对应的处理动作即可。避免CPU盲目等待某一个任务而无法处理其他任务的情况。中断是由外部设备引起的，计算机能够接受的外部信号，非常的有限，因为不可能为每一个外部的设备都定义好信号的格式，所以，计算机给外部信号，只约定了一种信号格式，这种信号就是中断信号，这套信号的接受和处理共同组成中断机制。

计算机的中断，可以看做一个过程，它在看电视，然后水烧开了(中断信号)，基于计算机去处理烧水的事情。但是计算机不具备连续性，处理完了烧水的事儿，就不知道怎么回到原来的过程再去看电视。计算机要完成上面的看似具备逻辑性的事情，就需要硬件+软件协同，实现处理中断的全部过程。

中断需要尽可能的快，软中断(softirq)的意义就是，处理中断没有处理完的事情。

举例来说：比如在网卡的驱动程序里，在中断环境里，只是把包放到一个队列里，然后由软中断来把包传递给进程，或者转发包等。

Linux 里边的软中断不可重入，在一个CPU上，一次只能有一个软中断在执行。多个CPU的话，可以有多个软中断。

查看当前机器的系统中断

1

2

3

4

5// 第一步

top

// 第二步

按1

// si 列，就是系统中断，si 就是 softirqs

查看软中断统计信息：

1cat /proc/softirqs

1

2

3

4

5

6

7

8

9

10

11CPU0 CPU1 CPU2 CPU3

HI: 0 0 0 0

TIMER: 2831512516 1337085411 1103326083 1423923272

NET_TX: 15774435 779806 733217 749512

NET_RX: 1671622615 1257853535 2088429526 2674732223

BLOCK: 1800253852 1466177 1791366 634534

BLOCK_IOPOLL: 0 0 0 0

TASKLET: 25 0 0 0

SCHED: 2642378225 1711756029 629040543 682215771

HRTIMER: 2547911 2046898 1558136 1521176

RCU: 2056528783 4231862865 3545088730 844379888

可以看到，不同的 CPU 处理关于网卡收包的软中断次数不一样(速度不一样)，并不均匀，这说明有其他的因素，影响了这个速度。

IRQ coalescing(中断合并)

这个东西，允许中断前缓存数据包，如果简单来说，一个包就会触发中断，那么它可以做到10个包触发一次中断，有效降低中断次数，提高系统响应效率。

启用自适应RX / TX IRQ合并的结果是，当数据包速率较低时，将调整中断传送以改善延迟，并在数据包速率较高时提高吞吐量。

查看网卡的中断合并是否已开启

1ethtool -c eth0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26Coalesce parameters for eth0:

Adaptive RX: off TX: off

stats-block-usecs: 0

sample-interval: 0

pkt-rate-low: 0

pkt-rate-high: 0

rx-usecs: 20

rx-frames: 5

rx-usecs-irq: 0

rx-frames-irq: 5

tx-usecs: 72

tx-frames: 53

tx-usecs-irq: 0

tx-frames-irq: 5

rx-usecs-low: 0

rx-frame-low: 0

tx-usecs-low: 0

tx-frame-low: 0

rx-usecs-high: 0

rx-frame-high: 0

tx-usecs-high: 0

tx-frame-high: 0

其中，Adaptive 显示了当前 RX 和 TX 是否开启了中断合并。

设置中断合并

1ethtool -C eth0 adaptive-rx on

IRQ(中断)的CPU亲和性

对于支持多队列的网卡来说，可以尝试让特定的CPU来处理NIC生成的中断。通过设置特定的CPU，可以分割将用于处理哪些IRQ的CPU。

不过，如果要调整IRQ亲和力，首先应该检查是否运行 irqbalance 守护程序。 这个守护进程尝试自动平衡IRQ到CPU，所以，在开启了 irqbalance 的情况下，它可能会覆盖你原有的设置。 如果正在运行 irqbalance，则应该禁用 irqbalance 或将 –banirq 与 IRQBALANCE_BANNED_CPUS 结合使用，或者，让 irqbalance 知道它不应该触及你想要自己分配的一组 IRQ 和 CPU 。

查看是否开启了 irqbalance 服务

1systemctl status irqbalance

如果没有开启，可以将其开启，开启后，网卡硬中断所绑定的CPU，将由 irqbalance 来自动调配。

netdev_max_backlog

inux 内核从网卡驱动中读取报文后可以缓存的报文数量，默认是 1000。积压在 backlog 的数据包，就是由软中断进行处理的。

调整方式：

1sysctl -w net.core.netdev_max_backlog=2000

注意：检查你网卡的驱动程序，如果它调用 netif_receive_skb 并且你没有使用 RPS，那么增加 netdev_max_backlog 将不会产生任何性能提升，因为没有数据会进入 input_pkt_queue。

套接字接收队列内存

可以通过下面的方式，调整 socket 接收队列的缓冲区大小

1

2// 8388608 就是 8M 左右， 26214400 就是25M 左右

sysctl -w net.core.rmem_max=8388608

sk_rcvbuf 从 net.core.rmem_default 值开始，所以，也可以通过设置sysctl来调整 net.core.rmem_default

1sysctl -w net.core.rmem_default=8388608

我们的应用程序，也可以调用 setsockopt 的时候，配置 SO_RCVBUF 来决定套接字接收队列的内存大小，不过，你最大能设置的值，无法超出 rmem_max (注意：这个说法不完全准确，因为可以通过调用 setsockopt 并传递 SO_RCVBUFFORCE 来覆盖net.core.rmem_max限制，但是，需要你具备 CAP_NET_ADMIN 的能力)

网卡收包排查

先解决丢包问题

要排查问题，说明已经存在问题，存在的问题比如，服务失败率变高(HTTP服务接口失败率高)->进而发现网卡流量太大->进而发现网卡丢包。

先从丢包问题入手，因为有些场景下，解决丢包问题即是第一步，可能这个问题解决了，服务响应问题也就解决了。

查看丢包问题

1ifconfig eth0

查看其中的 dropped 是否为0，以及是否递增。

通过下面几种操作，往往可以解决丢包问题：

1

2

3

4

5

6// 增大socket缓冲区上限

sysctl -w net.core.rmem_max=8388608

// 增大socket缓冲区默认大小

sysctl -w net.core.rmem_default=8388608

// 调整 Linux 系统的网卡缓冲区大小

sysctl -w net.core.netdev_max_backlog=2000

可以通过监控系统进行观测，或者ifconfig进行查看。

虽然网卡不丢包了，系统还是慢，甚至一个 curl youku.com 都能明显感觉卡顿，这种情况，就需要进一步探究。

排查网卡软中断过高的问题

首先，网卡相关的事件，是会发生硬中断和软中断。

①：硬中断，网卡收包就会触发。

②：软中断，网卡收包后，系统将其后续处理，比如发往进程，或者进行包转发等。

软中断，一般是一个或者多个CPU来处理，现在很多网卡都是支持多队列网卡，这种情况，每一个队列都可能绑定一个CPU做中断处理。所以，我们先要确认一下，我们在使用的网卡，有几个队列，每个队列由哪个CPU在处理

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15// 查看网卡 RX 的队列数量

ethtool -l em1

// 下面是输出，说明收包丢列(RX)有4个。

Channel parameters for em1:

Pre-set maximums:

RX: 4

TX: 4

Other: 0

Combined: 0

Current hardware settings:

RX: 4

TX: 1

Other: 0

Combined: 0

1

2// 查看系统中断统计

cat /proc/interrupts

找到对应的网卡，比如 eth0 网卡对应的行(有可能多行，因为网卡可能使用的是多队列)，找出来其中中断次数多的那一列对应的CPU，比如我找到的是：CPU9、CPU21、CPU58、CPU68

然后，我们需要验证，是不是这几个CPU在处理中断，并且繁忙

1

2

3// 执行 top 命令，然后按1，看一下 si 列的值，是不是被动较大，或者一直比较高

top

// 基本上能看到，就是那几个CPU的si列，一直占用比较高

后续的处理，分2个方向：

①：为硬中断绑定CPU

②：为软中断分散CPU压力

为硬中断绑定CPU(不推荐)

首先，这个操作，并不推荐。因为硬中断和软中断的目的不一样，上边说过了，我们可以先从修改软中断的修改看效果，如果Ok，那就没有必要做硬中断的修改了。最主要的是，修改硬中断，需要停止系统的某个服务，而修改软中断不需要。

下面是修改硬中断的CPU绑定操作

给网卡绑定CPU了，要么手动，要么自动，要么两者结合。之所以这么说，是因为，系统可能存在 irqbalance 服务，这个服务起来后，会自动处理中断和CPU的绑定关系。我们如果手动修改，比较麻烦，手动修改的值，会被 irqbalance 冲掉。所以，我们得关闭这个服务，才能

好了，我们先执行手动操作，执行手动操作之前，先要知道，我们要操作谁。Linux 中，关于中断与CPU亲和性绑定关系的，在 proc/irq/ 目录。每一个子目录，都是一个 中断信号的编号。所以，我们要知道网卡中断对应的编号是什么，并进去修改。所以，第一步，我们如何知道网卡软中断的信号编号是什么

首先，停止 irqbalance 服务

1systemctl stop irqbalance

然后，查看网卡对应的中断信号

1

2// 还是这个操作，看统计，找到网卡，最前面的那一列，就是中断信号！

cat /proc/interrupts

比如，我们拿到的是 120、121、122、123 。

然后，修改中断信号和CPU的绑定关系

1

2

3

4echo 9 > /proc/irq/120/smp_affinity_list

echo 10 > /proc/irq/121/smp_affinity_list

echo 11 > /proc/irq/122/smp_affinity_list

echo 12 > /proc/irq/123/smp_affinity_list

为软中断分散CPU压力

修改硬中断其实并不够彻底，因为硬中的处理虽然分散到了上面几个核，但是硬中断之后，软中断才能开始工作，且，也在同一个核上，一个核即做硬中断处理，也做软中断处理，还是会大大降低硬中断和软中断的处理速度。

通过设置 rps 以及 rfs ，可以将软中断，均匀分配到很多个CPU的核上。

1

2

3

4

5// 让em1每个队列的处理，均分到32个CPU核上。

echo ffffffff > /sys/class/net/em1/queues/rx-0/rps_cpus

echo ffffffff > /sys/class/net/em1/queues/rx-1/rps_cpus

echo ffffffff > /sys/class/net/em1/queues/rx-2/rps_cpus

echo ffffffff > /sys/class/net/em1/queues/rx-3/rps_cpus

解释：

①：为什么是8个f，一个f，是4个1，1111，8个f，就是32个1，就是代表32个核。

②：为什么是 rx-0 到 rx-4，因为上面说过了，这个网卡，有4个队列。

③：为什么不设置更多个核，是因为设置多了，系统会终止这个操作：“bash: echo: write error: Value too large for defined data type”说明：

收尾

经过上面的操作，网卡丢包问题基本解决，另外，系统网络缓慢问题也解决。

上面的过程，也并非所有的内核参数都尝试做了调整，也有一些并没有调，总结来说，对 netdev_max_backlog 以及 rmem_max 的调整，可以有效的减少丢包。通过调节软中断并对其分散到多个CPU来减少CPU的中断压力，可以有效提高系统网络的RX效率。

另外，前面提到，有些网卡支持 “中断合并” 特性，这个特定对于缓解中断压力有好处，并且默认情况下这个特性是关闭的，对这个服务器的网卡，设置 “中断合并” 操作，并没有生效，设置完成后也不报错，通过 ethtool -C eth0 也依然看到是 Off 状态。

文章参考