理解Linux下网卡的bonding

发现工作中可能会用到Linux下网卡绑定相关的知识。找了些文章看,然后一通混剪,各家所长为我所用。

什么是网卡bond

网卡bonding

网卡bond,即网卡绑定,也称作网卡捆绑。网卡绑定有多种称谓:Port Trunking, Channel Bonding, Link Aggregation, NIC teaming等等,其实说的是一回事。就是将两个或者更多的物理网卡绑定成一个虚拟网卡。通过绑定可以达到链路冗余、带宽倍增、负载均衡等目的。是生产场景中提高性能和可靠性的一种常用技术。
Linux内置了网卡绑定的驱动程序,可以将多个物理网卡分别捆绑成多个不同的逻辑网卡(例如把eth0、eth1捆绑成bond0,把eth2、eth3捆绑成bond1)。对于每一个bond接口来说,可以分别定义不同的绑定模式和链路监视选项。

bond的模式

对应于不同的负载均衡和容错特性需求,Linux网卡bond的模式共有bond0-bond6共7种。

mode=0(balance-rr)

表示负载分担round-robin,并且是轮询的方式,比如第一个包走eth0,第二个包走eth1,直到数据包发送完毕。

  • 优点:可用带宽提高一倍
  • 缺点:需要接入交换机做端口聚合,否则可能无法使用

mode=1(active-backup)

表示主备模式,即同一时间时只有1块网卡在工作。

  • 优点:冗余性高
  • 缺点:链路利用率低,两块网卡只有1块在工作,N块网卡绑定时利用率是1/N

mode=2(balance-xor)(平衡策略)

表示使用MAC地址的XOR Hash负载分担,网络上特定的通信双方会始终经由某一个网卡的链路通信,和交换机的聚合强制不协商方式配合。(需要xmit_hash_policy[1],需要交换机配置port channel)

  • 特点:基于指定的传输HASH策略传输数据包。缺省的策略是:(源MAC地址 XOR 目标MAC地址) % slave数量。其他的传输策略可以通过xmit_hash_policy选项指定,此模式提供负载平衡和容错能力

mode=3(broadcast)(广播策略)

表示所有包从所有绑定的网络接口发出,不考虑均衡流量的分担,只有冗余机制,但过于浪费资源。此模式适用于金融行业,因为他们需要高可靠性的网络,不允许出现任何问题。需要和交换机的聚合强制不协商方式配合。

  • 特点:在每个slave接口上传输每个数据包,此模式提供了容错能力

mode=4(802.3ad)(IEEE 802.3ad 动态链接聚合)

表示支持802.3ad协议,和交换机的聚合LACP方式配合(需要xmit_hash_policy).标准要求所有设备在聚合操作时,要在同样的速率和双工模式。

  • 特点:创建一个聚合组,它们共享同样的速率和双工设定。根据802.3ad规范将多个slave工作在同一个激活的聚合体下。外出流量的slave选举是基于传输hash策略,该策略可以通过xmit_hash_policy选项从缺省的XOR策略改变到其他策略。需要注意的是,并不是所有的传输策略都是802.3ad适应的,尤其考虑到在802.3ad标准43.2.4章节提及的包乱序问题。不同的实现可能会有不同的适应性。
  • 必要条件:
    • 条件1:ethtool支持获取每个slave的速率和双工设定
    • 条件2:switch(交换机)支持IEEE802.3ad Dynamic link aggregation
    • 条件3:大多数switch(交换机)需要经过特定配置才能支持802.3ad模式

mode=5(balance-tlb)(适配器传输负载均衡)

是根据每个slave的负载情况选择slave进行发送,接收时使用当前轮到的slave。该模式要求slave接口的网络设备驱动有某种ethtool支持;而且ARP监控不可用。

  • 特点:不需要任何特别的switch(交换机)支持的通道bonding。在每个slave上根据当前的负载(根据速度计算)分配外出流量。如果正在接受数据的slave出故障了,另一个slave接管失败的slave的MAC地址。
  • 必要条件:
    • ethtool支持获取每个slave的速率

mode=6(balance-alb)(适配器适应性负载均衡)

在5的tlb基础上增加了rlb(接收负载均衡receiveload balance).不需要任何switch(交换机)的支持。接收负载均衡是通过ARP协商实现的.

与交换机对接的要求

模式1、模式5和模式6不需要交换机端的设置,网卡能自动聚合。模式4需要支持802.3ad。模式0,模式2和模式3理论上需要静态聚合方式。(据说实测中模式0可以通过mac地址欺骗的方式在交换机不设置的情况下不太均衡地进行接收。)

Linux下的配置方法

第一步:创建ifcfg-bond0

创建ifcfg-bond0文件,配置IP地址、子网掩码、网关等参数。

# cat /etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0 
IPADDR=192.168.1.12 
NETMASK=255.255.255.0 
GATEWAY=192.168.1.1 
USERCTL=no 
BOOTPROTO=none 
ONBOOT=yes

第二步:修改网卡配置文件ifcfg-eth*(以三个网卡绑定为例)

修改eth0、eth1、eth2的配置文件,注释或删除IP地址、掩码、网关和MAC地址的配置,添加关于MASTER和SLAVE的设置

# cat /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0 
BOOTPROTO=none 
ONBOOT=yes 
# Settings for Bond 
MASTER=bond0 
SLAVE=yes

# cat /etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE=eth1 
BOOTPROTO=none  
ONBOOT=yes 
USERCTL=no 
# Settings for bonding 
MASTER=bond0 
SLAVE=yes

# cat /etc/sysconfig/network-scripts/ifcfg-eth2
DEVICE=eth2 
BOOTPROTO=none 
ONBOOT=yes 
MASTER=bond0 
SLAVE=yes

第三步:确定选用何种bonding模式

根据实际需求,选择合适的bonding模式,为bond0设置bonding kernel module。
/etc/modprobe.conf中添加以下内容

# bonding commands 
alias bond0 bonding 
options bond0 mode=1 miimon=200

有些Linux是在/etc/modprobe.d/下创建一个新的设置文件bonding.conf

options中
miimon:监视网络链接的频度,单位是毫秒,我们设置的是200毫秒。为0则不检测
max_bonds:配置的bond口个数
mode:bond模式,主要有0-6共7种,在一般的实际应用中,0和1用的比较多

第四步:激活bonding驱动

# modprobe bonding

确认模块是否加载成功

#lsmod | grep bonding 

第五步:重启网络,并确认一下bond0的状态。

重启网络(或重启主机):

# service network restart

查看bond0的状态:

# cat /proc/net/bonding/bond0 
Ethernet Channel Bonding Driver
Bonding Mode: adaptive load balancing 
Primary Slave: None 
Currently Active Slave: eth2 
MII Status: up 
MII Polling Interval (ms): 100 
Up Delay (ms): 0 
Down Delay (ms): 0
Slave Interface: eth2 
MII Status: up 
Link Failure Count: 0 
Permanent HW addr: 00:13:72:80: 62:f0

另外还可以使用ifconfig -a | grep HWaddr查看bond0接口是否处于活动状态,以及各网卡MAC地址情况。

# ifconfig | grep HWaddr  
bond0 Link encap:Ethernet HWaddr 00:16:36:1B:BB:74  
eth0 Link encap:Ethernet HWaddr 00:16:36:1B:BB:74  
eth1 Link encap:Ethernet HWaddr 00:16:36:1B:BB:74 
eth2 Link encap:Ethernet HWaddr 00:16:36:1B:BB:74 

从上面的确认信息中,我们可以看到3个重要信息:
1.现在的bonding模式是active-backup
2.现在Active状态的网口是eth2
3.bond0,eth0、eth1、的物理地址和处于active状态下的eth2的物理地址相同,这样是为了避免上位交换机发生混乱。

测试验证

可以ping一个远程地址,然后断开Active状态的eth2口网线,验证主备模式是否能正常切换,业务是否受到影响。

ifenslave命令

将网口添加到bond中:ifenslave bond eth0 eth1【bond要先up】
将bond中删除网口:ifenslave -d bond eth0
bond中网口主备倒换:ifenslave -c bond eth1

多个bond口如何处理

前面只是3个网口绑定成一个bond1的情况,如果我们要设置多个bond口,比如物理网口eth0和eth1组成bond0,eth2和eth3组成bond1应该如何设置呢?
网口设置文件的设置方法和上面第1步讲的方法相同,只是/etc/modprobe.d/bonding.conf的设定就不能像下面这样简单的叠加了:

alias bond0 bonding  
options bonding mode=1 miimon=200  
alias bond1 bonding  
options bonding mode=1 miimon=200 

正确的设置方法有2种:
第一种:你可以看到,这种方式的话,多个bond口的模式就只能设成相同的了:

alias bond0 bonding  
alias bond1 bonding  
options bonding max_bonds=2 miimon=200 mode=1 

第二种:这种方式,不同的bond口的mode可以设成不一样:

alias bond0 bonding  
options bond0 miimon=100 mode=1  
install bond1 /sbin/modprobe bonding -o bond1 miimon=200 mode=0 

按照上面这2种设置方法,现在如果是要设置3个,4个,甚至更多的bond口,可是可以的。

参考资料:
中文:
https://blog.csdn.net/shengerjianku/article/details/79221886
https://www.cnblogs.com/tcicy/p/8554014.html
https://www.cnblogs.com/fan-gx/p/11069845.html
https://www.jianshu.com/p/1919bdb7e8c2
英文:
https://www.thegeekdiary.com/what-are-the-network-bonding-modes-in-centos-rhel/
http://www.enterprisenetworkingplanet.com/linux_unix/article.php/3850636/Understanding-NIC-Bonding-with-Linux.htm
https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/7/html/networking_guide/overview-of-bonding-modes-and-the-required-settings-on-the-switch
http://www.linuxhowto.in/2012/08/modes-of-bonding-network-bonding.html
https://www.cloudibee.com/network-bonding-modes/


  1. xmit_hash_policy的解释:这个参数可用于mode2和mode4,有以下几种:
    layer2:使用二层帧头作为计算分发出口的参数,这导致通过同一个网关的数据流将完全从一个端口发送,为了更加细化分发策略,必须使用一些三层信息,然而却增加了计算开销。
    layer2+3:在1的基础上增加了三层的ip报头信息,计算量增加了,然而负载却更加均衡了,一个个主机到主机的数据流形成并且同一个流被分发到同一个端口,根据这个思想,如果要使负载更加均衡。
    layer3+4:可以形成一个个端口到端口的流,负载更加均衡。通过TCP及UDP端口及其IP地址进行HASH计算。
    miimon和arp:使用miimon仅能检测链路层的状态,也就是链路层的端到端连接(即交换机某个口和与之直连的本地网卡口),然而交换机的上行口如果down掉了还是无法检测到,因此必然需要网络层的状态检测,最简单也是最直接的方式就是arp了,可以直接arp网关,如果定时器到期网关还没有回复arp reply,则认为链路不通了。 ↩

你可能感兴趣的:(理解Linux下网卡的bonding)