通过bonding技术实现网络负载均衡及冗余

第二种模式：mod=1，即： (active-backup) Active-backup policy（主-备份策略） 特点：只有一个设备处于活动状态，当 一个宕掉另一个马上由备份转换为主设备。mac地址是外部可见得，从外面看来，bond的MAC地址是唯一的，以避免switch(交换机)发生混乱。此模式只提供了容错能力；由此可见此算法的优点是可以提供高网络连接的可用性，但是它的资源利用率较低，只有一个接口处于工作状态，在有 N 个网络接口的情况下，资源利用率为1/N

第三种模式：mod=2，即：(balance-xor) XOR policy（平衡策略）

特点：基于指定的传输HASH策略传输数据包。缺省的策略是：(源MAC地址 XOR 目标MAC地址) % slave数量。其他的传输策略可以通过xmit_hash_policy选项指定，此模式提供负载平衡和容错能力

第四种模式：mod=3，即：broadcast（广播策略）

特点：在每个slave接口上传输每个数据包，此模式提供了容错能力

第五种模式：mod=4，即：(802.3ad) IEEE 802.3ad Dynamic link aggregation（IEEE 802.3ad 动态链接聚合）

特点：创建一个聚合组，它们共享同样的速率和双工设定。根据802.3ad规范将多个slave工作在同一个激活的聚合体下。

外 出流量的slave选举是基于传输hash策略，该策略可以通过xmit_hash_policy选项从缺省的XOR策略改变到其他策略。需要注意的是， 并不是所有的传输策略都是802.3ad适应的，尤其考虑到在802.3ad标准43.2.4章节提及的包乱序问题。不同的实现可能会有不同的适应性。 必要条件：

条件1：ethtool支持获取每个slave的速率和双工设定

条件2：switch(交换机)支持IEEE 802.3ad Dynamic link aggregation

条件3：大多数switch(交换机)需要经过特定配置才能支持802.3ad模式

第六种模式：mod=5，即：(balance-tlb) Adaptive transmit load balancing（适配器传输负载均衡）

特点：不需要任何特别的switch(交换机)支持的通道bonding。在每个slave上根据当前的负载（根据速度计算）分配外出流量。如果正在接受数据的slave出故障了，另一个slave接管失败的slave的MAC地址。 该模式的必要条件：ethtool支持获取每个slave的速率

第七种模式：mod=6，即：(balance-alb) Adaptive load balancing（适配器适应性负载均衡）

特点：该模式包含了balance-tlb模式，同时加上针对IPV4流量的接收负载均衡(receive load balance, rlb)，而且不需要任何switch(交换机)的支持。接收负载均衡是通过ARP协商实现的。bonding驱动截获本机发送的ARP应答，并把源硬件地址改写为bond中某个slave的唯一硬件地址，从而使得不同的对端使用不同的硬件地址进行通信。

来 自服务器端的接收流量也会被均衡。当本机发送ARP请求时，bonding驱动把对端的IP信息从ARP包中复制并保存下来。当ARP应答从对端到达 时，

bonding驱动把它的硬件地址提取出来，并发起一个ARP应答给bond中的某个slave。使用ARP协商进行负载均衡的一个问题是：每次广播 ARP请求时都会使用bond的硬件地址，因此对端学习到这个硬件地址后，接收流量将会全部刘翔当前的slave。这个问题通过给所有的对端发送更新 （ARP应答）来解决，应答中包含他们独一无二的硬件地址，从而导致流量重新分布。当新的slave加入到bond中时，或者某个未激活的slave重新 激活时，接收流量也要重新分布。接收的负载被顺序地分布（round robin）在bond中最高速的slave上

当某个链路被重新接上，或者 一个新的slave加入到bond中，接收流量在所有当前激活的slave中全部重新分配，通过使用指定的MAC地址给每个 client发起ARP应答。下面介绍的updelay参数必须被设置为某个大于等于switch(交换机)转发延时的值，从而保证发往对端的ARP应答 不会被switch(交换机)阻截。 必要条件：

条件1：ethtool支持获取每个slave的速率；

条件2：底层驱动支持设置 某个设备的硬件地址，从而使得总是有个

slave(curr_active_slave)使用bond的硬件地址，同时保证每个bond 中的slave都有一个唯一的硬件地址。如果curr_active_slave出故障，它的硬件地址将会被新选出来的 curr_active_slave接管

其实mod=6与mod=0的区别：mod=6，先把eth0流量占满，再占

eth1，....ethX；而mod=0的话，会发现2个口的流量都很稳定，基本一样的带宽。而mod=6，会发现第一个口流量很高，第2个口只占了小部分流量

2、bonding驱动选项

Bonding驱动的选项是通过在加载时指定参数来设定的。可以通过insmod或modprobe命令的命令行参数来指定，但通常在/etc/modprobe.conf配置文件中指定，或其他的配置文件中

下 面列出可用的bonding驱动参数。如果参数没有指定，驱动会使用缺省参数。刚开始配置bond的时候，建议在一个终端窗口中运行"tail -f

/var/log/messages"来观察bonding驱动的错误信息【译注：/var/log/messages一般会打印内核中的调试信息】

有些参数必须要正确的设定，比如miimon、arp_interval和arp_ip_target，否则在链接故障时会导致严重的网络性能退化。很少的设备不支持miimon，因此没有任何理由不使用它们。

有些选项不仅支持文本值的设定，出于兼容性的考虑，也支持数值的设定，比如，"mode=802.3ad"和"mode=4"效果是一样的

具体的参数列表： 1）primay

指 定哪个slave成为主设备（primary device），取值为字符串，如eth0，eth1等。只要指定的设备可用，它将一直是激活的slave。只有在主设备（primary device）断线时才会切换设备。这在希望某个slave设备优先使用的情形下很有用，比如，某个slave设备有更高的吞吐率

注意： primary选项只对active-backup模式有效

2）updelay

指定当发现一个链路恢复时，在激活该链路之前的等待时间，以毫秒计算。该选项只对miimon链路侦听有效。updelay应该是miimon值的整数倍，如果不是，它将会被向下取整到最近的整数。缺省值为0

3）arp_interval

指 定ARP链路监控频率，单位是毫秒(ms)。如果APR监控工作于以太兼容模式（模式0和模式2）下，需要把switch(交换机)配置为在所有链路上均 匀的分发网络包。如果switch(交换机)被配置为以XOR方式分发网络包，所有来自ARP目标的应答将会被同一个链路上的其他设备收到，这将会导致其 他设备的失败。ARP监控不应该和miimon同时使用。设定为0将禁止ARP监控。缺省值为0

4）arp_ip_target

指 定一组IP地址用于ARP监控的目标，它只在arp_interval > 0时有效。这些IP地址是ARP请求发送的目标，用于判定到目标地址的链路是否工作正常。该设定值为ddd.ddd.ddd.ddd格式。多个IP地址通 过逗号分隔。至少指定一个IP地址。最多可以指定16个IP地址。缺省值是没有IP地址

5）downdelay

指定一个时间，用于在发现链路故障后，等待一段时间然后禁止一个slave，单位是毫秒(ms)。该选项只对miimon监控有效。downdelay值应该是miimon值的整数倍，否则它将会被取整到最接近的整数倍。缺省值为0

6）lacp_rate

指定在802.3ad模式下，我们希望的链接对端传输LACPDU包的速率。可能的选项：

（1）slow 或者 0

请求对端每30s传输LACPDU （2）fast 或者 1

请求对端每1s传输LACPDU （3）缺省值是slow

7）max_bonds

为bonding驱动指定创建bonding设备的数量。比如：如果max_bonds为3，而且bonding驱动还没有加载，那么bond0，bond1，bond2将会被创建。缺省值为1

6）miimon

指定MII链路监控频率，单位是毫秒(ms)。这将决定驱动检查每个slave链路状态频率

0表示禁止MII链路监控。100可以作为一个很好的初始参考值。下面的

use_carrier选项将会影响如果检测链路状态。更多的信息可以参考“高可靠性”章节。缺省值为0

8）mode

指定bonding的策略。缺省是balance-rr （round robin，循环赛）。可选的mode包括：0，1，2，3，4，5，6

3、bonding链路监测方法

官方文档里说有两种针对链路的监测方法（注意：这两种监测不能同时使用）

第一种：miimon（这种方法是最常见的，此方法使用系统的mii-tool命令进行监测）

模块加载设置（/etc/modprobe.conf）： # Start of bonding configure alias bond0 bonding

options bond0 miimon=100 mode=1

注意：使用cat /proc/net/bonding/bond0，可查看Bonding Mode: load balancing (round-robin)状态

options bond0 miimon=100 mode=0

注意：使用cat /proc/net/bonding/bond0，可查看Bonding Mode: load balancing ((active-backup))状态

root@Web:~# mii-tool

eth0: negotiated 100baseTx-HD, link ok eth1: negotiated 100baseTx-HD, link ok

缺 点：这种方法，只能监测交换机与该网卡之间的链路；如果它们之外的链路的地方断了,而交换机本身没有问题，也就是说你的网卡和交换机之间还是UP状态,它 是不会认为网络中断，除非你的网卡是DOWN状态，它才会把链路转到另一块网卡上，就像是拔掉网线一样，或者把交换机端口shutdown一样

第二种：arp（这种方法比较实用，你可以把它看作是arp的ping（二层ping），但是可能会给网关造成一定的压力）

模块加载：

alias bond0 bonding

options bond0 arp_interval=100 arp_ip_target=192.168.1.1 mode=active-backup primary=eth0 解析如下：

arp_interval=100，表示arp的检测时间，等同于miimon=100的作用

arp_ip_target=192.168.1.1，表示arp检测的目标IP，必须是同网段的，最好就是网关

注意：如果使用arp来ping网关不通，那么在/proc/net/bonding/bond0里会一会down，一会up的

优点：使用arp这种方法，如果交换机的上出现问题，网络不通，它就会把链转到另一块网卡上，但是不管是哪种方法，在第一块网卡出现问题，链路转到

第二块后，如果第一块恢复正常，链路自己不会恢复的

多网卡绑定：

把多张网卡帮成虚拟的一个网卡，使用该虚拟的网卡进行数据传输，速度在理论上是网卡N倍

eth0---\

--bond010.1.1.21 ---->

eth1---/

物理连接图：

eth0---\

----switch ----

eth1---/

必须：

绑定的网卡型号，速度应该一致。

rhel6:

1、加载对应的绑定网卡使用的驱动模块。

# modprobe bonding mode=0 miimon=100

mode设定工作模式

0 负载均衡模式（两个网卡同时使用，理论上带宽翻倍）

1 高可用模式（其中一个网卡工作，另外的网卡备用）

miimon=100 每100毫秒对网卡进行检测。

2、激活虚拟网卡（绑定后的逻辑网卡，以后配置IP的就是该网卡，物理网卡不需要配置IP）

rhel6必须先把NetworkManager关闭：

# service NetworkManager stop

# chkconfig NetworkManager off

# ifconfig bond0 10.1.1.28netmask 255.255.255.0 up

# ifenslave bond0 eth0 eth1 <---把物理网卡eth0,eth1绑定到bond0

表面上看，配置了IP和发送数据都是使用bond0，实际上是bonding软件驱动，使用物理网卡在底层发送数据。

# ifconfig

bond0 Link encap:Ethernet HWaddr52:54:00:C3:B8:57

inet addr:10.1.1.28 Bcast:10.1.1.255 Mask:255.255.255.0

inet6 addr: fe80::5054:ff:fec3:b857/64 Scope:Link

UP BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1

。。。。

eth0 Link encap:Ethernet HWaddr52:54:00:C3:B8:57

UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1

。。。

eth1 Link encap:Ethernet HWaddr52:54:00:C3:B8:57

UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1

。。。

临时取消绑定：

# ifenslave -d bond0 eth0 eth1

# ifconfig bond0 down

# rmmod bonding <--卸载模块

永久取消绑定

rm -rf ifcfg-bond0 。

vim /etc/modprobe.d/dist.conf

删除 alias bond0 bonding

options bond0 miimon=100 mode=1

service network restart

方法2：编写配置文件

# vim /etc/modprobe.d/dist.conf

alias bond0 bonding

options bonding miimon=100 mode=0

# vim/etc/sysconfig/network-scripts/ifcfg-bond0

DEVICE=bond0

ONBOOT=yes

BOOTPROTO=static

IPADDR=1.1.1.138

NETMASK=255.255.255.0

NM_CONTROLLED="no" 《――――――该接口不许要用NetworkManager是管理

MASTER=yes

# vim/etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"

BOOTPROTO="none"

HWADDR="52:54:00:C3:B8:57"

NM_CONTROLLED="no" 《---

ONBOOT="yes"

MASTER=bond0

SLAVE=yes

# vim/etc/sysconfig/network-scripts/ifcfg-eth1

DEVICE="eth1"

BOOTPROTO="none"

HWADDR="52:54:00:42:C1:8A"

NM_CONTROLLED="no" 《----

ONBOOT="yes"

MASTER=bond0

SLAVE=yes

# service network restart

测试

在绑定的机器上看网卡流量：

# watch "ifconfig |grep 'RX packets' |head -3 |tail -2"

Every 2.0s: ifconfig |grep 'RX packets' |... Wed Jan 2 03:22:42 2013

RX packets:9532 errors:0 dropped:0 overruns:0 frame:0

RX packets:9470 errors:0 dropped:0 overruns:0 frame:0

从另外一台机器发送大文件到绑定的机器