Linux下双网卡绑定技术实现负载均衡和失效保护

 author：skate
time：2009/04/07

Linux下双网卡绑定技术实现负载均衡和失效保护

 

 

保持服务器的高可用性是企业级 IT 环境的重要因素。其中最重要的一点是服务器网络连接的高可
用性。网卡（NIC）绑定技术有助于保证高可用性特性并提供其它优势以提高网络性能。

 

    我们在这介绍的Linux双网卡绑定实现就是使用两块网卡虚拟成为一块网卡，这个聚合起来的
设备看起来是一个单独的以太网接口设备，通俗点讲就是两块网卡具有相同的IP地址而并行链接聚
合成一个逻辑链路工作。其实这项技术在Sun和Cisco中早已存在，被称为Trunking和Etherchannel技
术，在Linux的2.4.x的内核中也采用这这种技术，被称为bonding。bonding技术的最早应用是在集群
——beowulf上，为了提高集群节点间的数据传输而设计的。下面我们讨论一下bonding 的原理,什么是
bonding需要从网卡的混杂(promisc)模式说起。我们知道，在正常情况下，网卡只接收目的硬件地址
(MAC Address)是自身Mac的以太网帧，对于别的数据帧都滤掉，以减轻驱动程序的负担。但是网卡也
支持另外一种被称为混杂promisc的模式，可以接收网络上所有的帧，比如说tcpdump，就是运行在这
个模式下。bonding也运行在这个模式下，而且修改了驱动程序中的mac地址，将两块网卡的Mac地址改
成相同，可以接收特定mac的数据帧。然后把相应的数据帧传送给bond驱动程序处理。

 

最近我们要配置一个分布式出票库，为了达到网络的高可用性，高性能，我采用linux的双网卡绑定技术

理论听起来比较繁琐，其实配置起来很简单

 

配置环境：

os：centos4.7

绑定的前提条件：芯片组型号相同，而且网卡应该具备自己独立的BIOS芯片

 

1.编辑虚拟网络接口配置文件,指定网卡IP

[oracle@ticketb ~]$ cd /etc/sysconfig/network-scripts/
[oracle@ticketb network-scripts]$ ls
ifcfg-eth0      ifdown-ipv6  ifup-aliases  ifup-plip    ifup-wireless
ifcfg-eth1      ifdown-isdn  ifup-ib       ifup-plusb   init.ipv6-global
ifcfg-lo        ifdown-post  ifup-ippp     ifup-post    network-functions
ifdown          ifdown-ppp   ifup-ipsec    ifup-ppp     network-functions-ipv6
ifdown-aliases  ifdown-sit   ifup-ipv6     ifup-routes
ifdown-ippp     ifdown-sl    ifup-ipx      ifup-sit
ifdown-ipsec    ifup         ifup-isdn     ifup-sl
[oracle@ticketb network-scripts]$

 

复制一份ifcfg-eth1 ，然后对其修改：

 

root@ticketb network-scripts]# cp ifcfg-eth1 ifcfg-bond0
[root@ticketb network-scripts]# ls
ifcfg-bond0     ifdown-ipsec  ifup          ifup-isdn    ifup-sl
ifcfg-eth0      ifdown-ipv6   ifup-aliases  ifup-plip    ifup-wireless
ifcfg-eth1      ifdown-isdn   ifup-ib       ifup-plusb   init.ipv6-global
ifcfg-lo        ifdown-post   ifup-ippp     ifup-post    network-functions
ifdown          ifdown-ppp    ifup-ipsec    ifup-ppp     network-functions-ipv6
ifdown-aliases  ifdown-sit    ifup-ipv6     ifup-routes
ifdown-ippp     ifdown-sl     ifup-ipx      ifup-sit

 

修改ifcfg-bond0 如下所示：

 

[root@ticketb network-scripts]# vi ifcfg-bond0

DEVICE=bond0
BOOTPROTO=static
BROADCAST=192.168.2.255
IPADDR=192.168.2.248
NETMASK=255.255.255.0
ONBOOT=yes
TYPE=Ethernet

 

这里要主意，不要指定单个网卡的IP 地址、子网掩码或网卡 ID。将上述信息指定到虚拟适配器(bonding)中即可。

修改 ifcfg-eth0和ifcfg-eth1如下：

 

[root@ticketb network-scripts]# more ifcfg-eth0
DEVICE=eth0
BOOTPROTO=none
ONBOOT=yes
TYPE=Ethernet
[root@ticketb network-scripts]# more ifcfg-eth1
DEVICE=eth1
BOOTPROTO=none
ONBOOT=yes
TYPE=Ethernet
[root@ticketb network-scripts]#

 

3 # vi /etc/modprobe.conf

 

编辑/etc/modprobe.conf ，加入如下一行内容，以使系统在启动时加载bonding模块，对外虚拟网络接口设备为 bond0

[root@ticketb network-scripts]# more /etc/modprobe.conf
alias eth0 bnx2
alias eth1 bnx2
alias scsi_hostadapter megaraid_sas
alias scsi_hostadapter1 ata_piix
alias usb-controller ehci-hcd
alias usb-controller1 uhci-hcd

#useradd

alias bond0 bonding
options bond0 miimon=100 mode=1 

miimon是用来进行链路监测的。 比如:miimon=100，那么系统每100ms监测一次链路连接状态，
如果有一条线路不通就转入另一条线路；mode的值表示工作模式，他共有0，1,2,3四种模式，常用的为0,1两种。

   mode=0 表示load balancing (round-robin)为负载均衡方式，两块网卡都工作。
   mode=1 表示fault-tolerance (active-backup)提供冗余功能，工作方式是主备的工作方式,
          也就是说默认情况下只有一块网卡工作,另一块做备份.

4 # vi /etc/rc.d/rc.local

 

[root@ticketb network-scripts]# more /etc/rc.d/rc.local
#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.

touch /var/lock/subsys/local

#useradd

ifenslave bond0 eth0 eth1
route add -net 192.168.1.255 network 255.255.255.0 bond0

 

如果管理工具支持可以重新启动网络子系统或者仅仅启动bonding设备，否则重新启动机器

如果你的发布提供的管理工具不支持在网络接口配置中定义master/slave，则需要使用下面的命令手工配置bonding设备：

如下：

# /sbin/ifconfig bond0 192.168.1.1 up
# /sbin/ifenslave bond0 eth0
# /sbin/ifenslave bond0 eth1

 

修改bonding参数

# modprobe bonding miimon=100 mode=1

4. 测试
重新启动机器

[root@ticketb ~]# ifconfig -a
bond0     Link encap:Ethernet  HWaddr 00:22:19:BF:0F:7E 
          inet addr:192.168.2.248  Bcast:192.168.2.255  Mask:255.255.255.0
          inet6 addr: fe80::222:19ff:febf:f7e/64 Scope:Link
          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1
          RX packets:33488 errors:0 dropped:0 overruns:0 frame:0
          TX packets:434 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:3226340 (3.0 MiB)  TX bytes:43195 (42.1 KiB)

eth0      Link encap:Ethernet  HWaddr 00:22:19:BF:0F:7E 
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:17070 errors:0 dropped:0 overruns:0 frame:0
          TX packets:421 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:1643065 (1.5 MiB)  TX bytes:42195 (41.2 KiB)
          Interrupt:169 Memory:f8000000-f8012100

eth1      Link encap:Ethernet  HWaddr 00:22:19:BF:0F:7E 
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:16418 errors:0 dropped:0 overruns:0 frame:0
          TX packets:13 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:1583275 (1.5 MiB)  TX bytes:1000 (1000.0 b)
          Interrupt:169 Memory:f4000000-f4012100

[root@ticketb ~]#

在这种情况下出现一块网卡失效,仅仅会是服务器出口带宽下降,也不会影响网络使用.

可以在另外一台机器用ping命令长时间测试

 

ping 192.168.2.248 -t

 

然后你尝试手动分别拔掉两根网线，查看ping的结果如何？
结果是网络不间断吧！！！

 

到此配置完毕，简单吧！！

 6. 通过查看bond0的工作状态查询能详细的掌握bonding的工作状态

[root@ticketb ~]# more /proc/net/bonding/bond0
Ethernet Channel Bonding Driver: v2.6.3-rh (June 8, 2005)

Bonding Mode: fault-tolerance (active-backup)
Primary Slave: None
Currently Active Slave: eth0
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0

Slave Interface: eth0
MII Status: up
Link Failure Count: 0
Permanent HW addr: 00:22:19:bf:0f:7e

Slave Interface: eth1
MII Status: up
Link Failure Count: 0
Permanent HW addr: 00:22:19:bf:0f:80

修改mode值后，都要重新启动机器，以便让内核重新应用新的bonding

参考文档：

http://www.cndw.com/tech/server/2006040432583.asp

http://www.chinaunix.net/jh/4/371049.html

 

----end----