linux 双网卡绑定

Linux 下双网卡绑定技术实现负载均衡和失效保护

      保持服务器的高可用性是企业级  IT  环境的重要因素。其中最重要的一点是服务器网络连接的高可用性。网卡（ NIC ）绑定技术有助于保证高可用性特性并提供其它优势以提高网络性能。

       我们在这介绍的 Linux 双网卡绑定实现就是使用两块网卡虚拟成为一块网卡，这个聚合起来的设备看起来是一个单独的以太网接口设备，通俗点讲就是两块网卡具有相同的 IP 地址而并行链接聚合成一个逻辑链路工作。其实这项技术在 Sun 和 Cisco 中早已存在，被称为 Trunking 和 Etherchannel 技术，在 Linux 的 2.4.x 的内核中也采用这这种技术，被称为 bonding 。 bonding 技术的最早应用是在集群―― beowulf 上，为了提高集群节点间的数据传输而设计的。下面我们讨论一下 bonding  的原理 , 什么是 bonding 需要从网卡的混杂 (promisc) 模式说起。我们知道，在正常情况下，网卡只接收目的硬件地址 (MAC Address) 是自身 Mac 的以太网帧，对于别的数据帧都滤掉，以减轻驱动程序的负担。但是网卡也支持另外一种被称为混杂 promisc 的模式，可以接收网络上所有的帧，比如说 tcpdump ，就是运行在这个模式下。 bonding 也运行在这个模式下，而且修改了驱动程序中的 mac 地址，将两块网卡的 Mac 地址改成相同，可以接收特定 mac 的数据帧。然后把相应的数据帧传送给 bond 驱动程序处理。

     说了半天理论，其实配置很简单，一共四个步骤：

实验的操作系统是 Redhat Linux Enterprise 4.0

绑定的前提条件：芯片组型号相同，而且网卡应该具备自己独立的 BIOS 芯片

下面试验一下热备模式 .

首先要看 linux 是否支持 bonding,RHEL4 已经默认支持了 .( 大部分发行版都支持 )

# modinfo bonding

filename:       /lib/modules/ 2.6.18 -8.el5/kernel/drivers/net/bonding/bonding.ko

author:         Thomas Davis, [email protected] and many others

description:    Ethernet Channel Bonding Driver, v 3.0.3

version:         3.0.3

license:        GPL

srcversion:     2547D 22885C 2FDF28EF7D98

如果有类似上面的信息输出 , 说明已经支持了 .

如果没有 , 说明内核不支持 bonding, 需要重新编译内核

编译内核的步骤这里就不多写了 , 在 make menuconfig 里面

找到 Bonding driver support 这样的对话框 , 选中它 .

如果是模块编译 , 还需要挂载模块 . 挂载 bonding  模块的方法；

[root@localhost#] modprobe bonding

如果 /sbin/ifenslave 没有 , 我们还需要把它也单独编译出来

[root@lin:/home/beinan#] cd /usr/src/linux- 2.6.20 /Documentation/networking

[root@lin:/home/networking#] gcc -Wall -Wstrict-prototypes -O -I/usr/src/linux- 2.6.20 /include ifenslave.c -o ifenslave

[root@lin:/home/networking#] cp ifenslave /sbin/ifenslave

1. 编辑虚拟网络接口配置文件 , 指定网卡 IP

vi /etc/sysconfig/ network-scripts/ ifcfg-bond0

[root@rhas-13 root]# cp /etc/sysconfig/network-scripts/ifcfg-lo ifcfg-bond0

[root@cl303 network-scripts]# more ifcfg-bond0

DEVICE=bond0

IPADDR=172.16.248.50

NETMASK=255.255.0.0

NETWORK=172.16.0.0

BROADCAST=172.16.255.255

ONBOOT=yes

BOOTPROTO=none

USERCTL=no

[root@cl303 network-scripts]# more ifcfg-eth0

DEVICE=eth0

BOOTPROTO=none

ONBOOT=yes

USERCTL=no

MASTER=bond0

SLAVE=yes

[root@cl303 network-scripts]# more ifcfg-eth1

# Please read /usr/share/doc/initscripts-*/sysconfig.txt

# for the documentation of these parameters.

DEVICE=eth1

BOOTPROTO=none

ONBOOT=yes

USERCTL=no

MASTER=bond0

SLAVE=yes

3 # vi /etc/moprobe.conf 编辑 /etc/moprobe.conf  文件，加入如下一行内容，以使系统在启动时加载 bonding 模块，对外虚拟网络接口设备为  bond0 　 加入下列两行 alias bond0 bonding options bond0 miimon=100 mode=1 说明： miimon 是用来进行链路监测的。   比如 :miimon=100 ，那么系统每 100ms 监测一次链路连接状态，如果有一条线路不通就转入另一条线路； mode 的值表示工作模式，他共有 0 ， 1,2,3 四种模式，常用的为 0,1 两种。    mode=0 表示 load balancing (round-robin) 为负载均衡方式，两块网卡都工作。    mode=1 表示 fault-tolerance (active-backup) 提供冗余功能，工作方式是主备的工作方式 , 也就是说默认情况下只有一块网卡工作 , 另一块做备份 .   bonding 只能提供链路监测，即从主机到交换机的链路是否接通。如果只是交换机对外的链路 down 掉了，而交换机本身并没有故障，那么 bonding 会认为链路没有问题而继续使用 4 # vi /etc/rc.d/rc.local 加入两行 ifenslave bond0 eth0 eth1 route add -net 172.31.3.254 netmask 255.255.255.0 bond0 ( 如果有对外交换机要加） 到这时已经配置完毕重新启动机器 . 重启会看见以下信息就表示配置成功了 ................ Bringing up interface bond0 OK Bringing up interface eth0 OK Bringing up interface eth1 OK ................ 下面我们讨论以下 mode 分别为 0,1 时的情况 mode=1 工作在主备模式下 , 这时 eth1 作为备份网卡是 no arp 的 [root@rhas-13 network-scripts]# ifconfig  验证网卡的配置信息 bond0     Link encap:Ethernet HWaddr 00:0E: 7F :25:D9:8B           inet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0           UP BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1           RX packets:18495 errors:0 dropped:0 overruns:0 frame:0           TX packets:480 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:0           RX bytes:1587253 (1.5 Mb) TX bytes:89642 (87.5 Kb) eth0      Link encap:Ethernet HWaddr 00:0E: 7F :25:D9:8B           inet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0           UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1           RX packets:9572 errors:0 dropped:0 overruns:0 frame:0           TX packets:480 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:1000           RX bytes:833514 (813.9 Kb) TX bytes:89642 (87.5 Kb)           Interrupt:11 eth1      Link encap:Ethernet HWaddr 00:0E: 7F :25:D9:8B           inet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0           UP BROADCAST RUNNING NOARP SLAVE MULTICAST MTU:1500 Metric:1           RX packets:8923 errors:0 dropped:0 overruns:0 frame:0           TX packets:0 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:1000           RX bytes:753739 (736.0 Kb) TX bytes:0 (0.0 b)           Interrupt:15      那也就是说在主备模式下 , 当一个网络接口失效时 ( 例如主交换机掉电等 ), 不回出现网络中断 , 系统会按照 cat /etc/rc.d/rc.local 里指定网卡的顺序工作 , 机器仍能对外服务 , 起到了失效保护的功能 . 通过查看 bond0 的工作状态查询能详细的掌握 bonding 的工作状态 [root@cl303 ~]# cat /proc/net/bonding/bond0 Ethernet Channel Bonding Driver: v 2.6.0  (January 14, 2004) Bonding Mode: fault-tolerance (active-backup) Primary Slave: None Currently Active Slave: eth0 MII Status: up MII Polling Interval (ms): 10 Up Delay (ms): 0 Down Delay (ms): 0 Slave Interface: eth0 MII Status: up Link Failure Count: 0 Permanent HW addr: 00: 0c :29:63:bc:b7 Slave Interface: eth1 MII Status: up Link Failure Count: 0 Permanent HW addr: 00: 0c :29:63:bc:c1 在 mode=0     负载均衡工作模式 , 他能提供两倍的带宽 , 下我们来看一下网卡的配置信息 [root@rhas-13 root]# ifconfig bond0     Link encap:Ethernet HWaddr 00:0E: 7F :25:D9:8B           inet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0           UP BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1           RX packets:2817 errors:0 dropped:0 overruns:0 frame:0           TX packets:95 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:0           RX bytes:226957 (221.6 Kb) TX bytes:15266 (14.9 Kb) eth0      Link encap:Ethernet HWaddr 00:0E: 7F :25:D9:8B           inet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0           UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1           RX packets:1406 errors:0 dropped:0 overruns:0 frame:0           TX packets:48 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:1000           RX bytes:113967 (111.2 Kb) TX bytes:7268 (7.0 Kb)           Interrupt:11 eth1      Link encap:Ethernet HWaddr 00:0E: 7F :25:D9:8B           inet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0           UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1          RX packets:1411 errors:0 dropped:0 overruns:0 frame:0           TX packets:47 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:1000           RX bytes:112990 (110.3 Kb) TX bytes:7998 (7.8 Kb)           Interrupt:15        在这种情况下出现一块网卡失效 , 仅仅会是服务器出口带宽下降 , 也不会影响网络使用 . [root@cl303 ~]# cat /proc/net/bonding/bond0 Ethernet Channel Bonding Driver: v 2.6.0  (January 14, 2004) Bonding Mode: load balancing (round-robin) MII Status: up MII Polling Interval (ms): 1 Up Delay (ms): 0 Down Delay (ms): 0 Slave Interface: eth0 MII Status: up Link Failure Count: 0 Permanent HW addr: 00: 0c :29:63:bc:b7 Slave Interface: eth1 MII Status: up Link Failure Count: 0 Permanent HW addr: 00: 0c :29:63:bc:c1