Linux 多网卡绑定概述
本文 os:6.4 这里测试是四块网卡绑定 1 块 bond
我们在这介绍的Linux 双 网卡绑定实现就是使用两块网卡虚拟成为一块网卡,这个聚合起来的设备看起来是一个单独的以太网接口设备,通俗点讲就是两块网卡具有相同的IP地址而并行链 接聚合成一个逻辑链路工作。其实这项技术在Sun和Cisco中早已存在,被称为Trunking和Etherchannel 技术,在Linux的2.4.x的内核中也采用这这种技术,被称为bonding。
bonding技术的最早应用是在集群――beowulf上,为了提高集群节点间的数据 传 输而设计的。下面我们讨论一下bonding 的原理,什么是bonding需要从网卡的混杂(promisc)模式说起。我们知道,在正常情况下,网卡只接收目的硬件地址(MAC Address)是自身Mac的以太网帧,对于别的数据帧都滤掉,以减轻驱动程序的负担。但是网卡也支持另外一种被称为混杂promisc的模式,可以接 收网络 上所有的帧,比如说tcpdump,就是运行在这个模式下。bonding也运行在这个模式下,而且修改了驱动程序中的mac地址,将两块网卡的Mac地址改成相同,可以接收特定mac的数据帧。然后把相应的数据帧传送给bond驱动程序处理。
直接给两块网卡设置同一IP地址是不可能的。Kernels 2.4.12及以后的版本均供bonding模块,以前的版本可以通过patch实现。可以通过以下命令确定内核是否支持 bonding:
[root@Aries]$ cat /boot/config-2.6.32-431.el6.x86_64 |grep -i CONFIG_BONDING CONFIG_BONDING=m
网卡绑定的意义
网络负载均衡
对 于bonding的网络负载均衡是我们在文件服务器中常用到的,比如把三块网卡,当做一块来用,解决一个IP地址,流量过大,服务器网络压力过大的问 题。对于文件服务器来说,比如NFS或SAMBA文件服务器,没有任何一个管理员会把内部网的文件服务器的IP地址弄很多个来解决网络负载的问题。如果在 内网中,文件服务器为了管理和应用上的方便,大多是用同一个IP地址。对于一个百M的本地网络来说,文件服务器在多个用户同时使用的情况下,网络压力是极 大的,特别是SAMABA和NFS服务器。为了解决同一个IP地址,突破流量的限制,毕竟网线和网卡对数据的吞吐量是有限制的。如果在有限的资源的情况 下,实现网络负载均衡,最好的办法就是 bonding ;
网络冗余;
对于服务器来说,网络设备的稳定也是比较重要的,特别是网卡。在 生产型的系统中,网卡的可靠性就更为重要了。在生产型的系统中,大多通过硬件设备的冗余来 提供服务器的可靠性和安全性,比如电源。bonding 也能为网卡提供冗余的支持。把网个网卡绑定到一个IP地址,当一块网卡发生物理性损坏的情况下,另一块网卡也能提供正常的服务。
双网卡绑定设置
一、编辑虚拟网络接口配置文件,指定网卡IP
假设eth0是对外服务的网卡,已经调试好网络;eth1是希望与eth0同时对外提供服务的网卡
# cd /etc/sysconfig/network-scripts/
#vi ifcfg-bond0
写入如下信息和原来 ifcfg-eth0 的配置其实差不多。
所以我建议执行如下语句,将ifcfg-eth0复制一份再改。
# cp ifcfg-eth0 ifcfg-bon0
将ifcfg-bon0的信息修改大致如下:
DEVICE=bond0 IPADDR=10.199.xx.xx NETMASK=255.255.255.xxx NETWORK=10.199.xx.xx GATEWAY=10.199.xx.xx ONBOOT=yes BOOTPROTO=none #DNS1=xx.xx.xx.xx USERCTL=no BONDING_OPTS="mode=1 miimon=100" TYPE=Ethernet IPV6INIT=no
二、配置真实网卡
修改ifcfg-em1如下:
DEVICE=em1 #HWADDR=4c:76:25:42:f8:41 ONBOOT=yes BOOTPROTO=none MASTER=bond0 #如果不写,则必须做第四步 SLAVE=yes #如果不写,则必须做第四步 USERCTL=no #TYPE=Ethernet #IPV6INIT=no TYPE=Ethernet IPV6INIT=no
类似地修ifcfg-em2如下:
DEVICE=em2 #HWADDR=4C:76:25:42:F8:44 ONBOOT=yes BOOTPROTO=none MASTER=bond0 SLAVE=yes USERCTL=no #TYPE=Ethernet #IPV6INIT=no TYPE=Ethernet IPV6INIT=no
其他类似
三、加载模块,让系统 支持bonding
默认情况下,内核已支持bonding,只需要简单修改/etc/modprobe.d/bond.conf 这个配置文档就可以了:添加两行
cat /etc/modprobe.d/bond.conf alias bond0 bonding #options bonding miimon=100 mode=1
说明:
mode指定了bond0的工作模式,在redhat中有0-6共7种工作模式,常用的是0和1。
mode=0 表示 load balancing (round-robin)为负载均衡方式,两块网卡都工作。
mode=1 表示 fault-tolerance (active-backup)提供冗余功能,工作方式是主 从的工作方式,也就是说默认情况下只有一块网卡工作,另一块做备份。
mode=2 表示 XOR policy 为平衡策略。此模式提供负载平衡和容错能力
mode=3 表示 broadcast 为广播策略。此模式提供了容错能力
mode=4 表示 IEEE 802.3ad Dynamic link aggregation 为 IEEE 802.3ad 为 动态链接聚合。该策略可以通过 xmit_hash_policy 选项从缺省的 XOR 策略改变到其他策略。
mode=5 表示 Adaptive transmit load balancing 为适配器传输负载均衡。该 模式的必要条件:ethtool 支持获取每个 slave 的速率
mode=6 表示 Adaptive load balancing 为适配器适应性负载均衡。该模式包含 了 balance-tlb 模式,同时加上针对 IPV4 流量的接收负载均衡(receive load balance, rlb),而且不需要任何 switch(交换机)的支持。
bonding 只能提供链路监测,即从主机到交换机的链路是否接通。如果只是交换机对 外的链路 down 掉了,而交换机本身并没有故障,那么 bonding 会认为链路没有问题而继 续使用。
关于绑定网卡的详细参数可参见笔者的另一篇文章
http://czmmiao.iteye.com/admin/blogs/1044031
四、增加开机启动脚本
在 /etc/rc.d/rc.local里加上
#ifenslave bond0 em1 em2 em3 em4
如果eth0和eth1都写了MASTER和SLAVE,则上面的步骤做不做都无所谓。
五、重启
reboot或者service network restart 都可以看到结果。
六、查看绑定在哪张网卡上
cat /proc/net/bonding/bond0 Ethernet Channel Bonding Driver: v3.6.0 (September 26, 2009) Bonding Mode: fault-tolerance (active-backup) Primary Slave: None Currently Active Slave: em2 MII Status: up MII Polling Interval (ms): 100 Up Delay (ms): 0 Down Delay (ms): 0 Slave Interface: em1 MII Status: up Speed: 10000 Mbps Duplex: full Link Failure Count: 3 Permanent HW addr: 4c:76:25:42:f8:75 Slave queue ID: 0 Slave Interface: em2 MII Status: up Speed: 10000 Mbps Duplex: full Link Failure Count: 3 Permanent HW addr: 4c:76:25:42:f8:78 Slave queue ID: 0 Slave Interface: em3 MII Status: up Speed: 10000 Mbps Duplex: full Link Failure Count: 3 Permanent HW addr: 4c:76:25:42:fb:f1 Slave queue ID: 0 Slave Interface: em4 MII Status: up Speed: 10000 Mbps Duplex: full Link Failure Count: 3 Permanent HW addr: 4c:76:25:42:fb:f4 Slave queue ID: 0
六、测试
ping着某个地址,当然是能ping通的地址啦。如果发现网络不通,请检查ifcfg-bond0的网络设置。
然后拔掉一根网线,如果ping没断,证明拔了一根backup的线,不是主线,重新插上等两分钟。
此时拔掉另一根网线,估计现在可以看到ping超时或者卡在那里,稍等10~30秒,ping继续连同。
测试成功。