linux系统的集群

linux系统的集群包括：

1. 网卡绑定
2. 磁盘阵列
3. 磁盘多路径绑定
4. 冗余电源

• 网卡绑定：http://www.linuxfoundation.org/collaborate/workgroups/networking/bonding

我们在这介绍的Linux双网卡绑定实现就是使用两块网卡虚拟成为一块网卡，这个聚合起来的设备看起来是一个单独的以太网接口设备，通俗点讲就是两块网卡具有相同的IP地址而并行链接聚合成一个逻辑链路工作。其实这项技术在Sun和Cisco中早已存在，被称为Trunking和Etherchannel技术，在Linux的2.4.x的内核中也采用这这种技术，被称为bonding。

      bonding技术的最早应用是在集群——beowulf上，为了提高集群节点间的数据传输而设计的。下面我们讨论一下bonding 的原理,什么是bonding需要从网卡的混杂(promisc)模式说起。我们知道，在正常情况下，网卡只接收目的硬件地址(MAC Address)是自身Mac的以太网帧，对于别的数据帧都滤掉，以减轻驱动程序的负担。但是网卡也支持另外一种被称为混杂promisc的模式，可以接收网络上所有的帧，比如说tcpdump，就是运行在这个模式下。bonding也运行在这个模式下，而且修改了驱动程序中的mac地址，将两块网卡的Mac地址改成相同，可以接收特定mac的数据帧。然后把相应的数据帧传送给bond驱动程序处理。

      直接给两块网卡设置同一IP地址是不可能的。Kernels 2.4.12及以后的版本均供bonding模块，以前的版本可以通过patch实现。

一、编辑虚拟网络接口配置文件,指定网卡IP

假设eth0是对外服务的网卡，已经调试好网络；eth1是希望与eth0同时对外提供服务的网卡。

#  cd /etc/sysconfig/network-scripts/
#  vi ifcfg-bond0 

写入如下信息和原来 ifcfg-eth0 的配置其实差不多。

所以我建议执行如下语句，将ifcfg-eth0复制一份再改。

#  cp ifcfg-eth0 ifcfg-bon0

将ifcfg-bon0的信息修改大致如下：

DEVICE = bond0 
BOOTPROTO = static 
IPADDR = [ IP ]  
NETMASK = [ MASK ]  
BROADCAST = [ BROADCAST ]  
GATEWAY = [ GATEWAY ]  
ONBOOT = yes 
TYPE = Ethernet

二、配置真实网卡

修改ifcfg-eth0如下：

DEVICE = eth0 
BOOTPROTO = none 
ONBOOT = yes 
MASTER = bond0 #如果不写，则必须做第四步 
SLAVE = yes       #如果不写，则必须做第四步 
USERCTL = yes

类似地修ifcfg-eth1如下：

DEVICE = eth1 
BOOTPROTO = none 
ONBOOT = yes 
MASTER = bond0 #如果不写，则必须做第四步 
SLAVE = yes       #如果不写，则必须做第四步 
USERCTL = yes

三、加载模块，让系统支持bonding

默认情况下，内核已支持bonding，只需要简单修改/etc/modprobe.conf 这个配置文档就可以了：添加两行

alias bond0 bonding 
options bond0 miimon = 100  mode = 1

说明：
      mode指定了bond0的工作模式，常用的是0和1，0表示负载均衡方式，1表示主从方式，可根据需要自行配置。常用的为0,1两种。mode=0表示load balancing (round-robin)为负载均衡方式，两块网卡都工作。mode=1表示fault-tolerance (active-backup)提供冗余功能，工作方式是主备的工作方式,也就是说默认情况下只有一块网卡工作,另一块做备份。bonding只能提供链路监测，即从主机到交换机的链路是否接通。如果只是交换机对外的链路down掉了，而交换机本身并没有故障，那么bonding会认为链路没有问题而继续使用。 miimon是用来进行链路监测的。比如:miimon=100，那么系统每100ms监测一次链路连接状态，如果有一条线路不通就转入另一条线路。

四、增加开机启动脚本

在 /etc/rc.d/rc.local里加上

ifenslave bond0 eth0 eth1

如果eth0和eth1都写了MASTER和SLAVE，则上面的步骤做不做都无所谓。

五、重启

reboot或者service network restart 都可以看到结果。

六、测试

      ping着某个地址，当然是能ping通的地址啦。如果发现网络不通，请检查ifcfg-bond0的网络设置。

然后拔掉一根网线，如果ping没断，证明拔了一根backup的线，不是主线，重新插上等两分钟。

此时拔掉另一根网线，估计现在可以看到ping超时或者卡在那里，稍等10~30秒，ping继续连同。

测试成功。

 

• 磁盘多路径绑定

1.    配置前的准备

服务器上已经有两块HBA卡，并连接在相同的磁盘上（一般每个HBA卡连接在不同的光纤交换机）。fdisk -l命令查看磁盘，将会发现有两个空间大小完全相同的磁盘。

通过scsi_id命令确认两个磁盘时同一个磁盘。

/sbin/scsi_id -g -u -s /block/sdc

/sbin/scsi_id -g -u -s /block/sdd

确认系统已安装multipath软件包：

rpm -q device-mapper-multipath

 

2.    磁盘多路径绑定配置

修改主配置文件/etc/multipath.conf

找到以下内容并将其注释掉：

#blacklist {

#       devnode “*”

#}

这是设备的黑名单列表，系统中可能存在多个可进行绑定的磁盘设备，此列表可以对那些不要绑定的设备进行过滤，以避免使用中的吴操作。配置文件在默认情况下会过滤所有设备，因此系统不会为任何设备匹配绑定链接，注释后，multipath会为系统中除了本地磁盘以外的所有磁盘设备绑定链接。

启动多路径绑定

/etc/init.d/multipathd start

chkconfig  multipathd on

multipath -ll

若此时系统发现了两组磁盘，有一个多路径绑定没有必要，再次修改主配置文件/etc/multipaht.conf，找到blacklist项解开注释，并修改为：

blacklist {

       wwid  0QEMU_QEMU_HARDDISK_scsi0-hd1     (multipath -ll结果)

}

multipath -F  清空所有磁盘绑定设备

重启服务 service multipathd restart

再查看系统只发现一组磁盘

格式化、挂载多路径设备:

mkfs.ext3  /dev/md-2;mkdir  /multipath;mount /dev/md-2 /multipath

需重启生效，在/etc/fstab文件中添加挂载项

 

/multipath.conf配置文件配置项-----defaults详解

该项用与定义多路径绑定的运行策略

defaults {

udev_dir                   dev               #设备所在位置

polling_interval             10                #路径检查间隔

selector                    “round-robin 0”     #路径间的轮询操作算法

path_qrouping_policy        failover            #路径冗余策略（默认：multibus）

getuid_callout               “/sbin/scsi_id -g -u -s /block/%n” #判断相同设备的规则

prio_callout                /bin/true            #判断设备优先级的方式

path_checker               readsector0          #路径状态的检查模式

rr_min_io                 100                 #I/O轮询的路径切换间隔

max_fds                  8192                #允许同时打开的最大文件描述符

rr_weight                  priorities            #轮询是否使用加权方式

failback                   immediate           #发现路径失效时的操作方式

no_path_retry              fail                 #路径失效重试

user_friendly_names         yes                #是否使用友好的设备名

}

 

·path_grouping_policy

multibus—在同一个绑定设备中，所有路径均拥有相同的优先级，因此读写操作通过多路径来实现负载均衡。一旦某一个路径失效，访问便会被分流到其他的可用路径。

failover—在同一个绑定设备中，只有一个路径拥有优先级，因此磁盘操作都使用同一个路径，一旦此路径失效，操作便会重定向到另一个可用设备。

默认值为multibus

建议：与网卡bonding中的默认选择类似，在磁盘I/O低于单个HBA卡的I/O处理能力，建议使用failover模式，这是因为multibus会消耗额外的CPU资源以进行计算。

 

·path_checker

readsector0—通过0扇区检查磁盘连路的可用状态，这是一个十分通用的模式。

directio—以直接I/O方式检查磁盘连路的可用状态。

除以上2中模式外，还有tur、emc_clariion、hp_sw模式，它们使用与不同的设备。

默认值为：readsector0

·rr_min_io

此值定义了在multibus模式中多个路径之间切换的密度，意思为每N次I/O操作后切换到下一个路径后再进行操作。此值过小会导致I/O路径的频繁切换；过大则会导致在大规模操作时切换延时，发挥不了应有的性能。只有当path_grouping_policy为multibus时才有效。

默认值为100

 

·max_fds

此参数只有在RHEL5.2及之后版本中有效

·user_friendly_names

设置为yes时系统会自动使用/dev/dm-x作为绑定的设备名；如果设为no，系统将会使用当前磁盘的wwid作为设备名。

 

3.    磁盘多路径绑定效果测试

通过在不同模式中、在多路径设备下建立1GB文件，并在建立过程中断开正在运行在路径来进行测试。

dd  if=/dev/zero of=/multipath/1g.file bs=1M count=1024

监控在各个磁盘设备的设备号：

ll  /dev/  | grep -E ‘sdc|sdd|dm-2’

sar -d 1 | grep -E ‘DEV | dev8-32|dev8-48|dev253-2’ | head -n 4