CentOS 6.5 LVS+KeepAlived(DR模式)搭建高可用负载均衡集群

转载来自：http://blog.csdn.net/tengyuantuohai/article/details/19639671

为了实现服务的高可用和可扩展，在网上找了几天的资料，现在终于配置完毕，现将心得公布处理，希望对和我一样刚入门的菜鸟能有一些帮助。

一、理论知识（原理）

我们不仅要知其然，而且要知其所以然，所以先给大家准备一些理论知识课，这样对以后的应用将会事半功倍。

1、什么是LVS？

请阅读作者章文嵩博士自己的研究报告，共计4部分，看完后对集群和LVS就有了初步的了解，不懂时可以翻翻。

LVS项目介绍http://www.linuxvirtualserver.org/zh/lvs1.html

LVS集群的体系结构http://www.linuxvirtualserver.org/zh/lvs2.html

LVS集群中的IP负载均衡技术http://www.linuxvirtualserver.org/zh/lvs3.html

LVS集群的负载调度 http://www.linuxvirtualserver.org/zh/lvs4.html

2、什么是KeepAlived?

Keepalived原理与实战精讲 http://zhumeng8337797.blog.163.com/blog/static/100768914201191762253640/

3、什么是CentOS?

百度百科给出的 http://baike.baidu.com/link?url=X3SzN3bJWjW_PkWC6GB2MTs5KhVmxBAxnCRjs9W7-IARDiHloZ_oRWj17BEz0kY3

4、小结

相信读了以上的理论知识后，已经对集群的实现原理有了大概的了解，那接下来我们就开始动手吧。

二、服务器的安装

我们会用到4个服务器，横向分2层：

第1层是LVS服务器（1个主，1个从；从可以多个）用来转发请求，需要安装ipvsadm和keepAlived；第2层是提供具体服务的服务器（表中用了2个；当然也可以是多个，现实的应用会上百台。），安装的是具体的服务，这里我们安装的是TOMCAT。

主机环境如下：

192.168.10.100　 LVS_VIP（VIP：Virtual IP）
192.168.10.140　 LVS_Master　　  
192.168.10.141　 LVS_Backup
192.168.10.142　 WEB1_RealServer
192.168.10.143　 WEB2_RealServer

克隆：我们先安装配置好一层的一个服务器，其他服务器使用克隆方式。（我是先配置好LVS_Master，然后使用相同的步骤配置LVS_Backup，最后按照本篇文章修改Backup对应配置文件）

3、LVS层安装LVS和KeepAlived

打开LVS_Master服务器；

先安装lvs_master的服务，lvs_backup使用克隆虚拟机 （同上，我是先安装的虚拟机，再操作同样的步骤） 的方式，然后在配置文件修改三个参数即可，下面会讲到。

3）安装IPVSADM

知识点：IPVSADM理解为IPVS管理工具；LVS（Linux Virtual Server）的核心为IPVS（IP Virtual Server），从Linux内核版本2.6起，IPVS模块已经编译进了Linux内核。

使用yum命令进行安装，系统会选择最适合内核版本的ipvsadm

 yum -y install ipvsadm

4）防火墙

为了测试方便，我们直接关闭防火墙，在实际使用中开启需要的端口即可（具体配置可参考：http://www.cnblogs.com/rockee/archive/2012/05/17/2506671.html）

 service iptables stop

5）KeepAlived 的安装

知识点：KeepAlived是一个路由软件，它主要的目的是让我们通过简单的配置，实现高可用负载均衡，当然负载均衡依赖于Linux虚拟服务器（IPVS）的内核模块，其高可用性使用VRRP协议来实现，KeepAlived不仅会检测负载均衡服务器池中每台机器的健康状况并通知IPVS将非健康的机器从池中移除掉；同时它还能对负载均衡调度器本身实现健康状态检查，当主负载均衡调度器出现问题时，备用负载均衡调度器顶替主进行工作。

逐条执行如下命令，执行的原因暂不解释，实际就是需要这些组件，安装即可。

 cd /usr/src
 yum -y install openssl-devel
 wget http://www.keepalived.org/software/keepalived-1.2.7.tar.gz
 wget http://mirror.centos.org/centos/6/os/x86_64/Packages/popt-static-1.13-7.el6.x86_64.rpm
 yum -y install popt-static-1.13-7.el6.x86_64.rpm
 yum -y install kernel-devel make gcc openssl-devel libnl* popt*
 ln -s /usr/src/kernels/2.6.32-220.13.1.el6.x86_64/ /usr/src/linux
 tar zxvf keepalived-1.2.7.tar.gz
 cd keepalived-1.2.7
 ./configure --with-kernel-dir=/usr/src/kernels/2.6.32-358.2.1.el6.x86_64/

执行完最后一条时，终端应该显示为下图这样，如果不是请不要继续，自己返回来看下有没有哪里执行有误；

如果是上图这样，恭喜你已经成功了一大半，剩下的就简单了！

继续执行

 make && make install
 cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/
 cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
 mkdir /etc/keepalived
 cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/
 cp /usr/local/sbin/keepalived /usr/sbin/

OK，KeepAlived安装完毕，然后进行配置。

6）KeepAlivde的配置

The First：打开IP Forward 功能（LVS现有三种负载均衡规则都需要打开此功能，如果不打开此功能，下面的配置配得再好都无济于事。）

 yum -y install vim
 vim /etc/sysctl.conf

打开后修改里面“net.ipv4.ip_forward = 1”，结果如下图：

（修改常用命令：i键表示要插入修改，修改好后摁ESC，然后输入":wq"，保存退出，其他命令参考：http://www.cnblogs.com/zhanglong0426/archive/2010/10/07/1845268.html）

修改好后保存退出，执行如下命令使设置立即生效

 sysctl -p

第二步：KeepAlivde的配置

配置文件在这个位置： /etc/keepalived/keepalived.conf

启动KeepAlived时，它默认会去/etc/keepalived下面找它的配置文件，所以上面命令中我们已经将这个配置文件复制过来了。现在进行修改：

 vim  /etc/keepalived/keepalived.conf

具体的参数详情请参考：http://zhumeng8337797.blog.163.com/blog/static/100768914201191762253640/

下面是我配置好的文件内容

 ! Configuration File for keepalived
 global_defs {
     notification_email {
         [email protected]
     }
     notification_email_from [email protected]
     smtp_server 127.0.0.1
     smtp_connect_timeout 30
     router_id LVS_MASTER
 }

 vrrp_instance VI_1 {
     state MASTER
     interface eth1 （用ifconfig查看一下，开头就会出现，网卡不一定是eth1）
     virtual_router_id 60
     priority 100  （优先级，主备路由器不能一样）
     advert_int 1
     authentication {
         auth_type PASS
         auth_pass 1111
     }
     virtual_ipaddress {
         192.168.10.100  （注意具体的网段，按照自己的虚拟机写，可能是                                     192.168.200.129,这个ip不能真实存在，不能是你机器的ip）
     }
 }

 （注：下面的都是lvs 负载均衡的配置）
 virtual_server 192.168.10.100 8080 {
     delay_loop 6
     lb_algo rr
     lb_kind DR
     nat_mask 255.255.255.0
     persistence_timeout 50
     protocol TCP

     real_server 192.168.10.142 8080 {  （这个才是真实的ip，但注意这是应用层的                                ip，不是路由层的ip，既不是master和backup的ip）
         weight 1
         TCP_CHECK {
             connect_timeout 3
             nb_get_retry 3
             delay_before_retry 3
         }
     }

     real_server 192.168.10.143 8080 {  （同上）
         weight 1
         TCP_CHECK {
             connect_timeout 3
             nb_get_retry 3
             delay_before_retry 3
         }
     }
 }

以上就完成了keepAlived的配置，下面进行启动

 chkconfig keepalived on
 service keepalived start

查看进程

 ps aux | grep keepalived

结果如图

Keepalived正常运行时，共启动3个进程，其中一个进程是父进程，负责监控其子进程；一个是vrrp子进程；另外一个是checkers子进程。

如果此时只看到2个进程，请从安装keepalived的步骤重新执行。

查看下虚拟IP是否已经加上（重要）

 ip a   （ip address 缩写）

如图：

说明虚拟IP已经自动配置上了。

还有3个命令在先列示下，并不用执行

显示集群中服务器ip信息：ipvsadm -ln

查看日志：tail -f /var/log/messages

查看请求转发情况：ipvsadm -lcn | grep 虚拟IP

7）至此，LVS_MASTER服务器已经配置好并启动了，接下来我们配置web服务器。

4、WEB服务器WEB1_RealServer的配置

1）打开虚拟机WEB1_RealServer；

2）配置虚拟IP启动脚本

 yum -y install vim
 vim /etc/init.d/realserver.sh

在文件中输入如下脚本：

 #!/bin/bash
 SNS_VIP=192.168.10.100  （刚才上一步配置的虚拟路由ip）
 . /etc/rc.d/init.d/functions
 case "$1" in
 start)
  ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP
  /sbin/route add -host $SNS_VIP dev lo:0
  echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
  echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
  echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
  echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
  sysctl -p >/dev/null 2>&1
  echo "RealServer Start OK"
  ;;
 stop)
  ifconfig lo:0 down
  route del $SNS_VIP >/dev/null 2>&1
  echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
  echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
  echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
  echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
  echo "RealServer Stoped"
  ;;
  *)
  echo "Usage: $0 {start|stop}"
  exit 1
 esac
 exit 0

3）安装配置TOMCAT

我测试用的是TOMCAT6

 yum -y install tomcat6 tomcat6-webapps tomcat6-admin-webapps
 chkconfig tomcat6 on
 service tomcat6 start

启动后如图：

关闭防火墙：

 service iptables stop

打开浏览器：http://192.168.10.142:8080 （注意，这是应用层的ip，不是路由层的）

会看到TOMCAT的熟悉页面了。

为了测试负载均衡，我们将这个页面改下，以更好的标识这个网页是本服务器的

Tomcat6安装目录位于/usr/share/tomcat6，所以我们要编辑tomcat下的webapps/ROOT/index.html这个文件。

 cd /usr/share/tomcat6/webapps/ROOT/
 cat /dev/null > index.html
 vim index.html

将如下文本写入index.html，然后打开浏览器：http://192.168.10.142:8080，已经改变：

 web1 192.168.10.142

（注意，左边是修改后的页面展示，只有一句话其他为空）

4）启动虚拟IP的脚本

 sh /etc/init.d/realserver.sh start
 ifconfig

运行后会看到网络有了一个虚拟IP，如图：（ifconfig  最后一行）

5）去LVS_MASTER服务器的终端查看下ipvsadm，查看已经连接上了WEB1服务器，运行命令

 ipvsadm -ln

结果如图：（->后面跟的是具体应用层的ip）

已经可以看到有服务器加入进来了。

此时我们访问网页http://192.168.10.100（路由层的ip），出现界面显示web1 192.168.10.142；然后使用命令行测试转发情况，如下：

 ipvsadm -lcn | grep 192.168.10.100

运行结果：

OK，至此已经能实现负载均衡了，接下来我们通过克隆实现多个主机的试验。

5、服务器克隆

1）从LVS_MASTER克隆一个LVS_BACKUP服务器，然后修改其中的参数，MASTER与BACKUP配置仅三处不同：global_defs中的router_id、vrrp_instance中的state、priority（注：我是全部执行了一次lvs_Master的操作，然后修改对应文件。）

（注意keepAlived的配置文件中有一个网卡设备，虚拟机的网卡设备可能是不一样的，有的是eth0，有的是eth1，所以也是要改动的，否则从服务器的服务器很有可能服务不正常）

配置好的如下文：

 ! Configuration File for keepalived
 global_defs {
     notification_email {
         [email protected]
     }
     notification_email_from [email protected]
     smtp_server 127.0.0.1
     smtp_connect_timeout 30
     router_id LVS_BACKUP
 }

 vrrp_instance VI_1 {
     state BACKUP
     interface eth2 （这块按实写，可能master和bakup的一样）
     virtual_router_id 60
     priority 90
     advert_int 1
     authentication {
         auth_type PASS
         auth_pass 1111
     }
     virtual_ipaddress {
         192.168.10.100  （注意master和backup的虚拟路由ip一样）
     }
 }

 virtual_server 192.168.10.100 8080 {
     delay_loop 6
     lb_algo rr
     lb_kind DR
     nat_mask 255.255.255.0
     persistence_timeout 50
     protocol TCP

     real_server 192.168.10.142 8080 {   （应用层的ip，master和backup一样）
         weight 1
         TCP_CHECK {
             connect_timeout 3
             nb_get_retry 3
             delay_before_retry 3
         }
     }

     real_server 192.168.10.143 8080 {  （应用层的ip，master和backup一样）
         weight 1
         TCP_CHECK {
             connect_timeout 3
             nb_get_retry 3
             delay_before_retry 3
         }
     }
 }

2）从WEB1_RealServer克隆一个WEB2_RealServer，将tomcat的index.html文件改为web2 192.168.10.143。（这里的IP是我测试的，您的可以自定义）

启动realserver.sh脚本。

3）OK，至此我们已经虚拟出2个LVS服务器，一对主从；2个WEB服务器，web1和web2。接下来我们进行测试，看能否满足我们的初始需求。

三、负载和可用性测试

开启每个服务器的相关服务，关闭防火墙，我们开始进行测试。

1、测试LVS层

1）首先执行ip a命令，主服务器会存在一个虚拟IP，从服务器不会存在这个虚拟IP。现在浏览网页显示正常。虚拟IP如图所示：

显示集群中服务器ip信息：ipvsadm -ln

查看日志：tail -f /var/log/messages

查看请求转发情况：ipvsadm -lcn | grep 虚拟IP

LVS_MASTER中的IP信息

LVS_BACKUP服务器的IP信息

2）现在停掉LVS_MASTER的keepAlived服务，看LVS_BACKUP是否可以自动加上虚拟IP地址，并且开始转发请求。

（注意keepAlived的配置文件中有一个网卡设备，虚拟机的网卡设备可能是不一样的，有的是eth0，有的是eth1，所以也是要改动的，否则从服务器的服务器很有可能服务不正常）

LVS_MASTER如图：

LVS_BACKUP服务器截图：

切换很快，访问网页：http://192.168.10.100:8080也能正常显示。

3）、恢复主服务器的keepAlived服务后，主服务器立刻接替了从服务器的工作，就不做截图了。和第1）个正常效果是一样的。

4）、测试WEB服务器，看能否正常提供服务。先断掉WEB1，看下效果。

ipvsadm中的服务器列表，已经去掉了WEB1服务器，访问网页也只能访问到WEB2服务器了。

5）开启WEB1，关掉WEB2。测试正常。

四、总结

经过不断的测试，终于完成了这篇稿子，望大家能够指正。还有一点就是很多时候都是配置文件中的一些小毛病造成的，比如：

1、keepAlived中的通知邮箱好像必须要写，否则不正确；

2、keepAlived中的网卡设备要注意，按照服务器的实际情况填写；

3、使用时，必要的端口要打开，或者关掉防火墙。否则有事不提供服务；

4、一些命令行的执行，少一些参数执行就可能会有一些问题。

5、LINUX系统的目录结构也头疼，要不断的熟悉，否则也让你故意弄混了。