Linux高可用集群之Keepalived详解

1、几大高可用软件服务的适用场合

keepalived：

轻量级高可用
前端高可用
不需要共享存储
一般两个节点之间的高可用

Heartbeat（corosync）：

服务的高可用
需要共享存储
多节点的高可用

一般我们选择corosync，因为运行机制更优于Heartbeat，Heartbeat中分离出来的pacemaker在开发中也更加倾向于corosync。corosync+pacemaker是最佳组合。

2、Keepalived详解

2.1、keepalived定义

Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案，可以利用其来避免单点故障。一个LVS服务会有2台服务器运行Keepalived，一台为主服务器（MASTER），一台为备份服务器（BACKUP），但是对外表现为一个虚拟IP，主服务器会发送特定的消息给备份服务器，当备份服务器收不到这个消息的时候，即主服务器宕机的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。Keepalived是VRRP的完美实现，因此在介绍keepalived之前，先介绍一下VRRP的原理。

2.2、VRRP协议介绍

在现实的网络环境中，两台需要通信的主机大多数情况下并没有直接的物理连接。对于这样的情况，它们之间路由怎样选择？主机如何选定到达目的主机的下一跳路由，这个问题通常的解决方法有二种：

在主机上使用动态路由协议(RIP、OSPF等)
在主机上配置静态路由

很明显，在主机上配置动态路由是非常不切实际的，因为管理、维护成本以及是否支持等诸多问题。配置静态路由就变得十分流行，但路由器(或者说默认网关default gateway)却经常成为单点故障。VRRP的目的就是为了解决静态路由单点故障问题，VRRP通过一竞选(election)协议来动态的将路由任务交给LAN中虚拟路由器中的某台VRRP路由器。

2.3、VRRP工作机制

在一个VRRP虚拟路由器中，有多台物理的VRRP路由器，但是这多台的物理的机器并不能同时工作，而是由一台称为MASTER的负责路由工作，其它的都是BACKUP，MASTER并非一成不变，VRRP让每个VRRP路由器参与竞选，最终获胜的就是MASTER。MASTER拥有一些特权，比如，拥有虚拟路由器的IP地址，我们的主机就是用这个IP地址作为静态路由的。拥有特权的MASTER要负责转发发送给网关地址的包和响应ARP请求。
VRRP通过竞选协议来实现虚拟路由器的功能，所有的协议报文都是通过IP多播(multicast)包(多播地址224.0.0.18)形式发送的。虚拟路由器由VRID(范围0-255)和一组IP地址组成，对外表现为一个周知的MAC地址。所以，在一个虚拟路由器中，不管谁是MASTER，对外都是相同的MAC和IP(称之为VIP)。客户端主机并不需要因为MASTER的改变而修改自己的路由配置，对客户端来说，这种主从的切换是透明的。
在一个虚拟路由器中，只有作为MASTER的VRRP路由器会一直发送VRRP通告信息(VRRPAdvertisement message)，BACKUP不会抢占MASTER，除非它的优先级(priority)更高。当MASTER不可用时(BACKUP收不到通告信息)，多台BACKUP中优先级最高的这台会被抢占为MASTER。这种抢占是非常快速的(<1s)，以保证服务的连续性。由于安全性考虑，VRRP包使用了加密协议进行加密。

2.4、VRRP 工作流程

(1).初始化：
路由器启动时，如果路由器的优先级是255(最高优先级，路由器拥有路由器地址)，要发送VRRP通告信息，并发送广播ARP信息通告路由器IP地址对应的MAC地址为路由虚拟MAC，设置通告信息定时器准备定时发送VRRP通告信息，转为MASTER状态；否则进入BACKUP状态，设置定时器检查定时检查是否收到MASTER的通告信息。
(2).Master

设置定时通告定时器；
用VRRP虚拟MAC地址响应路由器IP地址的ARP请求；
转发目的MAC是VRRP虚拟MAC的数据包；
如果是虚拟路由器IP的拥有者，将接受目的地址是虚拟路由器IP的数据包，否则丢弃；
当收到shutdown的事件时删除定时通告定时器，发送优先权级为0的通告包，转初始化状态；
如果定时通告定时器超时时，发送VRRP通告信息；
收到VRRP通告信息时，如果优先权为0，发送VRRP通告信息；否则判断数据的优先级是否高于本机，或相等而且实际IP地址大于本地实际IP，设置定时通告定时器，复位主机超时定时器，转BACKUP状态；否则的话，丢弃该通告包；

(3).Backup

设置主机超时定时器；
不能响应针对虚拟路由器IP的ARP请求信息；
丢弃所有目的MAC地址是虚拟路由器MAC地址的数据包；
不接受目的是虚拟路由器IP的所有数据包；
当收到shutdown的事件时删除主机超时定时器，转初始化状态；
主机超时定时器超时的时候，发送VRRP通告信息，广播ARP地址信息，转MASTER状态；
收到VRRP通告信息时，如果优先权为0，表示进入MASTER选举；否则判断数据的优先级是否高于本机，如果高的话承认MASTER有效，复位主机超时定时器；否则的话，丢弃该通告包；

2.5、ARP查询处理

当内部主机通过ARP查询虚拟路由器IP地址对应的MAC地址时，MASTER路由器回复的MAC地址为虚拟的VRRP的MAC地址，而不是实际网卡的 MAC地址，这样在路由器切换时让内网机器觉察不到；而在路由器重新启动时，不能主动发送本机网卡的实际MAC地址。如果虚拟路由器开启的ARP代理 (proxy_arp)功能，代理的ARP回应也回应VRRP虚拟MAC地址；好了VRRP的简单讲解就到这里，我们下来讲解一下Keepalived的案例。

3、实验环境准备

3.1、实验拓扑图

网络拓扑图

3.2、服务器之间进行时间同步

ntpdate ntp.shu.edu.cn

3.2、添加主机之间的hosts文件

vim /etc/hosts
192.168.84.102 master
192.168.84.103 slave
192.168.84.104 web1
192.168.84.105 web2

3.3、配置两台web服务器

yum install httpd* -y
vim /var/www/html/index.html #添加相关的区别
/etc/init.d/httpd start
chkconfig httpd on

3.4、配置web服务器为Realserver

启动停止realserver的脚本如下：

vim realserver.sh 
#!/bin/bash  
#   
# Script to start LVS DR real server.   
# description: LVS DR real server   
#   
.  /etc/rc.d/init.d/functions
VIP=192.168.84.200 #修改你的VIP  
host=`/bin/hostname`
case "$1" in  
start)   
       # Start LVS-DR real server on this machine.   
        /sbin/ifconfig lo down   
        /sbin/ifconfig lo up   
        echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore   
        echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce   
        echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore   
        echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
        /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up  
        /sbin/route add -host $VIP dev lo:0
;;  
stop)
        # Stop LVS-DR real server loopback device(s).  
        /sbin/ifconfig lo:0 down   
        echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore   
        echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce   
        echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore   
        echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
;;  
status)
        # Status of LVS-DR real server.  
        islothere=`/sbin/ifconfig lo:0 | grep $VIP`   
        isrothere=`netstat -rn | grep "lo:0" | grep $VIP`   
        if [ ! "$islothere" -o ! "isrothere" ];then   
            # Either the route or the lo:0 device   
            # not found.   
            echo "LVS-DR real server Stopped."   
        else   
            echo "LVS-DR real server Running."   
        fi   
;;   
*)   
            # Invalid entry.   
            echo "$0: Usage: $0 {start|status|stop}"   
            exit 1   
;;   
esac

3.5、分别配置master和salve上的Keepalived服务

[root@master ~]# yum install ipvsadm keepalived* -y
[root@slave ~]# yum install ipvsadm keepalived* -y

编辑master上的keepalived.conf配置文件：

[root@master ~]# cat /etc/keepalived/keepalived.conf 
onfiguration File for keepalived
global_defs {  
   notification_email {   
[email protected] #配置管理员邮箱   
   }   
   notification_email_from root #配置发件人   
   smtp_server 127.0.0.1 #配置邮件服务器   
   smtp_connect_timeout 30   
   router_id LVS_DEVEL   
}
vrrp_instance VI_1 {  
    state MASTER #配置模式   
    interface eth0   
    virtual_router_id 51   
    priority 101 #配置优先级   
    advert_int 1   
    authentication {   
        auth_type PASS   
        auth_pass 1111   
    }   
    virtual_ipaddress {   
        192.168.84.200 #配置虚拟IP地址   
    }   
}
virtual_server 192.168.84.200 80 {  
    delay_loop 6   
    lb_algo rr   
    lb_kind DR   
    nat_mask 255.255.255.0   
    #persistence_timeout 50   
    protocol TCP
    real_server 192.168.84.104 80 { #配置realaserver  
        weight 1   
        HTTP_GET { #监控配置   
            url {   
              path /   
          status_code 200   
            }   
            connect_timeout 2   
            nb_get_retry 3   
            delay_before_retry 1   
        }   
    }   
    real_server 192.168.84.105 80 {   
        weight 1   
        HTTP_GET {   
            url {   
              path /   
              status_code 200   
            }   
            connect_timeout 2   
            nb_get_retry 3   
            delay_before_retry 1   
        }   
    }   
}

配置slave上的配置文件：

[root@slave ~]# cat /etc/keepalived/keepalived.conf 
onfiguration File for keepalived
global_defs {  
   notification_email {   
[email protected] #配置管理员邮箱   
   }   
   notification_email_from root #配置发件人   
   smtp_server 127.0.0.1 #配置邮件服务器   
   smtp_connect_timeout 30   
   router_id LVS_DEVEL   
}
vrrp_instance VI_1 {  
    state BACKUP #配置模式   
    interface eth0   
    virtual_router_id 51   
    priority 100 #配置优先级   
    advert_int 1   
    authentication {   
        auth_type PASS   
        auth_pass 1111   
    }   
    virtual_ipaddress {   
        192.168.84.200 #配置虚拟IP地址   
    }   
}
virtual_server 192.168.84.200 80 {  
    delay_loop 6   
    lb_algo rr   
    lb_kind DR   
    nat_mask 255.255.255.0   
    #persistence_timeout 50   
    protocol TCP
    real_server 192.168.84.104 80 { #配置realaserver  
        weight 1   
        HTTP_GET { #监控配置   
            url {   
              path /   
          status_code 200   
            }   
            connect_timeout 2   
            nb_get_retry 3   
            delay_before_retry 1   
        }   
    }   
    real_server 192.168.84.105 80 {   
        weight 1   
        HTTP_GET {   
            url {   
              path /   
              status_code 200   
            }   
            connect_timeout 2   
            nb_get_retry 3   
            delay_before_retry 1   
        }   
    }   
}

3.6、启动相关服务

[root@master ~]# /etc/init.d/keepalived start
[root@master ~]# chkconfig keepalived on
[root@slave ~]# /etc/init.d/keepalived start
[root@slave ~]# chkconfig keepalived on
[root@master ~]# ps -ef | grep keepalived
root       1669      1  0 19:30 ?        00:00:00 /usr/sbin/keepalived -D
root       1671   1669  0 19:30 ?        00:00:00 /usr/sbin/keepalived -D
root       1672   1669  0 19:30 ?        00:00:00 /usr/sbin/keepalived -D
root       1732   1698  0 20:31 pts/1    00:00:00 grep keepalived
[root@slave ~]# ps -ef | grep keepalived
root       1669      1  0 19:30 ?        00:00:00 /usr/sbin/keepalived -D
root       1671   1669  0 19:30 ?        00:00:00 /usr/sbin/keepalived -D
root       1672   1669  0 19:30 ?        00:00:00 /usr/sbin/keepalived -D
root       1732   1698  0 20:31 pts/1    00:00:00 grep keepalived

3.7、分别查看两台高可用服务器的message日志

[root@master ~]# cat /var/log/messages
[root@slave~]# cat /var/log/messages

3.8、测试

(1)web服务器访问192.168.84.200：

Reaserver1

刷新后得到：master服务器轮询RR正常

Reaserver2

(2)关闭master服务器的keepalived服务，继续web访问

[root@master ~]# /etc/init.d/keepalived stop
Stopping keepalived:                                       [  OK  ]

查看master日志可见LVS服务已经移除，跳转到slave服务器上

Master

slave服务器上新添加了LVS服务

Slave

web服务器访问网页正常如上。
(3)重新启动master服务器上的keepalived服务，发现LVS服务重新跳转到master服务器上，正常运行。

[root@master ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.84.200:80 rr
  -> 192.168.84.104:80            Route   1      0          0         
  -> 192.168.84.105:80            Route   1      0          0

(3)关闭web1服务器的http服务，我们将会收到来自keepalived服务的邮件提醒

DOWN

重新启动web服务：

当然我们可以使用第三方的监控软件进行报警处理，例如zabbix。
(4)当两台keepalived主机都down的时候，如何让主机网页跳转到维护状态，需要在两台keepalived主机上安装web服务，之后在配置文件中加入sorry_server语句即可。