keepalived高可用集群

Keepalived 高可用集群详解

环境：linux 2.6.32-358.el6.x86_64

---

---

---

注意：keepalived实现高可用与之前博客中的提到的corosync和heartbeat服务实现的高可用的配置比起来有不小的不同之处，其中由其需要引起注意的是，keepalived实现对服务的高可用时，不再将服务本身当作资源。因此，服务需要开机启动，或者最起码要在keepalived服务启动之前启动。

一、准备工作（两个节点都要做）

1、时间同步

# ntpdate 时间服务器ip

2、hosts能够互相解析

# vim /etc/hosts 中追加

172.16.5.11 www.a.com a

172.16.5.12 www.b.com b

3、双机互信

# ssh-keygen -t rsa -P ‘’

# ssh-copy-id root@a|b

---

---

---

二、keepalived高可用的实现

# yum -y install keepalived

keepalived配置文件中关键字注释

1、主配置文件/etc/keepalived/keepalived.conf

! Configuration File for keepalived
global_defs {
 notification_email {
 root@localhost #收件人
 #[email protected]..... 要给谁发，就写上谁的
 }
 notification_email_from [email protected]
 smtp_server 127.0.0.1 #发件人
 smtp_connect_timeout 30   #连接超时时间
 router_id LVS_DEVEL      #路由器标识 LVS_DEVEL 自定义字符串
}
vrrp_instance VI_1 {      #VI_1自己取名 虚拟冗余路由协议实例
 state MASTER             #初始状态
 interface eth0          #通过哪个接口发送信号
 virtual_router_id 51    #虚拟路由id 不能大于255
 priority 100            #初始优先级
 advert_int 1            #通告数
 authentication {        #明文认证
 auth_type PASS
 auth_pass 1111          #最好随机生成密码
 }
 virtual_ipaddress {
 172.16.5.10/16         #虚拟ip 默认在网卡eth0上，网卡与interface eth0对应
 }
}

2、将其余部分全部注释掉，试验keepalived是否能够实现高可用性。

将配置文件keepalived.conf复制到另一个节点

[root@www keepalived]# scp keepalived.conf b:/etc/keepalived/

在另一个节点中编辑keepalived，主要修改两个地方,主从状态和优先级

! Configuration File for keepalived
global_defs {
 notification_email {
 root@localhost #收件人
 #[email protected]..... 要给谁发，就写上谁的
 }
 notification_email_from [email protected]
 smtp_server 127.0.0.1 #发件人
 smtp_connect_timeout 30   #连接超时时间
 router_id LVS_DEVEL      #路由器标识 LVS_DEVEL 自定义字符串
}
vrrp_instance VI_1 {      #VI_1自己取名 虚拟冗余路由协议实例
 state    BACKUP             #初始状态
 interface eth0          #通过哪个接口发送信号
 virtual_router_id 51    #虚拟路由id 不能大于255
 priority 99            #初始优先级
 advert_int 1            #通告数
 authentication {        #明文认证
 auth_type PASS
 auth_pass 1111          #最好随机生成密码
 }
 virtual_ipaddress {
 172.16.5.10/16         #虚拟ip 默认在网卡eth0上，网卡与interface eth0对应
 }
}

可以一起启动主节点和备用节点，检验两个节点是否能够正常工作。

# tail -f /var/log/messages

# servcie keepalived start

都启动后，可以停掉一个观察另一个的变化

3、我们也可以创建一个脚本，手动生成一个文件，来观察两个节点的变化。

在主节点中配置

! Configuration File for keepalived
global_defs {
 notification_email {
 root@localhost #收件人
 #[email protected]..... 要给谁发，就写上谁的
 }
 notification_email_from [email protected]
 smtp_server 127.0.0.1 #发件人
 smtp_connect_timeout 30   #连接超时时间
 router_id LVS_DEVEL      #路由器标识 LVS_DEVEL 自定义字符串
}
vrrp_script chk_mantaince_down {
 script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"
 interval 1
 weight -2
 }
vrrp_instance VI_1 {      #VI_1自己取名 虚拟冗余路由协议实例
 state MASTER             #初始状态
 interface eth0          #通过哪个接口发送信号
 virtual_router_id 51    #虚拟路由id 不能大于255
 priority 100            #初始优先级
 advert_int 1            #通告数
 authentication {        #明文认证
 auth_type PASS
 auth_pass 1111          #最好随机生成密码
 }
 virtual_ipaddress {
 172.16.5.10/16         #虚拟ip 默认在网卡eth0上，网卡与interface eth0对应
 }
Track_script {
chk_mantaince_down
}
}

从节点中同样加上这些配置，然后在各自的/etc/keepalived目录下创建down文件观察两个节点的变化。

# tail -f /var/log/messages
# touch /etc/keepalived/down

4、实现状态转换时通知其他节点

需要通过脚本来实现

# vim /etc/keepalived/notify.sh
#!/bin/bash
# Author: qiufengsong
# description: An example of notify script
#
vip=172.16.5.10
contact='root@localhost'
notify() {
    mailsubject="`hostname` to be $1: $vip floating"
    mailbody="`date '+%F %H:%M:%S'`: vrrp transition, `hostname` changed to be $1"
    echo $mailbody | mail -s "$mailsubject" $contact
}
case "$1" in
    master)
        notify master
        exit 0
    ;;
    backup)
        notify backup
        exit 0
    ;;
    fault)
        notify fault
        exit 0
    ;;
    *)
        echo 'Usage: `basename $0` {master|backup|fault}'
        exit 1
    ;;
Esac

Master：主

Backup：从

Fault：故障

# chmod +x notify.sh
# vim keepalived.conf

在instance中插入通知的命令

vrrp_instance VI_1 {          #VI_1自己取名 实例
 state MASTER                 #初始状态
 interface eth0               #通过哪个接口发送信号
 virtual_router_id 51         #虚拟路由id 不能大于255
 priority 100                 #初始优先级
 advert_int 1                 #通告数
 authentication {             #明文认证
 auth_type PASS
 auth_pass 1111               #最好随机生成密码
 }
 virtual_ipaddress {
 172.16.5.10/16              #虚拟ip 默认在网卡eth0上，网卡与interface eth0对应
}
Track_script {
chk_mantaince_down
}
notify_master "/etc/keepalived/notify.sh master"
 notify_backup "/etc/keepalived/notify.sh backup"
notify_fault "/etc/keepalived/notify.sh fault"
}

在通过之前脚本，创建down文件，让节点down掉，删除down文件，让节点重新上限，就会发现有邮件通知了。

---

---

---

三、实现负载均衡

1、如何定义负载均衡。

virtual_server 172.16.5.10 80 {
    delay_loop 6
    lb_algo rr loadbalance 负载均衡算法
    lb_kind NAT 类型
    nat_mask 255.255.255.0 掩码
    persistence_timeout 50 持久连接时间
    protocol TCP
  #  sorry_server 192.168.200.200 1358 提供一个表示歉意的页面
    real_server 192.168.201.100 443 {
        weight 1
        SSL_GET {
            url {
              path /
              digest ff20ad2481f97b1754ef3e12ecd3a9cc 获取结果的校验码
            }
            url {
              path /mrtg/
              digest 9b3a0c85a887a256d6939da88aabd8cd
            }
            connect_timeout 3  连接超时时间
            nb_get_retry 3  尝试次数
            delay_before_retry 3  每次尝试连接的等待时间
        }
    }
}

2、实例验证lvs负载均衡

2.1编辑配置文件/etc/keepalived/keepalived.conf，加入realserver

! Configuration File for keepalived
global_defs {
   notification_email {
   root@localhost
  }
   notification_email_from [email protected]
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
vrrp_script chk_mantaince_down {
        script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"
        interval 1000
        weight -2
 }
vrrp_instance VI_1 {
    state MASTER
    interface eth2
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
       virtual_ipaddress {
        172.16.5.10 dev eth2
    }
    track_script {
      chk_mantaince_down
    }
    notify_master "/etc/keepalived/notify.sh master"
    notify_backup "/etc/keepalived/notify.sh backup"
    notify_fault "/etc/keepalived/notify.sh fault"
}
virtual_server 172.16.5.10 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.0.0
    persistence_timeout 0
    protocol TCP
    real_server 172.16.5.13 80 {
        weight 1
        HTTP_GET {
            url {
              path /
             status_code 200
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

需要多少个realserer就在后边定义多少个

2.2将改变同步到另一个节点。

重启服务keepalived后，使用ipvsadm命令会发现规则已经生效。

# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.16.5.10:80 rr
  -> 172.16.5.13:80               Route   1      0          0

此时，只有一个被负载的节点，即realserver，要想使用更多，自行添加，本人由于个人电脑内存限制，就不再添加虚拟设备了。

6.3由于keepalived不需要配置规则，所以只需要配置lvs负载均衡的其他过程即可。上边我们在配置文件中使用的是DR模型，所以接下来的配置如下。

在keepalived服务器上的配置都是两个节点都必须的，下边只在一台上边做演示。在虚拟ip所在的节点上添加一个ip，以便能使它与realserver通信。

#ifconfig eth0:1 192.168.1.11/24 up
# route add default gw 192.168.1.254
#sysctl -w net.ipv4.ip_forward=1

在realserver上配置如下

#ifconfig lo:0 172.16.5.10 broadcast 172.16.5.10 netmask 255.255.255.255 up
#route add -host 172.16.5.11 dev lo:0
#echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
#echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
#echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
#echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

重启realserver上的web服务和keepalived主节点的keepalived服务，就可以使用虚拟IP访问realserver主机了。

Realserver
# service httpd restart
Keepalived
# service keepalived resart

Lvs负载均衡可以在随意加入其他节点，请自行验证。

然而，lvs虽然能够实现负载均衡，去无法实现动静分离，这时就需要用到nginx或者

haproxy。

---

---

---

四、对nginx实现高可用

将之前配置的负载均衡内容删除

4.1 在两个节点同时安装nginx

# yum -y install nginx

4.2 两个节点上提供一个web页面

# vim /usr/share/nginx/html/index.html
Abc
# vim /usr/share/nginx/html/index.html
Cba

4.3修改notify.sh

#!/bin/bash
# Author: qiufengsong
# description: An example of notify script
#
vip=172.16.5.10
contact='root@localhost'
notify() {
    mailsubject="`hostname` to be $1: $vip floating"
    mailbody="`date '+%F %H:%M:%S'`: vrrp transition, `hostname` changed to be $1"
    echo $mailbody | mail -s "$mailsubject" $contact
}
case "$1" in
    master)
        notify master
        /etc/rc.d/init.d/nginx start
        exit 0
    ;;
    backup)
        notify backup
        /etc/rc.d/init.d/nginx stop
        exit 0
    ;;
    fault)
        notify fault
        /etc/rc.d/init.d/nginx stop
        exit 0
    ;;
    *)
        echo 'Usage: `basename $0` {master|backup|fault}'
        exit 1
    ;;
Esac

即在通知的时候启动或者停止nginx服务，将修改同步到另一个节点，重启服务。

在/etc/keepalived/目录下通过touch down文件做检测，看看服务会不会转移。

# touch down

# ip addr 发现vip已经消失

在另一个节点

# ip addr 发现vip出现，而且原先没有启动nginx服务的该节点，80端口也开启了。

# ss -an 发现80 端口

4.4然而，当我们kill掉一个节点上的nginx服务时，发现另一个节点上的nginx服务并没有启动，这是为什么呢，vip没有转移，也就是没有实现高可用。

原因如下：

Keepalived服务在工作时，是如何实现资源转移的，它跟heartbeat、corosync的区别在于，heartbeat和corosync的资源转移是通过我们所谓的心跳连接实现的，心跳连接的机制是通过组播发送信息，让集群里的各个成员能够收到相互之间存活与否的信息，keepalived则是通过虚拟冗余路由协议vrrp监控一个资源，然后将节点的优先级改变（降级或升级）来实现资源vip的转移。

而我们上面所做的操作，并没有实现节点优先级的改变，所以，必须定义监控服务本身，来让节点的优先级发生改变，才能实现资源转移的时候一并启动或者关闭nginx服务。

4.5 监控服务本身，实现服务高可用。针对nginx服务，两个节点都需要配置.

外部脚本,/etc/keepalived/chk_nginx.sh

#!/bin/bash
killall -0 nginx  &> /dev/null   判断nginx服务是否在线
if [ $? -eq 1 ];then  如果不在线
 /etc/init.d/nginx start  启动服务
  sleep 3  隔三秒
killall -0 nginx &> /dev/null 再次检查nginx是否在线
if [ $? -eq 1 ];then  依旧不在线
   killall keepalived   kill掉该节点keepalived服务注意，在这里用降低优先级无法实现。
fi
fi

内部配置，增加

Vrrp_script chk_nginx {
Script “/etc/keepalived/chk_nginx.sh”
Interval 1
}
Track_script {
     Chk-nginx
}

针对服务的故障转移，这种方式看似还不是很完善，等我得到更好的解决办法，会做出补充。

补充：

其实，上文中提到的高可用的实现已经能够实现针对nginx服务的高可用，只不过，要想针对其他服务实现高可用，需要另外的机制。比如，写脚本来完成，即，对服务本身进行监控，通过脚本实现。

在两个节点的配置文件中添加如下内容，实现对服务的监控，这里是将nginx作为实例。

前提是在keepalived服务启动之前nginx服务是启动的，否则，keepalived服务check监控的时候会失败。因为，主节点优先级降了之后，无法找到优先级比自己高的，这是因为从节点的nginx服务没有启动，从节点也会自降优先级。

vrrp_script chk_nginx {
 script "killall -0 nginx"
 interval 1
 weight -2
 }
在vrrp_instance VI_1 中加入追踪。
 track_script {
 chk_nginx
 }

---

---

五、双主模型

两个节点上分别配置

节点172.16.5.11 /etc/keepalived/keepalived.conf

! Configuration File for keepalived
global_defs {
   notification_email {
   root@localhost
  }
   notification_email_from [email protected]
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 5
    priority 99
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
       virtual_ipaddress {
        172.16.5.10 dev eth0
    }
    notify_master "/etc/keepalived/notify.sh master"
    notify_backup "/etc/keepalived/notify.sh backup"
    notify_fault "/etc/keepalived/notify.sh fault"
}
vrrp_instance VI_2 {
    state MASTER
    interface eth0
    virtual_router_id 6
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 21111
    }
       virtual_ipaddress {
        172.16.5.200 dev eth0
    }
    notify_master "/etc/keepalived/notify.sh master"
    notify_backup "/etc/keepalived/notify.sh backup"
    notify_fault "/etc/keepalived/notify.sh fault"
}

查看虚拟ip

# ip addr show
1: lo:  mtu 16436 qdisc noqueue state UNKNOWN
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth0:  mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:bc:60:18 brd ff:ff:ff:ff:ff:ff
    inet 172.16.5.11/16 brd 172.16.255.255 scope global eth0
    inet 172.16.5.10/32 scope global eth0
    inet6 fe80::20c:29ff:febc:6018/64 scope link

节点172.16.5.12 /etc/keepalived/keepalived.conf

! Configuration File for keepalived
global_defs {
   notification_email {
   root@localhost
  }
   notification_email_from [email protected]
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 5
    priority 99
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
       virtual_ipaddress {
        172.16.5.10 dev eth0
    }
    notify_master "/etc/keepalived/notify.sh master"
    notify_backup "/etc/keepalived/notify.sh backup"
    notify_fault "/etc/keepalived/notify.sh fault"
}
vrrp_instance VI_2 {
    state MASTER
    interface eth0
    virtual_router_id 6
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 21111
    }
       virtual_ipaddress {
        172.16.5.200 dev eth0
    }
    notify_master "/etc/keepalived/notify.sh master"
    notify_backup "/etc/keepalived/notify.sh backup"
    notify_fault "/etc/keepalived/notify.sh fault"
}

查看虚拟ip

# ip addr show
1: lo:  mtu 16436 qdisc noqueue state UNKNOWN
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth0:  mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:20:c7:a4 brd ff:ff:ff:ff:ff:ff
    inet 172.16.5.12/16 brd 172.16.255.255 scope global eth0
    inet 172.16.5.200/32 scope global eth0
    inet6 fe80::20c:29ff:fe20:c7a4/64 scope link
       valid_lft forever preferred_lft forever