Nginx+Keepalived实现服务高可用

Nginx 和 Keepalived 是常用于构建高可用性（High Availability）架构的工具。Nginx 是一款高性能的Web服务器和反向代理服务器，而Keepalived则提供了对Nginx服务的健康状态监测和故障切换功能。

下载Nginx

在服务器1和服务器2分别下载nginx

yum install nginx

配置Nginx

在服务器1配置，vim /usr/share/nginx/html/index.html 

在服务器2配置， vim /usr/share/nginx/html/index.html 

启动Nginx

启动服务器1和服务器2的nginx 

nginx # 启动nginx
nginx -s reload # 重启nginx
nginx -t # 检查nginx配置

 访问服务

访问服务1

访问服务2

 Keepalived架构

环境搭建

VIP	IP	主机名	主/从
	192.168.2.3	keepalived 1	Master
192.168.2.200
	192.168.2.4	keepalived 2	Backup

keepalived的安装

前置下载,keepalived需要gcc

yum install gcc
yum install openssl openssl-devel

通过链接wget获取 

wget https://www.keepalived.org/software/keepalived-2.0.20.tar.gz --no-check-certificate

创建keepalived目录，方便管理资源

mkdir keepalived

将压缩文件进行解压缩，解压缩到指定的目录

tar -zxf keepalived-2.0.20.tar.gz -C keepalived/

对keepalived进行配置，编译和安装

cd keepalived/keepalived-2.0.20
	./configure --sysconf=/etc --prefix=/usr/local
	make && make install

以上服务器2同理 

安装完成后，有两个文件需要我们认识下，一个是 /etc/keepalived/keepalived.conf(keepalived的系统配置文件，我们主要操作的就是该文件)，一个是/usr/local/sbin目录下的keepalived,是系统配置脚本，用来启动和关闭keepalived

Keepalived配置

服务器1 ，vim /etc/keepalived/keepalived.conf 

! Configuration File for keepalived

global_defs {
   #通知邮件，当keepalived发送切换时需要发email给具体的邮箱地址
   notification_email {
     [email protected]
     [email protected]
     [email protected]
   }
   #设置发件人的邮箱信息
   notification_email_from [email protected]
   #指定smpt服务地址
   smtp_server 192.168.2.1
   #指定smpt服务连接超时时间
   smtp_connect_timeout 30
   #运行keepalived服务器的一个标识，可以用作发送邮件的主题信息
   router_id keepalived1
   vrrp_skip_check_adv_addr
   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}
vrrp_instance VI_1 {
    state MASTER #有两个值可选MASTER主 BACKUP备
    interface ens33 #vrrp实例绑定的接口，用于发送VRRP包[当前服务器使用的网卡名称]
    virtual_router_id 51 #指定VRRP实例ID，范围是0-255
    priority 100 #指定优先级，优先级高的将成为MASTER
    advert_int 1 #指定发送VRRP通告的间隔，单位是秒
    authentication { #vrrp之间通信的认证信息
        auth_type PASS #指定认证方式。PASS简单密码认证(推荐)
        auth_pass 1111 #指定认证使用的密码，最多8位
    }
    virtual_ipaddress {  #虚拟IP地址设置虚拟IP地址，供用户访问使用，可设置多个，一行一个
        192.168.2.200
    }
}

服务器2，vim /etc/keepalived/keepalived.conf 

! Configuration File for keepalived

global_defs {
   #通知邮件，当keepalived发送切换时需要发email给具体的邮箱地址
   notification_email {
     [email protected]
     [email protected]
     [email protected]
   }
   #设置发件人的邮箱信息
   notification_email_from [email protected]
   #指定smpt服务地址
   smtp_server 192.168.2.1
   #指定smpt服务连接超时时间
   smtp_connect_timeout 30
   #运行keepalived服务器的一个标识，可以用作发送邮件的主题信息
   router_id keepalived2
   vrrp_skip_check_adv_addr
   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}
vrrp_instance VI_1 {
    state BACKUP#有两个值可选MASTER主 BACKUP备
    interface ens33 #vrrp实例绑定的接口，用于发送VRRP包[当前服务器使用的网卡名称]
    virtual_router_id 51 #指定VRRP实例ID，范围是0-255
    priority 90 #指定优先级，优先级高的将成为MASTER
    advert_int 1 #指定发送VRRP通告的间隔，单位是秒
    authentication { #vrrp之间通信的认证信息
        auth_type PASS #指定认证方式。PASS简单密码认证(推荐)
        auth_pass 1111 #指定认证使用的密码，最多8位
    }
    virtual_ipaddress {  #虚拟IP地址设置虚拟IP地址，供用户访问使用，可设置多个，一行一个
        192.168.2.200
    }
}

Keepalived启动

在服务器1、2启动服务

cd /usr/local/sbin
./keepalived

测试

查看服务器1

查看服务器2，虚拟IP没有存在在服务器2

 当把192.168.2.3服务器上的keepalived关闭后，再次查看ip

systemctl disable keepalived
systemctl stop keepalived

查看服务器1，虚拟IP没有存在在服务器1

查看服务器2

虚拟IP(VIP)会在MASTER节点上，当MASTER节点上的keepalived出问题以后，因为BACKUP无法收到MASTER发出的VRRP状态通过信息，就会直接升为MASTER。VIP也会"漂移"到新的MASTER。

测试Nginx

systemctl start keepalived # 启动
 

我们把192.168.2.3服务器的keepalived再次启动下，由于它的优先级高于服务器192.168.2.4的，所有它会再次成为MASTER，VIP也会"漂移"过去，然后我们再次通过浏览器访问nginx:

如果把192.168.2.3服务器的keepalived关闭掉，再次访问相同的地址  

Nginx状态检测脚本

效果实现了以后， 我们会发现要想让vip进行切换，就必须要把服务器上的keepalived进行关闭，而什么时候关闭keepalived呢?应该是在keepalived所在服务器的nginx出现问题后，把keepalived关闭掉，就可以让VIP执行另外一台服务器，但是现在这所有的操作都是通过手动来完成的，我们如何能让系统自动判断当前服务器的nginx是否正确启动，如果没有，要能让VIP自动进行"漂移" 。

vrrp_script

keepalived只能做到对网络故障和keepalived本身的监控，即当出现网络故障或者keepalived本身出现问题时，进行切换。但是这些还不够，我们还需要监控keepalived所在服务器上的其他业务，比如Nginx,如果Nginx出现异常了，仅仅keepalived保持正常，是无法完成系统的正常工作的，因此需要根据业务进程的运行状态决定是否需要进行主备切换，这个时候，我们可以通过编写脚本对业务进程进行检测监控。

编写脚本 

vim /root/keepalived/ck_nginx.sh ，这是一个 Bash 脚本，用于检查 Nginx 服务是否正在运行，并在 Nginx 未启动时启动它，并在启动失败后关闭 Keepalived 服务

#!/bin/bash
num=`ps -C nginx --no-header | wc -l`
if [ $num -eq 0 ];then
 /usr/sbin/nginx  #使用 which nginx 可查找到nginx的启动目录
 sleep 2
 if [ `ps -C nginx --no-header | wc -l` -eq 0 ]; then
  killall keepalived
 fi
fi

设置权限

为脚本文件设置权限

chmod 755 ck_nginx.sh

Keepalived添加配置

vim /etc/keepalived/keepalived.conf ,将脚本添加到Keepalived配置

global_defs {
    ...
}
vrrp_script ck_nginx {
   script "/root/keepalived/ck_nginx.sh" #执行脚本的位置
   interval 2           #执行脚本的周期，秒为单位
   weight -20           #权重的计算方式
}

以上服务器2同理 

测试

服务器1，停止nginx服务

systemctl stop nginx

查看服务器1，虚拟IP不在此服务器

查看服务器2 ，虚拟IP转移到此服务器

如果master服务死掉后backup会变成master，但是当master服务又好了的时候 master此时会抢占VIP，这样就会发生两次切换对业务繁忙的网站来说是不好的。所以我们要在配置文件加入 nopreempt 非抢占，但是这个参数只能用于state 为backup，故我们在用HA的时候最好master 和backup的state都设置成backup 让其通过priority来竞争。