linux下 使用keepalived 实现nginx 负载均衡+主备高可用

1.什么是负载均衡高可用

        nginx作为负载均衡器，所有请求都到了nginx，可见nginx处于非常重点的位置，如果nginx服务器宕机后端web服务将无法提供服务，影响严重。

        为了屏蔽负载均衡服务器的宕机，需要建立一个备份机。主服务器和备份机上都运行高可用（High Availability）监控程序，通过传送诸如“I am alive”这样的信息来监控对方的运行状况。当备份机不能在一定的时间内收到这样的信息时，它就接管主服务器的服务IP并继续提供负载均衡服务；当备份管理器又从主管理器收到“I am alive”这样的信息时，它就释放服务IP地址，这样的主服务器就开始再次提供负载均衡服务。

1. keepalived+nginx实现主备
2. 什么是keepalived

        keepalived是集群管理中保证集群高可用的一个服务软件，用来防止单点故障。

       Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web服务器。

1. keepalived工作原理

        keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。

        虚拟路由冗余协议，可以认为是实现路由器高可用的协议，即将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和多个backup，master上面有一个对外提供服务的vip（VIP = Virtual IP Address，虚拟IP地址，该路由器所在局域网内其他机器的默认路由为该vip），master会发组播，当backup收不到VRRP包时就认为master宕掉了，这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了。

        keepalived主要有三个模块，分别是core、check和VRRP。core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检查，包括常见的各种检查方式。VRRP模块是来实现VRRP协议的。

2.实现

环境介绍：

    两台nginx，一主一备：192.168.1.117和192.168.1.118

    两台tomcat服务器：192.168.1.117、192.168.1.118

1.首先在两台nginx服务器上安装keepalived: 可参考之前的教程：https://blog.csdn.net/u013278314/article/details/82772410

2.修改主nginx下/etc/keepalived/keepalived.conf文件，修改结果如下：

! Configuration File for keepalived

#全局配置
global_defs {
   notification_email {  #指定keepalived在发生切换时需要发送email到的对象，一行一个
     [email protected]
   }
   notification_email_from [email protected]  #指定发件人
   #smtp_server XXX.smtp.com                             #指定smtp服务器地址
   #smtp_connect_timeout 30                               #指定smtp连接超时时间
   router_id LVS_DEVEL                                    #运行keepalived机器的一个标识
}

vrrp_instance VI_1 { 
    state MASTER           #标示状态为MASTER 备份机为BACKUP
    interface eth0         #设置实例绑定的网卡
    virtual_router_id 51   #同一实例下virtual_router_id必须相同
    priority 100           #MASTER权重要高于BACKUP 比如BACKUP为99  
    advert_int 1           #MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒
    authentication {       #设置认证
        auth_type PASS     #主从服务器验证方式
        auth_pass 8888
    }
    virtual_ipaddress {    #设置vip
        192.168.1.100       #可以多个虚拟IP，换行即可
    }
}

3.修改备nginx下/etc/keepalived/keepalived.conf文件

   配置备nginx时需要注意：需要修改state为BACKUP , priority比MASTER低，virtual_router_id和master的值一致

! Configuration File for keepalived

#全局配置
global_defs {
   notification_email {  #指定keepalived在发生切换时需要发送email到的对象，一行一个
    [email protected]
   }
   notification_email_from [email protected]  				#指定发件人
   #smtp_server XXX.smtp.com                             	#指定smtp服务器地址
   #smtp_connect_timeout 30                               #指定smtp连接超时时间
   router_id LVS_DEVEL                                    #运行keepalived机器的一个标识
}

vrrp_instance VI_1 { 
    state BACKUP           #标示状态为MASTER 备份机为BACKUP
    interface eth0         #设置实例绑定的网卡
    virtual_router_id 51   #同一实例下virtual_router_id必须相同
    priority 99            #MASTER权重要高于BACKUP 比如BACKUP为99  
    advert_int 1           #MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒
    authentication {       #设置认证
        auth_type PASS     #主从服务器验证方式
        auth_pass 8888
    }
    virtual_ipaddress {    #设置vip
        192.168.1.100     #可以多个虚拟IP，换行即可
    }
}

4.分配启动117 和 118 的tomcat，并测试能否访问

5.修改两台服务器上面的nginx.conf 文件 配置117 和 118的地址 形成负载均衡

首先修改主机(自己电脑) 域名映射 在 C:\Windows\System32\drivers\etc 下面的hosts文件 添加： 

      192.168.1.118 www.mytest1.com

      192.168.1.117 www.mytest2.com

cd nginx

vim conf/nginx.conf

添加如下参数：

upstream tomcat1{
     server 192.168.1.117:8080 weight=1;
     server 192.168.1.118:8080 weight=1;
         }

server {
        listen       80;
        server_name  www.mytest1.com;

        location / {
            proxy_pass   http://tomcat1;
            index  index.html index.htm;
        }

先单独启动117的nginx服务器: 测试能否访问 www.mytest2.com

再单独启动118的nginx服务器: 测试能否访问 www.mytest1.com

上面没问题的话，单独的nginx服务器和两台tomcat服务器的 负载均衡就好了，我们要实现的是 访问一个ip或者域名 两台nginx的结果都一样 实现主备 现在两台nginx的访问地址是不一样的，下面开始主备设置：

同样在  C:\Windows\System32\drivers\etc 下面的hosts文件 添加我们上面再nginx设置的 virtual_ipaddress：

192.168.1.100 www.mytest3.com

然后修改主、备nginx的nginx.conf如下：

upstream tomcat1{
     server 192.168.1.117:8080 weight=1;
     server 192.168.1.118:8080 weight=1;
         }

server {
        listen       80;
        server_name  www.mytest3.com;

        location / {
            proxy_pass   http://tomcat1;
            index  index.html index.htm;
        }

然后重启两台服务器上keepalived和nginx:

117:

          service keepalived start

          ./nginx

118:

          service keepalived start

         ./nginx

启动完成后使用 sbin/nginx -s reload 查看哪台服务器抢到了 192.168.1.100这个虚拟ip:

118:

117:

从上面可以看到 118主机先获取 我们设定的ip地址。

下面访问www.mytest03.com 测试：

 

可以看到访问成功，到这里我们的 nginx主备就实现成功

主机宕机

     我们关闭118的keepalived和nginx服务：

     service keepalived stop

    ./nginx -s stop

再次查看118的ip地址：

可以看到118上面已经没有1.100这个虚拟地址了，下面我们看看117上面

发现1.100这个ip地址漂到了117上面，我们再次访问www.mytest3.com测试能否访问：

测试成功，在nginx主机宕机的情况下面，192.168.1.100这个虚拟ip漂到了117机器上，说明nginx的主备没问题。

主机恢复：

   下面我们重启118的keepalived和nginx:

    service keepalived start

    ./nginx

再次查看ip地址：

发现100这个虚拟地址又回到了118，主机毕竟是主机 一旦恢复 备机就会交出虚拟地址。

解决nginx进程和keepalived不同时存在问题

1. 问题描述

     keepalived是通过检测keepalived进程是否存在判断服务器是否宕机，如果keepalived进程在但是nginx进程不在了那么       keepalived是不会做主备切换，所以我们需要写个脚本来监控nginx进程是否存在，如果nginx不存在就将keepalived进程杀掉。

在主nginx上需要编写nginx进程检测脚本（check_nginx.sh），判断nginx进程是否存在，如果nginx不存在就将keepalived进程杀掉，check_nginx.sh内容如下：

#!/bin/bash
# 如果进程中没有nginx则将keepalived进程kill掉
A=`ps -C nginx --no-header |wc -l`      ## 查看是否有 nginx进程 把值赋给变量A 
if [ $A -eq 0 ];then                    ## 如果没有进程值得为 零
       service keepalived stop          ## 则结束 keepalived 进程
fi

将check_nginx.sh拷贝至/etc/keepalived下: cp  check_nginx.sh  /etc/keepalived/

设置脚本执行权限：chmod +x /etc/keepalived/check_nginx.sh

将nginx停止，将keepalived启动，执行脚本：sh /etc/keepalived/check_nginx.sh

可以看到执行脚本后 keepalived进程被杀掉了

修改keepalived.conf

修改主nginx的keepalived.conf，添加脚本定义检测：

注意下边红色标识地方：

#全局配置

global_defs {

   notification_email {  #指定keepalived在发生切换时需要发送email到的对象，一行一个

     [email protected]

   }

   notification_email_from [email protected]  #指定发件人

   #smtp_server XXX.smtp.com                             #指定smtp服务器地址

   #smtp_connect_timeout 30                               #指定smtp连接超时时间

   router_id LVS_DEVEL                                    #运行keepalived机器的一个标识

}

vrrp_script check_nginx {

    script "/etc/keepalived/check_nginx.sh"         ##监控脚本

    interval 2                                      ##时间间隔，2秒

    weight 2                                        ##权重

}

vrrp_instance VI_1 {

    state MASTER           #标示状态为MASTER 备份机为BACKUP

    interface eth0         #设置实例绑定的网卡

    virtual_router_id 51   #同一实例下virtual_router_id必须相同

    priority 100           #MASTER权重要高于BACKUP 比如BACKUP为99

    advert_int 1           #MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒

    authentication {       #设置认证

        auth_type PASS     #主从服务器验证方式

        auth_pass 8888

    }

   track_script {

        check_nginx        #监控脚本

   }

    virtual_ipaddress {    #设置vip

        192.168.101.100       #可以多个虚拟IP，换行即可

    }

}

下面再给出一个方便复制的内容：

#全局配置
global_defs {
   notification_email {  #指定keepalived在发生切换时需要发送email到的对象，一行一个
     [email protected]
   }
   notification_email_from [email protected]  #指定发件人
   #smtp_server XXX.smtp.com                             #指定smtp服务器地址
   #smtp_connect_timeout 30                               #指定smtp连接超时时间
   router_id LVS_DEVEL                                    #运行keepalived机器的一个标识
}
vrrp_script check_nginx {
    script "/etc/keepalived/check_nginx.sh"         ##监控脚本
    interval 2                                      ##时间间隔，2秒
    weight 2                                        ##权重
}
vrrp_instance VI_1 {
    state MASTER           #标示状态为MASTER 备份机为BACKUP
    interface eth0         #设置实例绑定的网卡
    virtual_router_id 51   #同一实例下virtual_router_id必须相同
    priority 100           #MASTER权重要高于BACKUP 比如BACKUP为99
    advert_int 1           #MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒
    authentication {       #设置认证
        auth_type PASS     #主从服务器验证方式
        auth_pass 8888
    }
   track_script {
        check_nginx        #监控脚本
   }
    virtual_ipaddress {    #设置vip
        192.168.101.100       #可以多个虚拟IP，换行即可
    }

}

修改后重启keepalived

测试

开启两台服务器上面的keepalived和nginx，查看主nginx已经获取虚拟ip

关闭主机的nginx:

sbin/nginx -s stop

观察keepalived日志：

tail -f /var/log/keepalived.log

查看keepalived进程已经不存在。

查看eth0已经没有绑定vip。