Keepalived+Nginx构建高可用的负载均衡

1.  安装环境

yum install gcc-c++

yum -y install kernel-devel*

yum -y install openssl-*

yum -y install popt-devel

yum -y install lrzsz

yum -y install openssh-clients

yum -y install libnl libnl-devel

2.  安装keepalived

将keepalived-1.3.8.tar.gz上传到服务器/usr/local/下。

 

cd /usr/local

tar -zxvf keepalived-1.3.8.tar.gz

cd keepalived-1.3.8

 

执行配置命令

./configure --prefix=/usr/local/keepalived

 

3、编译

make

4、安装

make install

 

至此安装成功

  查询/usr/local/keepalived/etc/rc.d/init.d/ 下是否有rc.d该文件夹。

5、拷贝执行文件

cp /usr/local/keepalived/sbin/keepalived/usr/sbin/

6、将init.d文件拷贝到etc下,加入开机启动项

cp /usr/local/keepalived/etc/rc.d/init.d/keepalived/etc/init.d/keepalived

7、将keepalived文件拷贝到etc下，加入网卡配置

cp /usr/local/keepalived/etc/sysconfig/keepalived/etc/sysconfig/

8、创建keepalived文件夹

mkdir -p /etc/keepalived

9、将keepalived配置文件拷贝到etc下

cp /usr/local/keepalived/etc/keepalived/keepalived.conf/etc/keepalived/keepalived.conf

10、添加可执行权限

chmod+x /etc/init.d/keepalived

2.1.  加入开机启动：

chkconfig --add keepalived      #添加时必须保证/etc/init.d/keepalived存在

chkconfig keepalived on

添加完可查询系统服务是否存在：chkconfig --list

 

2.2.  启动keepalived

启动：service keepalived start

停止：service keepalived stop

重启：service keepalived restart

3.  配置日志文件

1.将keepalived日志输出到local0：

vi /etc/sysconfig/keepalived

KEEPALIVED_OPTIONS="-D -d -S 0"

 

2.在/etc/rsyslog.conf里添加:

local0.*  /var/log/keepalived.log

 

3.重新启动keepalived和rsyslog服务：

service rsyslog restart

service keepalived restart

4.  打开防火墙的通讯地址

iptables -A INPUT -d224.0.0.18 -j ACCEPT

etc/rc.d/init.d/iptablessave

5   nginx负载均衡高可用

1.1  什么是负载均衡高可用

         nginx作为负载均衡器，所有请求都到了nginx，可见nginx处于非常重点的位置，如果nginx服务器宕机后端web服务将无法提供服务，影响严重。

         为了屏蔽负载均衡服务器的宕机，需要建立一个备份机。主服务器和备份机上都运行高可用（High Availability）监控程序，通过传送诸如“Iam alive”这样的信息来监控对方的运行状况。当备份机不能在一定的时间内收到这样的信息时，它就接管主服务器的服务IP并继续提供负载均衡服务；当备份管理器又从主管理器收到“I am alive”这样的信息时，它就释放服务IP地址，这样的主服务器就开始再次提供负载均衡服务。

1.2  keepalived+nginx实现主备

1.2.1  什么是keepalived

         keepalived是集群管理中保证集群高可用的一个服务软件，用来防止单点故障。

        Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web服务器。

 

1.2.2  keepalived工作原理

         keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。

         虚拟路由冗余协议，可以认为是实现路由器高可用的协议，即将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和多个backup，master上面有一个对外提供服务的vip（VIP = Virtual IP Address，虚拟IP地址，该路由器所在局域网内其他机器的默认路由为该vip），master会发组播，当backup收不到VRRP包时就认为master宕掉了，这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了。

         keepalived主要有三个模块，分别是core、check和VRRP。core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检查，包括常见的各种检查方式。VRRP模块是来实现VRRP协议的。

 

1.2.3  keepalived+nginx实现主备过程

 

1.2.3.1 初始状态

 

1.2.3.2 主机宕机

 

1.2.3.3 主机恢复

 

1.2.4  高可用环境

两台nginx，一主一备：192.168.71.128和192.168.71.129

两台tomcat服务器：192.168.71.128、192.168.71.128

 

 

1.2.5  安装keepalived

 

         分别在主备nginx上安装keepalived，参考以下配置：

 

1.2.6  配置keepalived

1.2.6.1 主nginx

修改主nginx下/usr/local/keepalived/etc/keepalived/keepalived.conf文件

 

! Configuration File for keepalived

global_defs {

   notification_email {

[email protected]             #接收警报的email地址,可以添加多个

 }

   notification_email_from [email protected]   ###发件人地址
    smtp_server 127.0.0.1          ###发送邮件的服务器
    smtp_connect_timeout 30        ###超时时间
    router_id LVS_DEVEL            ####load balancer 的标识 ID,用于email警报
}
vrrp_script chk_http_port {  
script "/etc/keepalived/nginx_check.sh"    ###检测nginx状态的脚本路径  
interval 2                    ##每2秒检测一次nginx的运行状态
weight -20                    ##失败一次，将自己的优先级-20 
}
vrrp_instance VI_1 {
    state MASTER                  ###主机为 MASTER，备份节点为BACKUP  
    interface eth1                ###HA 监测网络接口  此项默认为eth0,因为本人在虚拟机下做测试所以将其改为eth2，可以用ifconfing
    virtual_router_id 51          ###主、备机的 virtual_router_id 必须相同
    mcast_src_ip 192.168.71.128   ###本机IP地址
priority 100                  ###节点优先级，值范围0～254，MASTER要比BACKUP高 
    advert_int 1                  ###主备之间的通告间隔秒数 
    authentication {              ###设置验证信息，两个节点必须一致
        auth_type PASS            ###默认配置 主备切换时的验证
        auth_pass 1111
    }
track_script {  
chk_http_port             ### 执行监控的服务，nginx存活状态检测脚本 
}
    virtual_ipaddress {           ###虚拟IP，两个节点设置必须一样。可以设置多个，一行写一个
192.168.71.255         ###虚拟ip，vip的地址 
    }
}


vrrp_instance VI_2 {  
state BACKUP  
interface eth1 #两处都为本机的网络接口  
virtual_router_id 52  
priority 99 #权重  
advert_int 1  
authentication {  
auth_type PASS  
auth_pass 1111  
}  
virtual_ipaddress {  
192.168.130.131/24  
}  
} 

 

 

1.2.6.2 备nginx

修改备nginx下/usr/local/keepalived/etc/keepalived/keepalived.conf文件

配置备nginx时需要注意：需要修改state为BACKUP , priority比MASTER低，virtual_router_id和master的值一致

 

! Configuration File for keepalived


global_defs {
   notification_email {
     [email protected]             #接收警报的email地址,可以添加多个
}
   notification_email_from [email protected]   ###发件人地址
    smtp_server 127.0.0.1          ###发送邮件的服务器
    smtp_connect_timeout 30        ###超时时间
    router_id LVS_DEVEL            ####load balancer 的标识 ID,用于email警报
}
vrrp_script chk_http_port {  
script "/etc/keepalived/nginx_check.sh"    ####检测nginx状态的脚本路径  
interval 2  
weight -20                    #每检查一次，权重减去20 
} 


vrrp_instance VI_1 {
    state BACKUP                  ############ 辅机为 BACKUP   
    interface eth2                ####HA 监测网络接口  此项默认为eth0,因为本人在虚拟机下做测试所以将其改为eth2，可以用ifconfing
    virtual_router_id 51          #主、备机的 virtual_router_id 必须相同
    mcast_src_ip 192.168.71.129   ###本机IP地址
priority 90                   ########### 权值要比 back 高 
    advert_int 1                  #主备之间的通告间隔秒数 
    authentication {
        auth_type PASS            ###默认配置 主备切换时的验证
        auth_pass 1111
    }
track_script {  
chk_http_port             ### 执行监控的服务  
}
    virtual_ipaddress {
192.168.71.255            ###虚拟ip，vip的地址 
    }
}

 

1.2.7  测试

主备nginx都启动keepalived及nginx。

service keepalived start

./nginx

 

1.2.7.1 初始状态

查看主nginx的eth0设置：

vip绑定在主nginx的eth0上。

/sbin/ip add show eth0

 

查看备nginx的eth0设置：

vip没有绑定在备nginx的eth0上。

 

访问ccc.test.com，可以访问。

 

1.2.7.2 主机宕机

将主nginx的keepalived停止或将主nginx关机(相当于模拟宕机)，查看主nginx的eth0：

eth0没有绑定vip

注意这里模拟的是停止 keepalived进程没有模拟宕机，所以还要将nginx进程也停止表示主nginx服务无法提供。

 

查看备nginx的eth0：

vip已经漂移到备nginx。

 

访问ccc.test.com，可以访问。

 

1.2.7.3 主机恢复

将主nginx的keepalived和nginx都启动。

查看主nginx的eth0：

 

查看备nginx的eth0：

vip漂移到主nginx。

 

查看备nginx的eth0：

eth0没有绑定vip

 

 

访问：ccc.test.com，正常访问。

注意：主nginx恢复时一定要将nginx也启动（通常nginx启动要加在开机启动中），否则即使vip漂移到主nginx也无法访问。

 

1.2.8  解决nginx进程和keepalived不同时存在问题

1.2.8.1 问题描述

         keepalived是通过检测keepalived进程是否存在判断服务器是否宕机，如果keepalived进程在但是nginx进程不在了那么keepalived是不会做主备切换，所以我们需要写个脚本来监控nginx进程是否存在，如果nginx不存在就将keepalived进程杀掉。

 

1.2.8.2 nginx进程检测脚本

         在主nginx上需要编写nginx进程检测脚本（check_nginx.sh），判断nginx进程是否存在，如果nginx不存在就将keepalived进程杀掉，check_nginx.sh内容如下：

 

#!/bin/bash

# 如果进程中没有nginx则将keepalived进程kill掉

A=`ps -C nginx--no-header |wc -l`      ## 查看是否有 nginx进程 把值赋给变量A

if [ $A -eq 0];then                    ## 如果没有进程值得为零

       service keepalived stop          ## 则结束 keepalived 进程

fi

 

将check_nginx.sh拷贝至/etc/keepalived下，

脚本测试：

将nginx停止，将keepalived启动，执行脚本：sh/etc/keepalived/check_nginx.sh

 

从执行可以看出自动将keepalived进程kill掉了。

 

修改后重启keepalived

 

1.2.8.4 测试

回到负载均衡高可用的初始状态，保证主、备上的keepalived、nginx全部启动。

停止主nginx服务

 

观察keepalived日志：

tail -f /var/log/keepalived.log

查看keepalived进程已经不存在。

查看eth0已经没有绑定vip。