Keepalived+nginx高可用及+Tomcat负载均衡集群以及动静分离

概括：主要是利用keepalived做nginx的高可用 再用nginx做tomcat Web的负载均衡。总体拓扑图如下：

 

高可用部分

第一步：安装部署nginx

[root@localhost ~]# useradd nginx -s /sbin/nologin -M

[root@localhost ~]# tar -xf nginx-1.13.8.tar.gz

[root@localhost ~]# cd nginx-1.13.8/

[root@localhost ~]# ./configure

--prefix=/usr/local/nginx

--user=nginx

--group=nginx

--with-http_ssl_module

--with-http_v2_module

--with-http_stub_status_module

--with-pcre

--with-http_mp4_module

--with-http_flv_module

[root@localhost ~]# make&&make install

检查nginx已经启动

为了实验的正常进行，我们可以先将防火墙关闭

[root@localhost ~]# systemctl stop firewalld

为了方便占时将网页做个变更如下

 

第二部：安装部署keepalived（下载网址：http://www.keepalived.org/download.html）

1、源码安装keepalived，以下所有的必须在两台服务器上安装部署

[root@localhost ~]# tar -xf keepalived-2.0.0.tar.gz

[root@localhost ~]# cd keepalived-2.0.0

[root@localhost keepalived-2.0.0]# ./configure --prefix=/usr/local/keepalived

[root@localhost keepalived-2.0.0]# make&&make install

2、将配置文件放到默认路径下

[root@localhost keepalived-2.0.0]# mkdir /etc/keepalived   

[root@localhost keepalived-2.0.0]# cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/

3、复制 keepalived 服务脚本到默认的地址

[root@localhost keepalived-2.0.0]# cp /root/keepalived-2.0.0/keepalived/etc/init.d/keepalived /etc/init.d/keepalived

[root@localhost keepalived-2.0.0]# chmod +x /etc/init.d/keepalived

[root@localhost keepalived-2.0.0]# cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/

[root@localhost keepalived-2.0.0]# ln -s /usr/local/keepalived/sbin/keepalived /sbin/

4、设置开机启动：

[root@localhost keepalived-2.0.0]# systemctl enable keepalived

Created symlink from /etc/systemd/system/multi-user.target.wants/keepalived.service to /usr/lib/systemd/system/keepalived.service.

5、修改配置文件

Master服务器的配置文件

# vi /etc/keepalived/keepalived.conf  

! Configuration File for keepalived  

global_defs {  

   ## keepalived 自带的邮件提醒需要开启 sendmail 服务。 建议用独立的监控或第三方 SMTP  

    router_id liuyazhuang133 ## 标识本节点的字条串，通常为 hostname  

}   

## keepalived 会定时执行脚本并对脚本执行的结果进行分析，动态调整 vrrp_instance 的优先级。如果脚本执行结果为 0，并且 weight 配置的值大于 0，则优先级相应的增加。如果脚本执行结果非 0，并且 weight配置的值小于 0，则优先级相应的减少。其他情况，维持原本配置的优先级，即配置文件中 priority 对应的值。  

vrrp_script chk_nginx {  

    script "/etc/keepalived/nginx_check.sh" ## 检测 nginx 状态的脚本路径  

    interval 2 ## 检测时间间隔  

    weight -20 ## 如果条件成立，权重-20  

}  

## 定义虚拟路由， VI_1 为虚拟路由的标示符，自己定义名称  

vrrp_instance VI_1 {  

    state MASTER ## 主节点为 MASTER， 对应的备份节点为 BACKUP  

    interface ens33 ## 绑定虚拟 IP 的网络接口，与本机 IP 地址所在的网络接口相同， 我的是 ens33 

    virtual_router_id 33 ## 虚拟路由的 ID 号， 两个节点设置必须一样， 可选 IP 最后一段使用, 相同的 VRID 为一个组，他将决定多播的 MAC 地址  

    mcast_src_ip 192.168.1.104 ## 本机 IP 地址  

    priority 100 ## 节点优先级， 值范围 0-254， MASTER 要比 BACKUP 高  

    nopreempt ## 优先级高的设置 nopreempt 解决异常恢复后再次抢占的问题  

    advert_int 1 ## 组播信息发送间隔，两个节点设置必须一样， 默认 1s  

    ## 设置验证信息，两个节点必须一致  

    authentication {  

        auth_type PASS  

        auth_pass 1111 ## 真实生产，按需求对应该过来  

    }  

    ## 将 track_script 块加入 instance 配置块  

    track_script {  

        chk_nginx ## 执行 Nginx 监控的服务  

    } #  

    # 虚拟 IP 池, 两个节点设置必须一样  

    virtual_ipaddress {  

        192.168.1.110  ## 虚拟 ip，可以定义多个  

    }  

}  

Backup服务器配置文件

 ! Configuration File for keepalived

global_defs {

     router_id 103

}

vrrp_script chk_nginx {

    script "/etc/keepalived/nginx_check.sh" ## 检测 nginx 状态的脚本路径  

    interval 2 ## 检测时间间隔  

    weight -20 ## 如果条件成立，权重-20  

}

vrrp_instance VI_1 {

    state BACKUP

    interface ens33

    virtual_router_id 51

    priority 90

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass 1111

    }

   track_script {

        chk_nginx ## 执行 Nginx 监控的服务  

    }

    virtual_ipaddress {

        192.168.1.110

    }

}

6、编写 Nginx 状态检测脚本

[root@localhost keepalived-2.0.0]# vim /etc/keepalived/nginx_check.sh

#!/bin/sh

nginxPidNum=`ps -C nginx --no-header |wc -l`

keepalivedPidNum=`psi -C keepalived --no-header |wc -l`

if [ $nginxPidNum -eq 0 ];then

    /usr/bin/pkill keepalived

elif [ $keepalivedPidNum -eq 0 ];then

    service keepalived start

fi

[root@localhost keepalived-2.0.0]# chmod +x /etc/keepalived/nginx_check.sh

7、此时可以启动keepalived了：

8、此时可以通过ip addr 命令查看VIP的情况

Master服务器的情况

Backup服务器的情况

浏览器访问192.168.1.110，此时出现的是第一台服务器的网页

8、测试

我们可以尝试关闭主服务器上nginx观看情况如下：

Master主机如下

 

Backup如下：

 

访问virtual_ip后得到第二个页面：

 

我们尝试关闭backup服务器的nginx，现实环境中则要求我们发现主服务器上的nginx停止后及时修复，解决问题，防止从服务出现问题时无法正常跳转，同时我们可以搭建第三个临时的backup2，应现实情况而言，出现情况与之前的一样，

至此整个高可用部分已经部署完毕

第三部分，部署tomcat的负载均衡

1、安装tomcat服务，安装可以参照（ Linux下实现jenkins+svn+maven+tomcat全程部署，及部署到远程linux服务器 ）

2、修改nginx服务的配置文件

在httpd内添加如下，

        upstream tomcats {

        ip_hash;

        server 192.168.1.97:8080;

        server 192.168.1.158:8080;

}

在server内添加如下

        location / {

            proxy_set_header Host $host;

            proxy_set_header X-Real-IP $remote_addr;

            proxy_set_header REMOTE-HOST $remote_addr;

            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

            proxy_pass http://tomcats;

        }

        #静态文件交给nginx处理

        location ~.*\.(html|jpg|jpeg|png|bmp|gif|ico|mp3|mid|wma|mp4|swf|flv|rar|zip|txt|doc|ppt|xls|pdf)$ {
            proxy_pass http://tomcats;
            expires     7d;
        }

之后重启nginx，重启后我们再访问192.168.1.110，得到如下（为了区分将两个tomcat部署不同的版本如下）

第一次访问如下，点击刷新

 

点击刷新，第二次如下