keepalived+nginx搭建高可用and负载均衡集群
keepalived+nginx搭建高可用and负载均衡集群
前言
因生产环境需要，现需要搭建一个前端为nginx的HA双向互备、后端为nginx代理的loadbalance负载均衡集群。nginx进程基于于Master+Slave(worker)多进程模型，自身具有非常稳定的子进程管理功能。在Master进程分配模式下，Master进程永远不进行业务处理，只是进行任务分发，从而达到Master进程的存活高可靠性，Slave(worker)进程所有的业务信号都由主进程发出，Slave(worker)进程所有的超时任务都会被Master中止，属于非阻塞式任务模型。Keepalived是Linux下面实现VRRP 备份路由的高可靠性运行件。基于Keepalived设计的服务模式能够真正做到主服务器和备份服务器故障时IP瞬间无缝交接。
此架构需考虑的问题
1）Master没挂，则Master占有vip且nginx运行在Master上
2）Master挂了，则backup抢占vip且在backup上运行nginx服务
3）如果master服务器上的nginx服务挂了，则vip资源转移到backup服务器上
4）检测后端服务器的健康状态
Master和Backup两边都开启nginx服务，无论Master还是Backup，当其中的一个keepalived服务停止后，vip都会漂移到keepalived服务还在的节点上，
如果要想使nginx服务挂了，vip也漂移到另一个节点，则必须用脚本或者在配置文件里面用shell命令来控制。
以下实验过程由难及易，易于上手，便于操作。
一、前期环境准备
-
1. 系统环境均为CentOS release (Final)32位，均在虚拟机上成功实现。
-
所有的软件包均为yum方式安装，yum源均在用阿里云服务器所使用的。
-
为避免后续不必要的麻烦，全都关闭防火墙
-
本实验结构的拓扑图如下：
-
机器IP规划如下：
二、后端apache的安装配置
apache1：
1、安装
[root@apache1 ~]# yum install -y httpd
2、建立测试网页文件
echo "this is apache1" >/var/www/html/
3、开启服务
service httpd start
apache2：
1、安装
yum -y install httpd
2、建立测试网页文件
echo "this is apache2" >/var/www/html/
3、开启服务
service httpd start
-
Nginx安装与配置
1安装环境所需依赖包
yum -y install gcc gcc+ gcc-c++
yum install popt-devel opensslopenssl-devel libssl-dev libnl-devel popt-devel
yum install -y net-_64net-snmp-_64
2.安装nginx
yum install -y nginx
3.修改nginx的配置文件
yum install -y nginx
创建自定义配置文件
mkdir /etc/nginx//extra/
vim /etc/nginx//extra/
4.启动nginx
service nginx start
此时可以在浏览器测试一下，输入IP:
刷新一下
这一台nginx已经配置成功，在另外一台机器上同样的方式配置nginx，这里不再赘述。
以上配置文件里的内容虽然稀少，但都是重要部分，以后用的到的功能逐渐添加。
-
keepalived的安装与配置
-
机器上安装keepalived
yum install -y keepalived
2.修改keepalived配置文件
vim/etc/keepalived/
! Configuration File for keepalived
global_defs {
notification_email {
yangry@
}
notification_email_fromyangry@
smtp_server
smtp_connect_timeout 30
router_id LVS_MASTER1 #
表示运行keepalived服务器的一个标识，发邮件时显示在邮件主题中的信息
}
vrrp_script chk_http_port {
script "/usr/local/keepalived/"####
检测nginx状态的脚本链接
interval 2
weight 2
}
vrrp_instance VI_2 { #vrrp
实例
stateMASTER #MASTER/BACKUP
interface eth1 ####HA
监测网络接口
virtual_router_id 51 #
虚拟路由标识，是一个数字，同一个VRRP实例使用唯一的标识,master和backup要一样
priority100 #
用于主从模式，优先级主高于100，从低于100
advert_int1 #
主备之间的通告间隔秒数
authentication{ #
认证用于主从模式，mater和backup配置一样
auth_type PASS ###
主备切换时的验证
auth_pass 1111 #
密码
}
track_script {
chk_http_port ###
执行监控的服务
}
virtual_ipaddress {
dev eth1 label eth1:0 ###########
虚拟ip
}
}
3.编写nginx检测脚本
vim /usr/local/keepalived/
if [ `ps -C nginx --no-header |wc -l` -eq 0];then
killall keepalived
fi
一定要记得赋予其可执行权限哦
chmod +x /usr/local/keepalived/
在另外一台backup机器上做同样操作，注意/etc/keepalived/要修改的地方如下：
state BACKUP
priority 99（一定要比master的值要小）
-
手动添加一个虚拟IP
分别在master和backup上执行以下命令：
ifconfig eth1:0 up
然后查看，就会有两个IP了
-
在两台机器上分别重启nginx和keepalived做测试
service nginx restart
service keepalived restart
-
1.在master上可以看到
在backup上可以看到
看日志可以看出，两台服务器的 MASTRE 和 BACUKUP 已经都正常了。
-
2.当我手动把master上的nginx停掉，可以看到master日志
在看此时的backup日志
显然已经成功把vip接管过来.
自此，本实验已经成功完成。