概述:
根据功能划分为两大类:高可用和负载均衡
高可用集群(HA集群或者叫双机热备)通常为两台服务器,一台工作,另外一台作为冗余,当提供服务的机器宕机,冗余将接替继续提供服务;实现高可用的开源软件有:heartbeat、keepalived
负载均衡集群,需要有一台服务器作为分发器,它负责把用户的请求分发给后端的服务器处理,在这个集群里,除了分发器外,就是给用户提供服务的服务器了,这些服务器数量至少为2;实现负载均衡的开源软件有LVS、keepalived、haproxy、nginx,商业的有F5、Netscaler
下面来介绍Keepalived实现高可用集群:
keepalived通过VRRP(Virtual Router Redundancy Protocl)协议来实现高可用。
在这个协议里会将多台功能相同的路由器组成一个小组,这个小组里会有1个master角色和N(N>=1)个backup角色。
master会通过组播的形式向各个backup发送VRRP协议的数据包,当backup收不到master发来的VRRP数据包时,就会认为master宕机了。此时就需要根据各个backup的优先级来决定谁成为新的mater。
Keepalived要有三个模块,分别是core、check和vrrp。其中core模块为keepalived的核心,负责主进程的启动、维护以及全局配置文件的加载和解析,check模块负责健康检查,vrrp模块是来实现VRRP协议的。
使用keepalived+nginx实现web高可用:
准备工作:master:192.168.139.129 需要安装keepalived + nginx; backup:192.168.139.128 需要安装keepalived + nginx; 还要设置VIP:192.168.139.100(这个是虚拟IP,服务器是靠这个VIP对外提供服务的。)
keepalived安装可以yum install -y keepalived; nginx安装同样是yum安装的
下面是具体的实现:
1. master(129)操作:
编辑vim /etc/keepalived/keepalived.conf文件,清空文件内容,加入一下的配置:
global_defs { notification_email { [email protected] } notification_email_from [email protected] smtp_server 127.0.0.1 smtp_connect_timeout 30 router_id LVS_DEVEL } vrrp_script chk_nginx { script "/usr/local/sbin/check_ngx.sh" interval 3 } vrrp_instance VI_1 { state MASTER interface ens33 virtual_router_id 51 priority 100 advert_int 1 authentication { auth_type PASS auth_pass 123456 } virtual_ipaddress { 192.168.139.100 } track_script { chk_nginx } }
由于上面的代码定义了一个监控的脚本check_ngx.sh,编辑完记得授于执行的权限755
#!/bin/bash #时间变量,用于记录日志 d=`date --date today +%Y%m%d_%H%M%S` #计算nginx进程数量 n=`ps -C nginx --no-heading|wc -l` #如果进程为0,则启动nginx,并且再次检测nginx进程数量, #如果还为0,说明nginx无法启动,此时需要关闭keepalived if [ $n -eq "0" ];then /etc/init.d/nginx start n2=`ps -C nginx --no-heading|wc -l` if [ $n2 -eq "0" ];then echo "$d nginx down,keepalived will stop" >> /var/log/check_ngx.log systemctl stop keepalived fi fi
完成以上的步骤,就可以启动master的keepalived服务了。systemctl start keepalived.service;如下图:
使用ip add命令可以看到master上的VIP:192.168.139.100(注意ifconfig命令是看不到这个虚拟VIP的) 到这里master的工作就完成了!!!
2. backup(128)上操作:
编辑vim /etc/keepalived/keepalived.conf文件,清空文件内容,加入一下的配置:
global_defs { notification_email { [email protected] } notification_email_from [email protected] smtp_server 127.0.0.1 smtp_connect_timeout 30 router_id LVS_DEVEL } vrrp_script chk_nginx { script "/usr/local/sbin/check_ngx.sh" interval 3 } vrrp_instance VI_1 { state BACKUP interface ens33 virtual_router_id 51 priority 90 advert_int 1 authentication { auth_type PASS auth_pass 123456 } virtual_ipaddress { 192.168.139.100 } track_script { chk_nginx } }
代码定义了一个监控的脚本check_ngx.sh,编辑完记得授于执行的权限755
#!/bin/bash #时间变量,用于记录日志 d=`date --date today +%Y%m%d_%H:%M:%S` #计算nginx进程数量 n=`ps -C nginx --no-heading|wc -l` #如果进程为0,则启动nginx,并且再次检测nginx进程数量, #如果还为0,说明nginx无法启动,此时需要关闭keepalived if [ $n -eq "0" ]; then systemctl start nginx n2=`ps -C nginx --no-heading|wc -l` if [ $n2 -eq "0" ]; then echo "$d nginx down,keepalived will stop" >> /var/log/check_ngx.log systemctl stop keepalived fi fi
完成以上的步骤,就可以启动master的keepalived服务了。systemctl start keepalived.service
3. 接下来就是验证是否实现了keepalived高可用了。
我们去master(129)的机器把keepalived 停掉,看看backup的机器会不会自动切换到VIP
master操作:systemctl stop keepalived.service
master机器上已经没有了VIP了
backup操作:
VIP自动切换到backup机器上面来了!
4. 当我们重新启动master的服务时,master机器上会重新接管VIP的资源了
systemctl start keepalived.service
到这里keepalived+nginx实现高可用 就完成了。当然你也可以把nginx服务换成其他的服务,如MySQL等,大致的思路都是一样的!
下面接着搭建负载均衡集群:
介绍:主流开源软件LVS、keepalived、haproxy、nginx等;其中LVS属于4层(网络OSI 7层模型),nginx属于7层,haproxy既可以认为是4层,也可以当做7层使用。
keepalived的负载均衡功能其实就是lvs;lvs这种4层的负载均衡是可以分发除80外的其他端口通信的,比如MySQL的,而nginx仅仅支持http,https,mail,haproxy也支持MySQL这种
相比较来说,LVS这种4层的更稳定,能承受更多的请求,而nginx这种7层的更加灵活,能实现更多的个性化需求
这里我们使用LVS+keepalived实现负载均衡:
关于LVS是什么,请自行查询资料!
LVS常见有三种模式:NAT模式、IP Tunnel模式(也称IP隧道)、DR模式
LVS的调度算法:(常用前面四种)
轮询 Round-Robin rr
加权轮询 Weight Round-Robin wrr
最小连接 Least-Connection lc
加权最小连接 Weight Least-Connection wlc
基于局部性的最小连接 Locality-Based Least Connections lblc
带复制的基于局部性最小连接 Locality-Based Least Connections with Replication lblcr
目标地址散列调度 Destination Hashing dh
源地址散列调度 Source Hashing sh
准备工作:主keepalived(调度器)192.1468.139.129 ; 服务器rs1 192.168.139.128(nginx); 服务器rs2 192.168.139.130(nginx) ; VIP 192.168.139.110
主keepalived(129)上操作:
编辑文件:vim /etc/keepalived/keepalived.conf,清空原来的内容,加入一下配置:
vrrp_instance VI_1 { #备用服务器上为 BACKUP state MASTER #绑定vip的网卡为ens33,你的网卡和阿铭的可能不一样,这里需要你改一下 interface ens33 virtual_router_id 51 #备用服务器上为90 priority 100 advert_int 1 authentication { auth_type PASS auth_pass 123456 } virtual_ipaddress { 192.168.139.110 } } virtual_server 192.168.139.110 80 { #(每隔10秒查询realserver状态) delay_loop 10 #(lvs 算法) lb_algo wlc #(DR模式) lb_kind DR #(同一IP的连接60秒内被分配到同一台realserver) persistence_timeout 60 #(用TCP协议检查realserver状态) protocol TCP real_server 192.168.139.128 80 { #(权重) weight 100 TCP_CHECK { #(10秒无响应超时) connect_timeout 10 nb_get_retry 3 delay_before_retry 3 connect_port 80 } } real_server 192.168.139.130 80 { weight 100 TCP_CHECK { connect_timeout 10 nb_get_retry 3 delay_before_retry 3 connect_port 80 } } }
安装ipvsadm:yum install -y ipvsadm
在rs服务器(128+130)操作:
编辑脚本:vim /usr/local/sbin/lvs_rs.sh
#/bin/bash vip=192.168.139.110 #把vip绑定在lo上,是为了实现rs直接把结果返回给客户端 ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up route add -host $vip lo:0 #以下操作为更改arp内核参数,目的是为了让rs顺利发送mac地址给客户端 #参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
然后执行!
配置完成了,我们去主keepalived开启服务!
验证: