Haproxy+keepalived(高可用集群部署)
Haproxy+keepalived
- Haproxy定义
-
- Haproxy应用
- Haproxy支持的调度算法
- Haproxy配置文件详解
- haproxy+keepalived优点
- 项目环境
-
- 主服务器配置
-
- 1.haproxy配置
- 2.keepalived配置
- 备服务器配置
-
- 1.haproxy配置（与主服务器配置相同）
- 2.keepalived配置
- nginx1服务器配置
- nginx2服务器配置
- 访问测试
- Haproxy参数优化
- Haproxy日志管理（主备服务器都配置）
- 关闭主服务器后,漂移ip由备份服务器承担 ，继续工作
- 在备服务器上查看日志
Haproxy定义
HAProxy是一个使用C语言编写的自由及开放源代码软件，其提供高可用性、负载均衡，以及基于TCP和HTTP的应用程序代理。
Haproxy应用
LVS在企业应用中抗负载能力很强，但存在不足，LVS不支持正则处理，不能实现动静分离；
对于大型网站，LVS的实施配置复杂，维护成本相对较高；Haproxy是一款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理的软件，适用于负载大的Web站点；
运行在硬件上可支持数以万计的并发连接的连接请求；
Haproxy支持的调度算法
1.Round Robin(RR) 轮询调度
2.Least Connections(LC) 最少连接数
3.Source Hashing(SH) 基于来源访问调度算法
Haproxy配置文件详解
1、Haproxy配置文件通常分为三个部分
global：全局配置
defaults：默认配置
listen：应用组件配置
2、global配置参数
log127.0.0.1 lcal0：配置日志记录，local0为日志设备，默认存放到系统日志
log127.0.0.1 loca1 notice: notice为日志级别，通常有24个级别
maxconn4096：最大连接数
uid 99：用户 uid
gid 99：用户 gid
3、defaults配置项配置默认参数
一般会被应用组件继承，如果在应用组件中没有特别声明，将安装默认配置参数设置
log global：定义日志为global配置中的日志定义
mode http：模式为http option
httplog：采用http日志格式记录日志
retries 3：检查节点服务器失败连续达到三次则认为节点不可用
maxconn2000：最大连接数
contimeout5000：连接超时时间
clitimeout50000：客户端超时时间
srvtimeout50000：服务器超时时间
4、listen配置项目一般为配置应用模块参数
listen appli4- backup 0.0.0.0:10004：定义一个appli4- backup的应用
option httpchk /index.html检查服务器的index.html文件
option persist：强制将请求发送到已经down掉的服务器（注释掉，否则起服务会报错）
balance roundrobin：负载均衡调度算法使用轮询算法
server inst1 192.168.114.56:80 check inter 2000 fall 3：定义在线节点
server inst2 192.168 114.56:81 check inter 2000 fall 3 backup：定义备份节点
haproxy+keepalived优点
1.可靠性和稳定性非常好，可以和硬件级的负载均衡设备F5相媲美。
2.最高可同时维护40000-50000个并发连接，单位时间内处理的最大请求数为20000个。
3.支持8种负载均衡算法，支持回话保持；支持虚拟主机功能；支持连接拒绝，全透明代理并且有一个功能强大的服务器状态监控界面。
4.拥有功能强大的ACL支持。
5.用haproxy构建群集的时候，比如后方代理两个http，如果haproxy宕机，后方的http正常运行网站也是瘫痪状态，这就造成了单点故障。
这时keepalived就登场了，keepalived基于vrrp协议，两台主机之间生成一个虚拟的ip，我们称漂移ip，漂移ip由主服务器承担，一但主服务器宕机，备份服务器就会抢占漂移ip，继续工作，有效的解决了群集中的单点故障。两者相结合，可靠稳定。
项目环境
主服务器配置
1.haproxy配置
[root@haproxy1 ~]# systemctl stop firewalld
[root@haproxy1 ~]# setenforce 0
[root@haproxy1 ~]# yum -y install gcc gcc-c++ make pcre-devel bzip2-devel
[root@haproxy1 ~]# tar zxvf haproxy-1.4.24.tar.gz
[root@haproxy1 ~]# cd haproxy-1.4.24/
[root@haproxy1 haproxy-1.4.24]# make TARGET=linux26 #内核版本大于2.6的使用
[root@haproxy1 haproxy-1.4.24]# make install
[root@haproxy1 haproxy-1.4.24]# mkdir /etc/haproxy #创建haproxy目录
[root@haproxy1 haproxy-1.4.24]# cp examples/haproxy.cfg /etc/haproxy/ #将软件包中的配置文件模板复制到haproxy目录中
[root@haproxy1 haproxy-1.4.24]# cd
[root@haproxy1 ~]# vim /etc/haproxy/haproxy.cfg #修改haproxy.cfg配置参数
下面两项前面加上注释
#chroot /usr/share/haproxy #固有目录，可注释掉
#redispatch #当使用了cookie时，haproxy将会将其请求的后端服务器的serverID插入到cookie中，以保证会话的SESSION持久性；而此时，如果后端的服务器宕掉了，但是客户端的cookie是不会刷新的，如果设置此参数，将会将客户的请求强制定向到另外一个后端server上，以保证服务的正常。需要注释掉
删除将原来的listen配置项，添加新配置：
listen webcluster 0.0.0.0:80
option httpchk GET /index.html
balance roundrobin
server nginx1 192.168.100.30:80 check inter 2000 fall 3
server nginx2 192.168.100.40:80 check inter 2000 fall 3
优化服务启动：
[root@haproxy1 ~]# cp haproxy-1.4.24/examples/haproxy.init /etc/init.d/haproxy
[root@haproxy1 ~]# vi /etc/init.d/haproxy
修改：
# chkconfig: 35 85 15
[root@haproxy1 ~]# chmod 755 /etc/init.d/haproxy
[root@haproxy1 ~]# chkconfig --add /etc/init.d/haproxy
[root@haproxy1 ~]# ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
[root@haproxy1 ~]# systemctl start haproxy
2.keepalived配置
[root@haproxy1 ~]# yum -y install gcc gcc-c++ make popt-devel kernel-devel openssl-devel
[root@haproxy1 ~]# tar zxf keepalived-2.0.13.tar.gz
[root@haproxy1 ~]# cd keepalived-2.0.13/
[root@haproxy1 keepalived-2.0.13]# ./configure --prefix=/
[root@haproxy1 keepalived-2.0.13]# make && make install
[root@haproxy1 keepalived-2.0.13]# cp keepalived/etc/init.d/keepalived /etc/init.d ###加入系统管理服务
[root@haproxy1 keepalived-2.0.13]# systemctl enable keepalived.service ###设置开机自启动
[root@haproxy1 keepalived-2.0.13]# vi /etc/keepalived/keepalived.conf ###编辑配置文件
删除原有配置，重新添加：
! Configuration File for keepalived
global_defs { #全局参数
router_id LVS_01 #指定名称，各个服务器名称要不一样
}
vrrp_instance VI_1 { #指定vrrp热备参数
state MASTER #服务器角色是master，备份服务器设置为BACKUP
interface ens33 #修改物理网卡名称，默认是centos6的eth0
virtual_router_id 10 #组号相同
priority 150 #优先级，主服务器设置要大于备服务器
advert_int 1
authentication {
auth_type PASS #验证类型和密码，不建议修改
auth_pass 123
}
virtual_ipaddress {
192.168.100.100 #漂移地址（VIP）地址，可以有多个
}
}
[root@haproxy1 keepalived-2.0.13]# systemctl start keepalived
[root@haproxy1 keepalived-2.0.13]# ip addr
备服务器配置
1.haproxy配置（与主服务器配置相同）
[root@haproxy2 ~]# systemctl stop firewalld
[root@haproxy2 ~]# setenforce 0
[root@haproxy2 ~]# yum -y install gcc gcc-c++ make pcre-devel bzip2-devel
[root@haproxy2 ~]# tar zxvf haproxy-1.4.24.tar.gz
[root@haproxy2 ~]# cd haproxy-1.4.24/
[root@haproxy2 haproxy-1.4.24]# make TARGET=linux26 #内核版本大于2.6的使用
[root@haproxy2 haproxy-1.4.24]# make install
[root@haproxy2 haproxy-1.4.24]# mkdir /etc/haproxy #创建haproxy目录
[root@haproxy2 haproxy-1.4.24]# cp examples/haproxy.cfg /etc/haproxy/ #将软件包中的配置文件模板复制到haproxy目录中
[root@haproxy2 haproxy-1.4.24]# cd
[root@haproxy2 ~]# vim /etc/haproxy/haproxy.cfg #修改haproxy.cfg配置参数
下面两项前面加上注释
#chroot /usr/share/haproxy #固有目录，可注释掉
#redispatch #当使用了cookie时，haproxy将会将其请求的后端服务器的serverID插入到cookie中，以保证会话的SESSION持久性；而此时，如果后端的服务器宕掉了，但是客户端的cookie是不会刷新的，如果设置此参数，将会将客户的请求强制定向到另外一个后端server上，以保证服务的正常。需要注释掉
删除将原来的listen配置项，添加新配置：
listen webcluster 0.0.0.0:80
option httpchk GET /index.html
balance roundrobin
server nginx1 192.168.100.30:80 check inter 2000 fall 3
server nginx2 192.168.100.40:80 check inter 2000 fall 3
优化服务启动：
[root@haproxy2 ~]# cp haproxy-1.4.24/examples/haproxy.init /etc/init.d/haproxy
[root@haproxy2 ~]# vi /etc/init.d/haproxy
修改：
# chkconfig: 35 85 15
[root@haproxy2 ~]# chmod 755 /etc/init.d/haproxy
[root@haproxy2 ~]# chkconfig --add /etc/init.d/haproxy
[root@haproxy2 ~]# ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
[root@haproxy2 ~]# systemctl start haproxy
2.keepalived配置
[root@haproxy2 ~]# yum -y install gcc gcc-c++ make popt-devel kernel-devel openssl-devel
[root@haproxy2 ~]# tar zxvf keepalived-2.0.13.tar.gz
[root@haproxy2 ~]# cd keepalived-2.0.13/
[root@haproxy2 keepalived-2.0.13]# ./configure --prefix=/
[root@haproxy2 keepalived-2.0.13]# make && make install
[root@haproxy2 keepalived-2.0.13]# cp keepalived/etc/init.d/keepalived /etc/init.d ###加入系统管理服务
[root@haproxy2 keepalived-2.0.13]# systemctl enable keepalived.service ###设置开机自启动
[root@haproxy2 keepalived-2.0.13]# vi /etc/keepalived/keepalived.conf ###编辑配置文件
删除原有配置，重新添加：
! Configuration File for keepalived
global_defs { #全局参数
router_id LVS_02 #指定名称，各个服务器名称要不一样
}
vrrp_instance VI_1 { #指定vrrp热备参数
state BACKUP #服务器角色是master，备份服务器设置为BACKUP
interface ens33 #修改物理网卡名称，默认是centos6的eth0
virtual_router_id 10 #组号相同
priority 145 #优先级，主服务器设置要大于备服务器
advert_int 1
authentication {
auth_type PASS #验证类型和密码，不建议修改
auth_pass 123
}
virtual_ipaddress {
192.168.100.100 #漂移地址（VIP）地址，可以有多个
}
}
[root@haproxy2 ~]# systemctl start keepalived
[root@haproxy2 ~]# ip addr
nginx1服务器配置
[root@nginx1 ~]# systemctl stop firewalld
[root@nginx1 ~]# setenforce 0
[root@nginx1 ~]# yum -y install gcc gcc-c++ make pcre-devel zlib-devel
[root@nginx1 ~]# tar zxvf nginx-1.12.2.tar.gz
[root@nginx1 ~]# useradd -M -s /sbin/nologin nginx #创建nginx用户
[root@nginx1 ~]# cd nginx-1.12.2
[root@nginx1 nginx-1.12.2]# ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx
[root@nginx1 nginx-1.12.2]# make && make install #编译安装nginx
[root@nginx1 nginx-1.12.2]# cd
[root@nginx1 ~]# echo "WEB1
" > /usr/local/nginx/html/index.html #创建首页内容
[root@nginx1 ~]# ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin #优化启动项
[root@nginx1 ~]# nginx
[root@nginx1 ~]# netstat -anpt | grep nginx
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 58600/nginx: master
nginx2服务器配置
[root@nginx2 ~]# systemctl stop firewalld
[root@nginx2 ~]# setenforce 0
[root@nginx2 ~]# yum -y install gcc gcc-c++ make pcre-devel zlib-devel
[root@nginx2 ~]# tar zxvf nginx-1.12.2.tar.gz
[root@nginx2 ~]# useradd -M -s /sbin/nologin nginx #创建nginx用户
[root@nginx2 ~]# cd nginx-1.12.2
[root@nginx2 nginx-1.12.2]# ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx
[root@nginx2 nginx-1.12.2]# make && make install #编译安装nginx
[root@nginx2 nginx-1.12.2]# cd
[root@nginx2 ~]# echo "WEB2
" > /usr/local/nginx/html/index.html #创建首页内容
[root@nginx2 ~]# ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin #优化启动项
[root@nginx2 ~]# nginx
[root@nginx2 ~]# netstat -anpt | grep nginx
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 7502/nginx: master
访问测试
浏览器输入：http://192.168.100.100
等待后刷新
Haproxy参数优化
随着企业网站负载增加， haproxy参数优化相当重要
1、maxconn：最大连接数，根据应用实际情况进行调整，推荐使用10240
2、daemon：守护进程模式， Haproxy可以使用非守护进程模式启动，建议使用守护进程模式启动
3、nbproc：负载均衡的并发进程数，建议与当前服务器CPU核数相等或为其2倍 retries：重试次数，主要用于对集群节点的检查，如果节点多，且并发量大，设置为2次或3次
4、option http-server-close：主动关闭http请求选项，建议在生产环境中使用此选项
5、timeout http-keep-alive：长连接超时时间，设置长连接超时时间，可以设置为10s
6、timeout http-request：http请求超时时间，建议将此时间设置为5~10s，增加http连接释放速度
7、timeout client：客户端超时时间，如果访问量过大，节点响应慢，可以将此时间设置短一些，建议设置为1min左右就可以了
Haproxy日志管理（主备服务器都配置）
1、默认是输出到系统的syslog（系统日志）中，生成环境中一般单独定义
2、定义的方法步骤
修改Haproxy配置文件中关于日志配置的选项，加入配置 log /dev/log local0 info log /dev/log
local0 notice
修改rsyslog配置，将Haproxy相关的配置独立定义到haproxy.conf，并放到/etc/rsyslog.d下
保存配置文件并重启rsyslog服务，完成rsyslog配置
3、访问Haproxy集群测试网页并查看日志信息
4、具体配置（基于上面的Haproxy搭建web群集实验）
[root@haproxy1 ~]# vi /etc/haproxy/haproxy.cfg
修改：
global
log /dev/log local0 info
log /dev/log local0 notice
[root@haproxy1 ~]# systemctl restart haproxy.service
[root@haproxy1 ~]# vi /etc/rsyslog.d/haproxy.conf
添加：
if ($programname == 'haproxy' and $syslogseverity-text == 'info')
then -/var/log/haproxy/haproxy-info.log
&~
if ($programname == 'haproxy' and $syslogseverity-text == 'notice')
then -/var/log/haproxy/haproxy-notice.log
&~
[root@haproxy1 ~]# systemctl restart rsyslog.service
[root@haproxy1 ~]# systemctl restart haproxy.service
[root@haproxy1 ~]# cd /var/log/haproxy/
[root@haproxy1 haproxy]# ll
总用量 8
-rw-------. 1 root root 333 12月 10 14:09 haproxy-info.log
-rw-------. 1 root root 134 12月 10 14:09 haproxy-notice.log
关闭主服务器后,漂移ip由备份服务器承担 ，继续工作
等待刷新
在备服务器上查看日志
[root@haproxy2 haproxy]# tail -100 /var/log/messages
[root@haproxy2 haproxy]# cat haproxy-info.log
[root@haproxy2 haproxy]# cat haproxy-notice.log
