HAProxy搭建web群集
HAProxy搭建web群集
-
- 一、常见的web集群调度器：
-
- 1.目前常见的软件和硬件：
- 2.HAProxy应用分析：
- 3.HAProxy主要特性：
- 4.HAProxy负载均衡策略非常多，常见的有如下8种：
- 5.LVS、Nginx、HAproxy的区别：
- 6.日志分析：
- 7.小结：
- 二、部署：
-
- 1.haproxy 服务器部署：
- 2.编译安装 HAProxy：
- 3.Haproxy服务器配置：
- 4.添加haproxy 系统服务：
- 5.部署两台节点服务器：
- 6.测试：
- 三、总结：
-
- 1.概述：
- 2.特点：
一、常见的web集群调度器：
1.目前常见的软件和硬件：
（1）软件：LVS，HAProxy，Nginx
（2）硬件：F5，国内的也有梭子鱼，绿盟等。
2.HAProxy应用分析：
（1）LVS在企业中抗负载能力强，但负载不足。
① LVS不支持正则处理，不能实现动静分离。
② 对于大型网站，LVS实施，配置复杂，维护成本较高。
（2）HAProxy可提供高可用，负载均衡及基于TCP和http的代理，免费，快速且可靠。
① 适用于并发大（并发量达100以上）的web站点，这些站点需要会话保持或七层代理。
② HAProxy的运行模式使它可以很简单安全地整合至当前的架构中，同时可保护web服务器不暴露。
3.HAProxy主要特性：
（1）可靠性和稳定性非常好，可以与硬件级的F5负载均衡设备相媲美；
（2）最高可以同时维护40000-50000个并发连接，单位时间内处理的最大请求数为20000个，最大处理能力可达10Git/s；
（3）支持多达8种负载均衡算法，同时也支持会话保持；
（4）支持虚机主机功能，从而实现web负载均衡更加灵活；
（5）支持连接拒绝、全透明代理等独特的功能；
（6）拥有强大的ACL支持，用于访问控制；
（7）其独特的弹性二叉树数据结构，使数据结构的复杂性上升到了0(1)，即数据的查寻速度不会随着数据条目的增加而速度有所下降；
（8）支持客户端的keepalive功能，减少客户端与haproxy的多次三次握手导致资源浪费，让多个请求在一个tcp连接中完成；
（9）支持TCP加速，零复制功能，类似于mmap机制；
（10）支持响应池（response buffering）；
（11）支持RDP协议；
（12）基于源的粘性，类似nginx的ip_hash功能，把来自同一客户端的请求在一定时间内始终调度到上游的同一服务器；
（13）更好统计数据接口，其web接口显示后端集群中各个服务器的接收、发送、拒绝、错误等数据的统计信息；
（14）详细的健康状态检测，web接口中有关于对上游服务器的健康检测状态，并提供了一定的管理功能；
（15）基于流量的健康评估机制；
（16）基于http认证；
（17）基于命令行的管理接口；
（18）日志分析器，可对日志进行分析。
4.HAProxy负载均衡策略非常多，常见的有如下8种：
（1）roundrobin，表示简单的轮询
（2）static-rr，表示根据权重
（3）leastconn，表示最少连接者先处理
（4）source，表示根据请求源IP
（5）uri，表示根据请求的URI,做cdn需使用;
（6）url_param，表示根据请求的URl参数’balance url_param’ requires an URL parameter name
（7）hdr(name)，表示根据HTTP请求头来锁定每一次HTTP请求;
（8）rdp-cookie(name)，表示根据cookie(name)来锁定并哈希每一次TCP请求。
5.LVS、Nginx、HAproxy的区别：
（1）LVS基于Linux操作系统内核实现软负载均衡，而HAProxy和Nginx是基于第三方应用实现的软负载均衡；
（2）LVS是可实现4层的IP负载均衡技术，无法实现基于目录、URL的转发。而HAProxy和Nginx都可以实现4层和7层技术，HAProxy可提供TCP和HTTP应用的负载均衡综合解决方案；
（3）LVS因为工作在ISO模型的第四层，其状态监测功能单一，而HAProxy在状态监测方面功能更丰富、强大，可支持端口、URL、脚本等多种状态检测方式；
（4）HAProxy功能强大，但整体性能低于4层模式的LVS负载均衡。
（5）Nginx主要用于Web服务器或缓存服务器。Nginx的upstream模块虽然也支持群集功能，但是对群集节点健康检查功能不强，性能没有Haproxy好。
6.日志分析：
#默认haproxy的日志是输出到系统的syslog中，查看起来不是非常方便，为了更好的管理haproxy的日志，我们在生产环境中一般单独定义出来。需要将haproxy的info及notice日志分别记录到不同的日志文件中。
vim /etc/haproxy/haproxy.cfg
global
log /dev/log local0 info
log /dev/log local0 noticeservice haproxy restart
#需要修改rsyslog配置，为了便于管理。将haproxy相关的配置独立定义到haproxy.conf，并放到/etc/rsyslog.d/下，rsyslog启动时会自动加载此目录下的所有配置文件。
vim /etc/rsyslog.d/haproxy.conf
if ($programname == ‘haproxy’ and KaTeX parse error: Expected 'EOF', got '&' at position 72: …proxy-info.log &̲~ if (programname == ‘haproxy’ and $syslogseverity-text == ‘notice’)
then -/var/log/haproxy/haproxy-notice.log
&~#说明：
这部分配置是将haproxy的info日志记录到/var/log/haproxy/haproxy-info.log下，将notice日志记录到/var/log/haproxy/haproxy-notice.log下。“&~”表示当日志写入到日志文件后，rsyslog停止处理这个信息。systemctl restart rsyslog.service
tail -f /var/log/haproxy/haproxy-info.log #查看haproxy的访问请求日志信息
7.小结：
（1）Nginx：
① 支持正则
② 只支持基于端口的健康检查
③ 不支持session直接保持、但能通过ip_hash来解决
④ 对网络稳定性要求不高
⑤ 反向代理能力强
（2）LVS
① 只能基于四层端口转发
② 尽在四层做分发作用 抗负载能力强
③ 应用范围广
（3）HAProxy
① 支持8中负载均衡策略
② 仅作负载均衡软件使用，在高并发情况下性能优于nginx
③ 支持URL检测 支持session保持
二、部署：
1.haproxy 服务器部署：
（1）关闭防火墙，将安装Haproxy所需软件包传到/opt目录下
[root@wang1 ~]# systemctl stop firewalld
[root@wang1 ~]# setenforce 0
2.编译安装 HAProxy：
[root@wang1 ~]# yum install -y pcre-devel bzip2-devel gcc gcc-c++ make
[root@wang1 ~]# tar zxvf haproxy-1.5.19.tar.gz -C /opt/
[root@wang1 opt]# cd haproxy-1.5.19/
[root@wang1 opt]# make TARGET=linux2628 ARCH=x86_64
[root@wang1 haproxy-1.5.19]# make install
3.Haproxy服务器配置：
[root@wang1 haproxy-1.5.19]# mkdir /etc/haproxy
[root@wang1 haproxy-1.5.19]# cp examples/haproxy.cfg /etc/haproxy/
[root@wang1 haproxy-1.5.19]# cd /etc/haproxy/
[root@wang1 haproxy]# vim haproxy.cfg
global
log /dev/log local0 info
log /dev/log local0 notice
maxconn 4096 #最大连接数，需考虑ulimit -n限制，推荐使用10240
--8行--注释，chroot运行路径，为该服务自设置的根目录，一般需将此行注释掉
#chroot /usr/share/haproxy
uid 99 #用户UID
gid 99 #用户GID
daemon #守护进程模式
nbproc 1 #添加，设置并发进程数，建议与当前服务器CPU核数相等或为其2倍
defaults #配置默认参数，这些参数可以被用到Listen，frontend，backend组件
log global #引入global定义的日志格式
mode http #模式为http（7层代理http，4层代理tcp）
option httplog #日志类别为http日志格式
option dontlognull #不记录健康检查日志信息
retries 3 #检查节点服务器失败次数，连续达到三次失败，则认为节点不可用
redispatch #当服务器负载很高时，自动结束当前队列处理比较久的连接
maxconn 2000 #最大连接数，“defaults”中的值不能超过“global”段中的定义
#contimeout 5000 #设置连接超时时间，默认单位是毫秒
#clitimeout 50000 #设置客户端超时时间，默认单位是毫秒
#srvtimeout 50000 #设置服务器超时时间，默认单位是毫秒
timeout http-request 10s #默认http请求超时时间
timeout queue 1m #默认队列超时时间
timeout connect 10s #默认连接超时时间，新版本中替代contimeout，该参数向后兼容
timeout client 1m #默认客户端超时时间，新版本中替代clitimeout，该参数向后兼容
timeout server 1m #默认服务器超时时间，新版本中替代srvtimeout，该参数向后兼容
timeout http-keep-alive 10s #默认持久连接超时时间
timeout check 10s #设置心跳检查超时时间
--删除下面所有listen项--，添加
listen webcluster 0.0.0.0:80 #haproxy实例状态监控部分配置，定义一个名为webcluster的应用
option httpchk GET /test.html #检查服务器的test.html文件
balance roundrobin #负载均衡调度算法使用轮询算法roundrobin
server inst1 192.168.174.15:80 check inter 2000 fall 3 #定义在线节点
server inst2 192.168.174.16:80 check inter 2000 fall 3
4.添加haproxy 系统服务：
[root@wang1 haproxy]# cp /opt/haproxy-1.5.19/examples/haproxy.init /etc/init.d/haproxy
[root@wang1 haproxy]# chmod +x /etc/init.d/haproxy
[root@wang1 haproxy]# chkconfig --add /etc/init.d/haproxy
[root@wang1 haproxy]# ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
[root@wang1 haproxy]# systemctl start haproxy
[root@wang1 haproxy]#
Broadcast message from systemd-journald@wang1 (Fri 2023-07-07 14:35:31 CST):
haproxy[42292]: proxy webcluster has no server available!
Broadcast message from systemd-journald@wang1 (Fri 2023-07-07 14:35:31 CST):
haproxy[42292]: proxy webcluster has no server available!
Message from syslogd@localhost at Jul 7 14:35:31 ...
haproxy[42292]:proxy webcluster has no server available!
Message from syslogd@localhost at Jul 7 14:35:31 ...
haproxy[42292]:proxy webcluster has no server available!
5.部署两台节点服务器：
systemctl stop firewalld
setenforce 0
yum install -y pcre-devel zlib-devel gcc gcc-c++ make
useradd -M -s /sbin/nologin nginx
cd /opt
tar zxvf nginx-1.12.0.tar.gz -C /opt/
cd nginx-1.12.0/
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx && make && make install
make && make install
--192.168.174.15---
echo "this is chan yeol" > /usr/local/nginx/html/test.html
--192.168.174.16---
echo "this is baek hyun" > /usr/local/nginx/html/test.html
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
vim /lib/systemd/system/nginx.service
[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target
chmod 754 /lib/systemd/system/nginx.service
systemctl start nginx.service
6.测试：
三、总结：
1.概述：
HAProxy 是一款高性能、可靠的开源负载均衡软件，可以利用多种算法实现对多个服务器的流量分发，能够提高系统的性能和可用性。除了负载均衡功能，HAProxy 还提供了强大的过滤、转发和会话保持等功能，可作为 Web 服务器、应用服务器和数据库等中间件的前端，实现高可用、高效率的服务访问架构。同时，在HAProxy 的配置和使用上，它也提供了丰富的文档、优秀的社区和强大的管理功能。
2.特点：
（1）高可靠性：支持多种故障检测机制和服务健康检查，可以快速发现并隔离故障节点，确保服务的高可靠性。
（2）高性能：使用基于事件驱动的架构，可以支持海量并发连接和请求，能够快速响应客户端请求并返回结果。
（3）功能丰富：支持TCP/HTTP/HTTPS等协议，可以进行丰富的请求处理和负载均衡算法，同时能够进行内容缓存和压缩等功能。
（4）易于配置和使用：可以通过命令行或Web界面进行配置，支持动态更新配置文件，使用简单、灵活性高。