酒醉独白

Haproxy搭建Web群集方法

Haproxy搭建Web群集方法
常见的Web集群调度器
目前常见的Web集群调度器分为软件和硬件，软件通常使用开源的LVS、Haproxy、Nginx，硬件一般使用比较多的是F5，也有很多人使用国内的一些产品，如梭子鱼、绿盟等
Haproxy应用分析
LVS在企业应用中抗负载能力很强，但存在不足
LVS不支持正则处理，不能实现动静分离
对于大型网站，LVS的实施配置复杂，维护成本相对较高
Haproxy是一款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理的软件
特别适用于负载特别大的Web站点
运行在当前的硬件上可支持数以万计的并发连接连接请求
Haproxy支持多种调度算法，最常用的有三种：
RR（Round Robin）
RR算法是最简单最常用的一种算法，即轮询调度
LC（Least Connections）
LC算法即最小连接数算法，根据后端的节点连接数大小动态分配前端请求
理解举例
有三个节点A、B、C，各节点的连接数分别为A:4、B:5、C:6，此时如果有第一个用户连接请求，会被指派到 A上，连接数变为A:5、B:5、C:6
第二个用户请求会继续分配到A上，连接数变为A:6、B:5、C:6；再有新的请求会分配给B，每次将新的请求指派给连接数最小的客户端
由于实际情况下A、B、C的连接数会动态释放，很难会出现一样连接数的情况，因此此算法相比较rr算法有很大改进，是目前用到比较多的一种算法
SH（Source Hashing）
SH即基于来源访问调度算法，此算法用于一些有Session会话记录在服务器端的场景，可以基于来源的IP、Cookie等做集群调度
理解举例
有三个节点A、B、C，第一个用户第一次访问被指派到了A ，第二个用户第一次访问被指派到了B
当第一个用户第二次访问时会被继续指派到A，第二个用户第二次访问时依旧会被指派到B，只要负载均衡调度器不重启，第一个用户访问都会被指派到A，第二个用户访问都会被指派到B，实现集群的调度
此调度算法好处是实现会话保持，但某些IP访问量非常大时会引起负载不均衡，部分节点访问量超大，影响业务使用

搭建过程：

主机操作系统 IP地址主要软件
Haproxy服务器 @1 CentOS 7.3 x86_64 192.168.11.11 haproxy-
Nginx服务器 @2 CentOS 7.3 x86_64 192.168.11.12 nginx-1.12.0.tar.gz
Nginx服务器 @3 CentOS 7.3 x86_64 192.168.11.13 nginx-1.12.0.tar.gz
客户端 Windows 10

@2/3
yum -y install pcre-devel zlib-devel gcc gcc-c++ lrzsz
useradd -M -s /sbin/nologin nginx
tar zxf nginx-1.12.0.tar.gz
cd nginx-1.12.0
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_stub_status_module
make && make install
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
echo “222222222” > /usr/local/nginx/html/index.html
echo “333333333” > /usr/local/nginx/html/index.html
nginx
vim /etc/init.d/nginx
#!/bin/bash
#chkconfig: - 99 20
#description:Nginx Service l Control Script
PROG="/usr/local/nginx/sbin/nginx"
PIDF="/usr/local/nginx/logs/nginx.pid"
case “$1” in
start)
$PROG
;;
stop)
kill -s QUIT $(cat $PIDF)
;;
restart)
$0 stop
$0 start
;;
reload)
kill -s HUP $(cat $PIDF)
;;
*)
echo “Usage: $0 {start|stop|restart|reload}”
exit 1
esac
exit 0

chmod +x /etc/init.d/nginx
chkconfig --add nginx
chkconfig nginx on

能够访问web网页

@1
yum install -y pcre-devel bzip2-devel gcc gcc-c++ make lrzsz
tar xf haproxy-1.7.9.tar.gz
cd haproxy-1.7.9/
uname -r
make TARGET=linux31 PREFIX=/usr/local/haproxy(指定安装位置)
make install PREFIX=/usr/local/haproxy
mkdir /etc/haproxy
useradd -s /sbin/nologin -M haproxy

vim /etc/haproxy/haproxy.cfg
#########################
global
log 127.0.0.1 local2
#chroot /usr/local/haproxy-1.7.9
pidfile /var/run/haproxy.pid
maxconn 4000
user haproxy
group haproxy
daemon

#---------------------------------------------------------------------

#common defaults that all the ‘listen’ and ‘backend’ sections will

#use if not designated in their block

#---------------------------------------------------------------------
defaults
mode http
log global
option dontlognull
option httpclose
option httplog
#option forwardfor //如果后端服务器需要获得客户端真实ip需要配置的参数，可以从Http Header中获得客户端ip
option redispatch
timeout connect 10s
timeout client 10s
timeout server 10s
maxconn 60000
retries 3
#--------------统计页面配置------------------
listen admin_stats
bind 0.0.0.0:8089
stats enable
mode http
log global
stats uri /stats
stats realm Haproxy\ Statistics
stats auth admin:admin
stats hide-version
stats admin if TRUE
stats refresh 30s
#---------------web设置-----------------------
listen webcluster
bind 0.0.0.0:80
mode http
option httpchk GET /index.html
log global
maxconn 3000
balance roundrobin
server web01 192.168.11.12:80 check inter 2000 fall 3
server web02 192.168.11.13:80 check inter 2000 fall 3
#########################################
cp examples/haproxy.init /etc/init.d/haproxy
chmod 755 /etc/init.d/haproxy
chkconfig --add haproxy
ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
service haproxy start
netstat -anpt

访问浏览器测试

haproxy日志管理

vim /etc/haproxy/haproxy.cfg
可以看到如下行
log 127.0.0.1 local2
没有指定端口，默认为udp 514

vim /etc/rsyslog.conf
#启用在udp 514端口接收日志消息（15 16行取消注释）
$ModLoad imudp
$UDPServerRun 514

#在rules（规则）节中添加如下信息（46行以下）
local2.* /var/log/haproxy.log
#表示将发往facility local2的消息写入haproxy.log文件中，"local2.* "前面的local2表示facility,预定义的。*表示所有等级的消息

#重启 rsyslog
systemctl restart rsyslog
#重启haproxy
systemctl restart haproxy

查看/var/log/haproxy.log文件应该能看到日志信息

Haproxy参数优化

maxconn：最大连接数，根据应用实际情况进行调整，推荐使用10 240
daemon：守护进程模式，Haproxy可以使用非守护进程模式启动，建议使用守护进程模式启动
nbproc：负载均衡的并发进程数，建议与当前服务器CPU核数相等或为其2倍
retries：重试次数，主要用于对集群节点的检查，如果节点多，且并发量大，设置为2次或3次
option http-server-close：主动关闭http请求选项，建议在生产环境中使用此选项
timeout http-keep-alive：长连接超时时间，设置长连接超时时间，可以设置为10s
timeout http-request：http请求超时时间，建议将此时间设置为5～10s，增加http连接释放速度
timeout client：客户端超时时间，如果访问量过大，节点响应慢，可以将此时间设置短一些，建议设置为1min左右就可以了

常见的Web集群调度器
目前常见的Web集群调度器分为软件和硬件，软件通常使用开源的LVS、Haproxy、Nginx，硬件一般使用比较多的是F5，也有很多人使用国内的一些产品，如梭子鱼、绿盟等
Haproxy应用分析
LVS在企业应用中抗负载能力很强，但存在不足
LVS不支持正则处理，不能实现动静分离
对于大型网站，LVS的实施配置复杂，维护成本相对较高
Haproxy是一款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理的软件
特别适用于负载特别大的Web站点
运行在当前的硬件上可支持数以万计的并发连接连接请求
Haproxy支持多种调度算法，最常用的有三种：
RR（Round Robin）
RR算法是最简单最常用的一种算法，即轮询调度
LC（Least Connections）
LC算法即最小连接数算法，根据后端的节点连接数大小动态分配前端请求
理解举例
有三个节点A、B、C，各节点的连接数分别为A:4、B:5、C:6，此时如果有第一个用户连接请求，会被指派到 A上，连接数变为A:5、B:5、C:6
第二个用户请求会继续分配到A上，连接数变为A:6、B:5、C:6；再有新的请求会分配给B，每次将新的请求指派给连接数最小的客户端
由于实际情况下A、B、C的连接数会动态释放，很难会出现一样连接数的情况，因此此算法相比较rr算法有很大改进，是目前用到比较多的一种算法
SH（Source Hashing）
SH即基于来源访问调度算法，此算法用于一些有Session会话记录在服务器端的场景，可以基于来源的IP、Cookie等做集群调度
理解举例
有三个节点A、B、C，第一个用户第一次访问被指派到了A ，第二个用户第一次访问被指派到了B
当第一个用户第二次访问时会被继续指派到A，第二个用户第二次访问时依旧会被指派到B，只要负载均衡调度器不重启，第一个用户访问都会被指派到A，第二个用户访问都会被指派到B，实现集群的调度
此调度算法好处是实现会话保持，但某些IP访问量非常大时会引起负载不均衡，部分节点访问量超大，影响业务使用