企业级应用:负载均衡层——haproxy(一)

本文首发于我的个人网站: https://hewanyue.com/
本文作者: Hechao
本文链接: https://hewanyue.com/blog/5aeb7732.html

  HAProxy是法国开发者 威利塔罗(Willy Tarreau) 在2000年使用C语言开发的一个开源软件,是一款具备高并发(一万以上)、高性能的TCP和HTTP负载均衡器,支持基于cookie的持久性,自动故障切换,支持正则表达式及web状态统计。
  HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中, 同时可以保护你的web服务器不被暴露到网络上。
  包括 GitHub、Bitbucket、Stack Overflow、Reddit、Tumblr、Twitter和 Tuenti[7]在内的知名网站,及亚马逊网络服务系统都使用了HAProxy。

HAProxy功能

HAProxy功能:
  • TCP和HTTP反向代理
  • SSL/TSL服务器
  • 可以针对HTTP请求添加cookie,进行路由后端服务器
  • 可平衡负载至后端服务器,并支持持久连接
  • 支持所有主服务器故障切换至备用服务器
  • 支持专用端口实现监控服务
  • 支持不影响现有连接情况下停止接受新连接请求
  • 可以在双向添加,修改或删除HTTP报文首部
  • 响应报文压缩
  • 支持基于pattern实现连接请求的访问控制
  • 通过特定的URI为授权用户提供详细的状态信息
不具备的功能:
  • 正向代理–squid,nginx
  • 缓存代理–varnish
  • web服务–nginx、tengine、apache、php、tomcat
  • UDP–目前不支持UDP协议,2.1版本会支持UDP协议代理
  • 单机性能–LVS

HAProxy安装

  HAProxy 支持基于lua实现功能扩展,lua是一种小巧的脚本语言,于1993年由巴西里约热内卢天主教大学(Pontifical Catholic University of Rio de Janeiro)里的一个研究小组开发,其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能。
  由于centos自带的lua版本比较低并不符合HAProxy要求的lua最低版本(5.3)的要求,因此需要编译安装较新版本的lua环境,然后才能编译安装HAProxy。

安装lua环境

  配置lua环境

yum install libtermcap-devel ncurses-devel libevent-devel readline-devel gcc make

  下载lua源码tar包

wget http://www.lua.org/ftp/lua-5.3.5.tar.gz

  编译安装lua

tar xvf lua-5.3.5.tar.gz
cd lua-5.3.5
make linux test
安装HAProxy

  下载haproxy源码包

wget http://www.haproxy.org/download/2.0/src/haproxy-2.0.8.tar.gz

  安装依赖包

yum install gcc gcc-c++ glibc glibc-devel pcre pcre-devel openssl openssl-devel systemd-devel 

  (附加工具包net-tools vim iotop bc zip unzip zlib-devel lrzsz tree screen lsof tcpdump wget ntpdate
  编译安装haproxy
  cd haproxy-2.0.8
  HAProxy 1.8及1.9版本编译参数:

make ARCH=x86_64 \
TARGET=linux2628 \
USE_PCRE=1 \
USE_OPENSSL=1 \
USE_ZLIB=1 \
USE_SYSTEMD=1 \
USE_CPU_AFFINITY=1 \
PREFIX=/apps/haproxy

  HAProxy 2.0编译参数:

make ARCH=x86_64 \
TARGET=linux-glibc USE_PCRE=1 \
USE_OPENSSL=1 \
USE_ZLIB=1 \
USE_SYSTEMD=1 \
USE_CPU_AFFINITY=1 \
USE_LUA=1 \
LUA_INC=/data/tar/lua-5.3.5/src/ \
LUA_LIB=/data/tar/lua-5.3.5/src/ \
PREFIX=/apps/haproxy
make install PREFIX=/apps/haproxy
cp haproxy /usr/sbin/

  haproxy启动脚本
  vim /usr/lib/systemd/system/haproxy.service

[Unit]
Description=HAProxy Load Balancer
After=syslog.target network.target
[Service]
ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -c -q
ExecStart=/usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/lib/haproxy/haproxy.pid
ExecReload=/bin/kill -USR2 $MAINPID
[Install]
WantedBy=multi-user.target\

  haproxy配置文件(基本配置文件)
  mkdir /etc/haproxy
  vim /etc/haproxy/haproxy.cfg

global
    chroot /apps/haproxy   #锁定运行目录
    stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin   #socket文件
    uid 99       #运行haproxy的用户身份,也可设user,group
    gid 99
    daemon    #以守护进程运行
#    nbproc 4    #指定每个haproxy进程开启的线程数,默认为每个进程一个线程
#    cpu-map 1 0    #绑定haproxy 进程至指定CPU
#    cpu-map 2 1
#    cpu-map 3 2
#    cpu-map 4 3
maxconn 100000   #每个haproxy进程的最大并发连接数
#maxsslconn          #每个haproxy进程ssl最大连接数,用于haproxy配置了证书的场景下
#spread-checks      #后端server状态check随机提前或延迟百分比时间,建议2-5(20%-50%)之间
pidfile /var/lib/haproxy/haproxy.pid
log 127.0.0.1 local3 info   #定义全局的syslog服务器;最多可以定义两个



defaults
    option http-keep-alive
    option forwardfor
    maxconn 100000
    mode http
    timeout connect 300000ms
    timeout client 300000ms
    timeout server 300000ms

listen stats
    mode http
    bind 0.0.0.0:9999
    stats enable
    log global
    stats uri /haproxy-status
    stats auth haadmin:q1w2e3r4ys
listen web_port
    bind 192.168.32.84:80
    mode http
    log global
    server web1 127.0.0.1:8080 check inter 3000 fall 2 rise 5

  设置haproxypid及socket创建权限
  useradd -s /sbin/nologin -r -u 99 haproxy
  mkdir /var/lib/haproxy
  chown 99.99 /var/lib/haproxy/ -R

  至此,才完成haproxy的安装与配置,启动并查看haproxy的状态是否正常吧。
  systemctl enable --now haproxy
  systemctl status haproxy

配置web均衡

  haproxy最主要的功能就是为后端服务器做反向代理,例如我们要为后面的四个web服务器做反向代理,配置文件如下:

global
    maxconn 100000
    chroot /apps/haproxy
    stats socket /var/lib/haproxy/haproxy.sock1 mode 600 level admin process 1
    stats socket /var/lib/haproxy/haproxy.sock2 mode 600 level admin process 2
    uid 99
    gid 99
    daemon
    nbproc 2       #指定每个haproxy进程开启的线程数,默认为每个进程一个线程
    cpu-map 1 0    #cpu工作线程绑定
    cpu-map 2 1
#    cpu-map 3 2
#    cpu-map 4 3
    pidfile /var/lib/haproxy/haproxy.pid
    log 127.0.0.1 local3 info

defaults
    option redispatch      #当server Id对应的服务器挂掉后,强制定向到其他健康的服务器
    option abortonclose    #当服务器负载很高的时候,自动结束掉当前队列处理比较久的链接
    option http-keep-alive #开启与客户端的会话保持
    option  forwardfor     #透传客户端真实IP至后端web服务器
    mode http #默认工作类型
    timeout connect 600s  #客户端请求到后端server的最长连接等待时间(TCP之前)
    timeout server  600s  #客户端请求到后端服务端的超时超时时长(TCP之后)
    timeout client  600s  #与客户端的最长非活动时间
    timeout http-keep-alive 120s #session会话保持超时时间,范围内会转发到相同的后端服务器
    timeout  check   50s   #对后端服务器的检测超时时间option http-keep-alive

#frontend WEB_PORT_80
#    bind 192.168.32.84:80
#    mode http
#    use_backend web_prot_http_nodes

#backend web_prot_http_nodes
#    mode http
#    option forwardfor
#    balance static-rr
#    server web0 192.168.32.8:80 check inter 3000 fall 3 rise 5
#    server web3 192.168.32.83:80 check inter 3000 fall 3 rise 5
#    server web2 192.168.32.82:80 check inter 3000 fall 3 rise 5
#    server web1 192.168.32.81:80 check inter 3000 fall 3 rise 5


listen stats
    bind 0.0.0.0:9999
    mode http
    stats enable
    log global
    stats uri /proxy_status         #进入后台状态页url路径
    stats auth haadmin:hapasswd     #进入后台的账号密码

listen web_host       #使用listen替换frontend+backend的配置方式
    bind 192.168.32.84:80
    mode http
    log global
    balance roundrobin  #定义调度算法为roundrobin
    server web0 192.168.32.8:80 weight 1 check  addr 192.168.32.8 port 9000 inter 3000 fall 2 rise 5
    server web1 192.168.32.81:80 weight 1 check ddpr 192.168.32.81 port 9000 inter 3000 fall 2 rise 5
    server web2 192.168.32.82:80 weight 1 check addr 192.168.32.82 port 9000 inter 3000 fall 2 rise 5
    server web3 192.168.32.83:80 weight 1 check addr 192.168.32.83 port 9000 inter 3000 fall 2 rise 5

  重启服务systemctl restart haproxy,便可登陆本机的状态页(haadmin:hapasswd)查看后端服务器状态。

企业级应用:负载均衡层——haproxy(一)_第1张图片
  刷新几次可以看到,不同pid也就是不同线程提供的status页面。
企业级应用:负载均衡层——haproxy(一)_第2张图片

配置详解
globe 全局配置段
进程及安全配置相关的参数
性能调整相关参数
Debug参数

  全局配置一般大多类似不用多说,须注意的是nbproc若开启多线程,socket设置最好也分开设置,最好每个线程用process #指定固定的socket,方便后期用命令行socat工具管理(echo "disable server web_host/web1" | socat stdio /var/lib/haproxy/haproxy.sock2),例如:

global
maxconn 100000
chroot /apps/haproxy
stats socket /var/lib/haproxy/haproxy.sock1 mode 600 level admin process 1
stats socket /var/lib/haproxy/haproxy.sock2 mode 600 level admin process 2
uid 99
gid 99
daemon
nbproc 2       #指定每个haproxy进程开启的线程数,默认为每个进程一个线程
cpu-map 1 0    #cpu工作线程绑定
cpu-map 2 1
pidfile /var/lib/haproxy/haproxy.pid
log 127.0.0.1 local3 info

  其他详细信息参见官方文档:https://cbonte.github.io/haproxy-dconv/2.0/intro.html

proxies:代理配置段
defaults []  #默认配置项,针对以下的frontend、backend和lsiten生效,可以多个name
frontend   #前端servername,类似于Nginx的一个虚拟主机 server。
backend   #后端服务器组,等于nginx的upstream
listen   #将frontend和backend合并在一起配置

  注:name字段只能使用”-”、”_”、”.”、和”:”,并且严格区分大小写,例如:Web和web是完全不同的两组服务器。

  • defaults
    option redispatch #当server Id对应的服务器挂掉后,强制定向到其他健康的服务器
    option abortonclose #当服务器负载很高的时候,自动结束掉当前队列处理比较久的链接
    option http-keep-alive #开启与客户端的会话保持
    option forwardfor #透传客户端真实IP至后端web服务器
    mode http #默认工作类型
    timeout connect 120s #客户端请求到后端server的最长连接等待时间(TCP之前)
    timeout server 600s #客户端请求到后端服务端的超时超时时长(TCP之后)
    timeout client 600s #与客户端的最长非活动时间
    timeout http-keep-alive 120s #session 会话保持超时时间,范围内会转发到相同的后端服务器
    timeout check 5s #对后端服务器的检测超时时间
  • frontend
    bind:指定HAProxy的监听地址,可以是IPV4或IPV6,可以同时监听多个IP或端口,可同时用于listen字段中
bind [
]: [, ...] [param*]
listen http_proxy #监听http的多个IP的多个端口和sock文件
    bind :80,:443,:8801-8810
    bind 10.0.0.1:10080,10.0.0.1:10443
    bind /var/run/ssl-frontend.sock user root mode 600 accept-proxy
listen http_https_proxy #https监听
    bind :80
    bind :443 ssl crt /etc/haproxy/site.pem
listen http_https_proxy_explicit #监听ipv6、ipv4和unix sock文件
    bind ipv6@:80
    bind ipv4@public_ssl:443 ssl crt /etc/haproxy/site.pem
    bind [email protected] user root mode 600 accept-proxy
listen external_bind_app1 #监听file descriptor
    bind "fd@${FD_APP1}"

  企业生产示例:

frontend WEB_PORT
    bind :80,:8080
    bind 192.168.7.102:10080,:8801-8810,192.168.7.101:9001-9010
    mode http/tcp #指定负载协议类型
    use_backend backend_name #调用的后端服务器组名称
  • backend
    定义一组后端服务器,backend服务器将被frontend进行调用。
mode http/tcp #指定负载协议类型
option #配置选项
server #定义后端real server

  注意:mode要与frontend一致。option后面加httpchk,smtpchk,mysql-check,pgsql-check,ssl-hello-chk方法,可用于实现更多应用层检测功能。

check #对指定real进行健康状态检查,默认不开启
    addr IP #可指定的健康状态监测IP
    port num #指定的健康状态监测端口
    inter num #健康状态检查间隔时间,默认2000 ms
    fall num #后端服务器失效检查次数,默认为3
    rise num #后端服务器从下线恢复检查次数,默认为2
weight #默认为1,最大值为256,0表示不参与负载均衡
backup #将后端服务器标记为备份状态
disabled #将后端服务器标记为不可用状态
redirect prefix http://www.example.net/ #将请求临时重定向至其它URL,只适用于http模式
maxconn :当前后端server的最大并发连接数
backlog :当server的连接数达到上限后的后援队列长度

  frontend+backend配置实例:

#官网业务访问入口======================================
frontend WEB_PORT_80
    bind 192.168.7.248:80
    mode http
    use_backend web_prot_http_nodes
backend web_prot_http_nodes
    mode http
    option forwardfor
    server 192.168.7.101 192.168.7.101:8080 check inter 3000 fall 3 rise 5
    server 192.168.7.102 192.168.7.102:8080 check inter 3000 fall 3 rise 5
  • listen
    listen相当于frontend+backend的结合,即定义前端监听代理,又定义了后端服务器,例如上面的frontend+backend组合可用下面这种listen方式代替:
#官网业务访问入口=====================================
listen WEB_PORT_80
    bind 192.168.7.102:80
    mode http
    option forwardfor
    server web1 192.168.7.101:80 check inter 3000 fall 3 rise 5
    server web2 192.168.7.101:80 check inter 3000 fall 3 rise 5

haproxy调度算法

  HAProxy通过固定参数balance指明对后端服务器的调度算法,该参数可以配置在listen或backend选项中
  HAProxy的调度算法分为静态和动态调度算法,但是有些算法可以根据参数在静态和动态算法中相互转换。

静态算法
  • static-rr
    基于权重的轮询调度,不支持权重的运行时调整及后端服务器慢启动,其后端主机数量没有限制
  • first
    根据服务器在列表中的位置,自上而下进行调度,但是其只会当第一台服务器的连接数达到上限,新请求才会分配给下一台服务,因此会忽略服务器的权重设置。(生产不常用)
动态算法
  • roundrobin
    基于权重的轮询动态调度算法,支持权重的运行时调整,不完全等于lvs中的rr轮训模式,HAProxy中的roundrobin支持慢启动(新加的服务器会逐渐增加转发数),其每个后端backend中最多支持4095个real server,roundrobin为默认调度算法,且支持对real server权重动态调整。
  • leastconn
    加权的最少连接的动态,支持权重的运行时调整和慢启动,即当前后端服务器连接最少的优先调度(新客户端连接),比较适合长连接的场景使用,比如MySQL等场景。
其他算法
source

  源地址hash,基于用户源地址hash并将请求转发到后端服务器,默认为静态即取模方式,但是可以通过hash-type支持的选项更改,后续同一个源地址请求将被转发至同一个后端web服务器,比较适用于session保持/缓存业务等场景。
  源地址有两种转发客户端请求到后端服务器的服务器选取计算方式,分别是取模法和一致性hash

  • map-base取模法
      map-based:取模法,基于服务器总权重的hash数组取模,该hash是静态的即不支持在线调整权重,不支持慢启动,其对后端服务器调度均衡,缺点是当服务器的总权重发生变化时,即有服务器上线或下线,都会因权重发生变化而导致调度结果整体改变。
      所谓取模运算,就是计算两个数相除之后的余数,10%7=3, 7%4=3,(2^32-1)%(1+1+2)
      取模法示意图:
    企业级应用:负载均衡层——haproxy(一)_第3张图片取模法配置示例:
listen web_host
    bind 192.168.7.101:80,:8801-8810,192.168.7.101:9001-9010
    mode tcp
    log global
    balance source
    server web1 192.168.7.103:80 weight 1 check inter 3000 fall 2 rise 5
    server web2 192.168.7.104:80 weight 1 check inter 3000 fall 2 rise 5
  • 一致性hash
      一致性哈希,该hash是动态的,支持在线调整权重,支持慢启动,优点在于当服务器的总权重发生变化时,对调度结果影响是局部的,不会引起大的变动,hash(o)mod n 。
      Hash对象到后端服务器的映射关系:
    企业级应用:负载均衡层——haproxy(一)_第4张图片  一致性hash后端服务器在线与离线的调度方式示意图:
    企业级应用:负载均衡层——haproxy(一)_第5张图片
      一致性hash配置示例:
listen web_host
    bind 192.168.7.101:80,:8801-8810,192.168.7.101:9001-9010
    mode tcp
    log global
    balance source
    hash-type consistent
    server web1 192.168.7.103:80 weight 1 check inter 3000 fall 2 rise 5
    server web2 192.168.7.104:80 weight 1 check inter 3000 fall 2 rise 5
uri

  基于对用户请求的uri做hash并将请求转发到后端指定服务器,也可以通过map-based和consistent定义使用取模法还是一致性hash。
  uri 取模法配置示例:

listen web_host
    bind 192.168.7.101:80,:8801-8810,192.168.7.101:9001-9010
    mode http
    log global
    balance uri
    server web1 192.168.7.103:80 weight 1 check inter 3000 fall 2 rise 5
    server web2 192.168.7.104:80 weight 1 check inter 3000 fall 2 rise 5

  uri 一致性hash配置示例:

listen web_host
    bind 192.168.7.101:80,:8801-8810,192.168.7.101:9001-9010
    mode http
    log global
    balance uri
    hash-type consistent
    server web1 192.168.7.103:80 weight 1 check inter 3000 fall 2 rise 5
    server web2 192.168.7.104:80 weight 1 check inter 3000 fall 2 rise 5
url_param

  url_param对用户请求的url中的 params 部分中的参数name作hash计算,并由服务器总权重相除以后派发至某挑出的服务器;通常用于追踪用户,以确保来自同一个用户的请求始终发往同一个real server

假设url = http://www.example.com/foo/bar/index.php?k1=v1&k2=v2
则:
host = "www.example.com"
url_param = "k1=v1&k2=v2"

  url_param取模法配置示例:

listen web_host
    bind 192.168.7.101:80,:8801-8810,192.168.7.101:9001-9010
    mode http
    log global
    balance url_param name,age #支持对单个及多个url_param 值hash
    server web1 192.168.7.103:80 weight 1 check inter 3000 fall 2 rise 5
    server web2 192.168.7.104:80 weight 1 check inter 3000 fall 2 rise 5

  url_param一致性hash配置示例:

listen web_host
    bind 192.168.7.101:80,:8801-8810,192.168.7.101:9001-9010
    mode http
    log global
    balance url_param name,age #支持对单个及多个url_param 值hash
    hash-type consistent
    server web1 192.168.7.103:80 weight 1 check inter 3000 fall 2 rise 5
    server web2 192.168.7.104:80 weight 1 check inter 3000 fall 2 rise 5
hdr

  针对用户每个http头部(header)请求中的指定信息做hash,此处由 name 指定的http首部将会被取出并做hash计算,然后由服务器总权重相除以后派发至某挑出的服务器,假如无有效的值,则会使用默认的轮询调度。
  hdr取模法配置示例:

listen web_host
    bind 192.168.7.101:80,:8801-8810,192.168.7.101:9001-9010
    mode http
    log global
    balance hdr(User-Agent)
    server web1 192.168.7.103:80 weight 1 check inter 3000 fall 2 rise 5
    server web2 192.168.7.104:80 weight 1 check inter 3000 fall 2 rise 5

一致性hash配置示例:

listen web_host
    bind 192.168.7.101:80,:8801-8810,192.168.7.101:9001-9010
    mode http
    log global
    balance hdr(User-Agent)
    hash-type consistent
    server web1 192.168.7.103:80 weight 1 check inter 3000 fall 2 rise 5
    server web2 192.168.7.104:80 weight 1 check inter 3000 fall 2 rise 5
rdp-cookie

  rdp-cookie对远程桌面的负载,使用cookie保持会话
  rdp-cookie取模法配置示例:

listen RDP
    bind 192.168.7.101:3389
    balance rdp-cookie
    mode tcp
    server rdp0 172.18.132.20:3389 check fall 3 rise 5 inter 2000 weight 1

  rdp-cookie一致性hash配置示例:

listen RDP
    bind 192.168.7.101:3389
    balance rdp-cookie
    hash-type consistent
    mode tcp
    server rdp0 172.18.132.20:3389 check fall 3 rise 5 inter 2000 weight 1

  基于iptables实现:

net.ipv4.ip_forward = 1
# iptables -t nat -A PREROUTING -d 192.168.7.101 -p tcp --dport 3389 -j DNAT --todestination 172.18.139.20:3389
# iptables -t nat -A POSTROUTING -s 192.168.0.0/21 -j SNAT --to-source 192.168.7.101
random

  在1.9版本开始增加一个叫做random的负载平衡算法,其基于一个随机数作为一致性hash的key,随机负载平衡对于大型服务器场或经常添加或删除服务器非常有用,因为它可以避免在这种情况下由roundrobin或leastconn导致的锤击效应。
  random配置实例:

listen web_host
    bind 192.168.7.101:80,:8801-8810,192.168.7.101:9001-9010
    mode http
    log global
    balance random
    server web1 192.168.7.103:80 weight 1 check inter 3000 fall 2 rise 5
    server web2 192.168.7.104:80 weight 1 check inter 3000 fall 2 rise 5
算法总结
static-rr--------->tcp/http 静态
first------------->tcp/http 静态
roundrobin-------->tcp/http 动态
leastconn--------->tcp/http 动态
random------------>tcp/http 动态
source------------>tcp/http
Uri--------------->http
url_param--------->http 取决于hash_type是否consistent
hdr--------------->http
rdp-cookie-------->tcp
first #使用较少
static-rr #做了session共享的web集群
roundrobin
random
leastconn #数据库
source #基于客户端公网IP的会话保持
Uri--------------->http #缓存服务器,CDN服务商,蓝汛、百度、阿里云、腾讯
url_param--------->http
hdr #基于客户端请求报文头部做下一步处理
rdp-cookie #很少使用

  详细可参见官方文档:https://cbonte.github.io/haproxy-dconv/2.0/configuration.html#4

haproxy工作模式

tcp:四层负载

  在四层负载设备中,把client发送的报文目标地址(原来是负载均衡设备的IP地址),根据均衡设备设置的选择web服务器的规则选择对应的web服务器IP地址,这样client就可以直接跟此服务器建立TCP连接并发送数据。

四层工作模式的IP透传:

  haproxy配置中在后端服务器定义中加入关键字send-proxy(注意不要加在check关键字属性的中间了),并重启服务。
  在后端nginx服务器配置中监听端口处也加上协议名proxy_protocol,并修改日志格式,在开头加入变量$proxy_protocol_addr,重启服务后即可在日志中看到访问的源地址。
  send-proxy是haproxy后端设置的关键字,写错会报错,可以用来启用代理协议Proxy protocol。Proxy protocol是HAProxy的作者Willy Tarreau于2010年开发和设计的一个Internet协议,通过为tcp添加一个很小的头信息,来方便的传递客户端信息(协议栈、源IP、目的IP、源端口、目的端口等),在网络情况复杂又需要获取用户真实IP时非常有用。

haproxy 配置:
listen web_prot_http_nodes
    bind 172.18.32.249:80
    mode tcp
    balance roundrobin
    server web1 192.168.32.81:80 send-proxy check inter 3000 fall 3 rise 5

nginx配置:
http {
    log_format  main  '$proxy_protocol_addr  $remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" ';

server {
    listen 80 proxy_protocol; 
    #listen 80;
内核参数优化

  haproxy在做四层负载时,如果要监听bind由keepalived生成的虚拟IP(VIP)时,需要修改内核参数,支持监听非本机IP,否则监听VIP的80端口时会导致haproxy服务无法启动。。
  vim /etc/sysctl.conf

net.ipv4.ip_nonlocal_bind = 1

  如果多网卡,且VIP与后端VIP不在一个网段,还需要加上地址转发参数。

net.ipv4.ip_forward = 1

  然后sysctl -p使配置文件生效。

[root@CentOS8 ~]#sysctl -p
net.ipv4.ip_nonlocal_bind = 1
net.ipv4.ip_forward = 1
[root@CentOS8 ~]#

  当然,也可以将haproxy改为监听0.0.0.0:80,表示监听本机所有网卡的IP的80端口,当keepalived的VIP漂到本机是,自然也可以被haproxy监听,没有时也不影响启动。不过这样的话,haproxy只能对一个项目集群做负载均衡了,而我们实际生产中,都是同时代理多个服务项目集群的转发,需通过bind不同IP的80/443端口来实现,如果直接一个服务bind0.0.0.0:80,占用了所有的80/443端口,显然就没法和其他项目共存了。
  所以我们建议在四层负载工作模式下,不要监听0.0.0.0:80,而是监听指定的VIP。

http:七层代理

  七层负载均衡服务器起了一个反向代理服务器的作用,服务器建立一次TCP连接要三次握手,而client要访问webserver要先与七层负载设备进行三次握手后建立TCP连接,把要访问的报文信息发送给七层负载均衡;然后七层负载均衡再根据设置的均衡规则选择特定的webserver,然后通过三次握手与此台webserver建立TCP连接,然后webserver把需要的数据发送给七层负载均衡设备,负载均衡设备再把数据发送给client;所以,七层负载均衡设备起到了代理服务器的作用。

七层工作模式的IP透传:

  defaults配置中加入选项option forwardfor(四层工作模式下,option forwardfor选项会被忽略[WARNING] : config : 'option forwardfor' ignored for proxy 'web_host' as it requires HTTP mode.,不影响正常运转)

haproxy 配置:
defaults
    option forwardfor
或者:
    option forwardfor header X-Forwarded-xxx #自定义传递IP参数,后端web服务器写X-Forwardedxxx
    #如果写option forwardfor则后端服务器web格式为X-Forwarded-For
listen配置:
listen web_host
    bind 192.168.7.101:80
    mode http
    log global
    balance random
    server web1 192.168.32.81:80 weight 1 check inter 3000 fall 2 rise 5
    server web2 192.168.32.82:80 weight 1 check inter 3000 fall 2 rise 5

  配置web服务器,记录负载均衡透传的客户端IP地址

#apache 配置:
    LogFormat "%{X-Forwarded-For}i %a %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{UserAgent}i\"" combined
#tomcat 配置:
    pattern='%{X-Forwarded-For}i %l %T %t "%r" %s %b "%{UserAgent}i"'/>
#nginx 日志格式:
    http {
        log_format  main  '"$http_x_forwarded_For" - $remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" ';

haproxy功能实现

  初步调整好haproxy的配置文件之后,启动haproxy服务,就已经可以对后端服务器进行代理来实现负载均衡了,不过很多情况下我们需要对后端服务器进行动态操作,例如修改某些主机的负载权重,对某些主机上线或下线等等,而这时,再不影响业务正常访问的情况下,对haproxy动态操作方式一般有两种:在图形界面status状态页下操作,以及使用socat命令行工具通过socket通信。

图形界面

  想实现在status界面拥有修改权限,需在配置文件中加入选项stats admin if TRUE。注意,TRUE要大写,否则服务起不来会报错parsing [/etc/haproxy/haproxy.cfg:52] : error detected while parsing a 'stats admin' rule : no such ACL : 'true'.
  最终如下面所示

listen stats
    mode http
    bind 0.0.0.0:9999
    stats enable
    log global
    stats uri /proxy_status
    stats auth haadmin:hapasswd
    stats admin if TRUE

  这是再刷新status界面,就可以看到界面已经发生了变化
企业级应用:负载均衡层——haproxy(一)_第6张图片企业级应用:负载均衡层——haproxy(一)_第7张图片
  就可以对选择的主机进行操作了。

命令行方式

  这是通过直接与haproxy的socekt通信,socket路径就是配置文件中指定的socket路径了,只支持本地通信。而且这需要借主socat的工具,需要先进行安装socat工具。

yum install socat

  用echo信息的方式通过管道传递给socat工具指定haproxy的socket,就可以发送与接收haproxy的信息了。
查看haproxy工作的详细信息

echo "show info" | socat stdio /var/lib/haproxy/haproxy.sock1

  查看haproxy控制命令

echo "help" | socat stdio /var/lib/haproxy/haproxy.sock1
  help           : this message
  prompt         : toggle interactive mode with prompt
  quit           : disconnect
  show tls-keys [id|*]: show tls keys references or dump tls ticket keys when id specified
  set ssl tls-key [id|keyfile] : set the next TLS key for the  or  listener to 
  show sess [id] : report the list of current sessions or dump this session
  shutdown session : kill a specific session
  shutdown sessions server : kill sessions on a server
  clear counters : clear max statistics counters (add 'all' for all counters)
  show info      : report information about the running process [json|typed]
  show stat      : report counters for each proxy and server [json|typed]
  show schema json : report schema used for stats
  disable agent  : disable agent checks (use 'set server' instead)
  disable health : disable health checks (use 'set server' instead)
  disable server : disable a server for maintenance (use 'set server' instead)
  enable agent   : enable agent checks (use 'set server' instead)
  enable health  : enable health checks (use 'set server' instead)
  enable server  : enable a disabled server (use 'set server' instead)
  set maxconn server : change a server's maxconn setting
  set server     : change a server's state, weight or address
  get weight     : report a server's current weight
  set weight     : change a server's weight (deprecated)
  show resolvers [id]: dumps counters from all resolvers section and associated name servers
  clear table    : remove an entry from a table
  set table [id] : update or create a table entry's data
  show table [id]: report table usage stats or dump this table's contents
  show peers [peers section]: dump some information about all the peers or this peers section
  disable frontend : temporarily disable specific frontend
  enable frontend : re-enable specific frontend
  set maxconn frontend : change a frontend's maxconn setting
  show servers state [id]: dump volatile server information (for backend )
  show backend   : list backends in the current running config
  shutdown frontend : stop a specific frontend
  set dynamic-cookie-key backend : change a backend secret key for dynamic cookies
  enable dynamic-cookie backend : enable dynamic cookies on a specific backend
  disable dynamic-cookie backend : disable dynamic cookies on a specific backend
  show errors    : report last request and response errors for each proxy
  set maxconn global : change the per-process maxconn setting
  set rate-limit : change a rate limiting value
  set severity-output [none|number|string] : set presence of severity level in feedback information
  set timeout    : change a timeout setting
  show env [var] : dump environment variables known to the process
  show cli sockets : dump list of cli sockets
  show cli level   : display the level of the current CLI session
  show fd [num] : dump list of file descriptors in use
  show activity : show per-thread activity stats (for support/developers)
  operator       : lower the level of the current CLI session to operator
  user           : lower the level of the current CLI session to user
  show startup-logs : report logs emitted during HAProxy startup
  show cache     : show cache status
  add acl        : add acl entry
  clear acl  : clear the content of this acl
  del acl        : delete acl entry
  get acl        : report the patterns matching a sample for an ACL
  show acl [id]  : report available acls or dump an acl's contents
  add map        : add map entry
  clear map  : clear the content of this map
  del map        : delete map entry
  get map        : report the keys and values matching a sample for a map
  set map        : modify map entry
  show map [id]  : report available maps or dump a map's contents
  show pools     : report information about the memory pools usage
  show profiling : show CPU profiling options
  set  profiling : enable/disable CPU profiling
  show threads   : show some threads debugging information

  查看线程1工作下的web_host集群中web1主机的权重

[root@CentOS8 ~]#echo "get weight web_host/web1" | socat stdio /var/lib/haproxy/haproxy.sock1
1 (initial 1)

[root@CentOS8 ~]#

  设置线程2工作下的web_host集群中web1主机的权重为2。设置时,不回应信息,说明设置成功。

[root@CentOS8 ~]#echo "set weight web_host/web1 2" | socat stdio /var/lib/haproxy/haproxy.sock2

[root@CentOS8 ~]#

  需要注意的一点就是,多线程工作模式下,每个线程是独立的,设置1线程的权重,在其他线程上并不生效。这就意味着,如果想将某个服务器下线的话,需要在每个线程上都分别下线,上线是,也需要在每个线程中enable server。可以用脚本写一个循环来实现。

你可能感兴趣的:(总结整理,linux进阶,HAProxy,企业级应用,负载均衡,高可用,nginx)