20171101 HAProxy

• HAProxy简介
• HAProxy配置
• ACL配置
• TCP转发
• SSL转发

一、HAProxy简介：

（一）HAProxy的主要功能

• http反向代理
• tcp转发
• 负载均衡，健康性检查
• 双向修改、添加、删除http报文首部

（二）程序环境

主程序：/usr/sbin/haproxy
配置文件：/etc/haproxy/haproxy.cfg
Unit file：/usr/lib/systemd/system/haproxy.service

（三）配置文件结构

（1）global：全局配置段

• 进程及安全配置相关的参数
• 性能调整相关参数
• Debug参数

（2）proxies：代理配置段

• defaults：为frontend, backend, listen提供默认配置
• fronted：前端，相当于nginx的server {}
• backend：后端，相当于nginx的upstream {}
• listen：同时拥有前端和后端，适用于一对一环境，不建议使用

二、HAProxy配置：

（一）global全局配置

（1）进程及安全管理：chroot, deamon, user, group, uid, gid

• nbproc
  要启动的haproxy的进程数量（建议小于等于CPU核心数），系统默认单进程，要求使用daemon模式

• ulimit-n
  每个haproxy进程可打开的最大文件数，系统自动会指定，不建议设置

• daemon
  后端方式运行，建议使用

• log

  [len] [max level [min level]]
  定义全局的syslog服务器；最多可以定义两个
  address：rsyslog服务器地址
  len：记录日志的长度，默认1024

• 实验1：实现haproxy轮询模式的http反向代理并且将日志信息记录在远程主机（192.168.136.133）上
  实验环境：
  haproxy服务器IP：192.168.136.230
  后端RS1的IP：192.168.136.229
  后端RS2的IP：192.168.136.129

// 1. 配置haproxy
vim /etc/haproxy/haproxy.cfg
// global配置段下，日志设置
log         192.168.136.133 local2 
// proxies配置段下，反向代理设置
frontend web 172.18.58.230:80
        default_backend webservs
backend webservs
        balance roundrobin
        server websrv1 192.168.136.229:80 check
        server websrv2 192.168.136.129:80 check
systemctl restart haproxy

// 2. 配置RS
echo RS1 homepage > /var/www/http/index.html     // RS1上操作
echo RS2 homepage > /var/www/http/index.html     // RS2上操作
service httpd start

// 3. 配置日志记录主机
vim /etc/rsyslog.conf
// 打开UDP 514端口监听
$ModLoad imudp
$UDPServerRun 514
// 设置日志存放目录
local2.*                                                /var/log/haproxy.log
systemctl restart rsyslog

测试结果显示反向代理成功运行，日志成功生成

（2）日志系统

• 三种格式：
  log global：使用global设置
  log

  [len] [ []]：具体设置
  no log：不记录日志
  log-format ：设置日志格式

• 将特定信息记录在日志中

  • capture cookie len
    捕获请求和响应报文中的cookie并记录日志
  • capture request header len
    捕获请求报文中指定的首部并记录日志
    e.g. capture request header X-Forwarded-For len15
  • capture response header len
    捕获响应报文中指定的首部并记录日志
    e.g. capture response header Content-length len 9

• 性能调整：

  • maxconn
    设定每个haproxy进程所能接受的最大并发连接数
  • maxconnrate
    设置每个进程每秒种所能建立的最大连接数量
  • maxsessrate
    设置每个进程每秒种所能建立的最大会话数量
  • maxsslconn
    每进程支持SSL的最大连接数量
  • spread-checks <0..50, in percent>
    健康检测延迟时长比，建议2-5之间

（二）proxies 代理配置

• 代理配置部分结构
  defaults段：默认设置
  frontend段：指定接收客户端连接侦听套接字设置
  backend段：指定将连接请求转发至后端服务器的相关设置
  listen段：指定完整的前后端设置，只对TCP 有效

（1） bind：指定一个或多个前端侦听地址和端口

• 语法：bind [
  ]: [, ...] [param*]
• 使用的段范围：frontend, listen

（2）balance：后端服务器组内的服务器调度算法

• 语法：
  balance [ ]
  balance url_param [check_post]

• 使用的段范围：defaults, listen, backend

• 调度算法：

  • roundrobin
    基于权重轮询，动态算法，支持权重的运行时调整，支持慢启动；每个后端backend中最多支持4095个server
    server options: weight #
  • static-rr
    基于权重轮询，静态算法，不支持权重的运行时调整及慢启动；后端主机数量无上限
  • leastconn
    加权最少连接，动态算法，最少连接的后端服务器优先分配接收新连接，相同连接时轮询，推荐在较长会话的场景使用，例如MySQL、LDAP等，不适合http
  • first
    根据服务器在列表中的位置，自上而下进行调度；前面服务器的连接数达到上限，新请求才会分配给下一台服务，很少使用
  • source
    源地址hash，新连接先按权重分配，后续连接按source分配请求；调度的粒度过粗，不推荐使用
  • uri
    对URI的左半部分或整个uri做hash计算，并除以服务器总权重取模，以后派发至某挑出的服务器，适用于后端缓存服务器
    ://:@:/;?#
    左半部分：/;
    整个uri：/;?#
  • url_param
    对用户请求的uri中的部分中的参数的值作hash计算，并由服务器总权重相除以后派发至某挑出的服务器；通常用于追踪用户，以确保来自同一个用户的请求始终发往同一个backend server
  • hdr ()
    对于每个http请求，此处由指定的http首部将会被取出做hash计算；并由服务器总权重相除以后派发至某挑出的服务器；无有效值的会被轮询调度
    e.g. hdr (Cookie)
  • rdp-cookie 远程桌面相关
    rdp-cookie ()

（3）hash-type：哈希算法

• 语法：hash-type

• 使用的段范围：defaults, listen, backend

• method
  map-based：除权取余法，哈希数据结构是静态数组
  consistent：一致性哈希，哈希数据结构是一棵树

• : 哈希函数
  sdbm, djb2, wt6

（4）default_backend

• 使用的段范围：defaults, frontend, listen

• 无use_backend匹配时，使用默认的backend，用于frontend中

（5）default-server [param*]

• 使用的段范围：defaults, listen, backend

• 为backend中的各server设定默认选项

（6）server：定义后端主机的各服务器及其选项

• 使用的段范围：listen, backend

• 语法：server

  [:[port]] [param*]

  • ：服务器在haproxy上的内部名称；出现在日志及警告信息
  • ：服务器地址，支持使用主机名
  • [:[port]]：端口映射；省略时，表示同bind中绑定的端口
  • [param*]：参数
    weight ：权重，默认为1
    maxconn ：当前后端server的最大并发连接数
    backlog ：当server的连接数达到上限后的后援队列长度
    backup：设定当前server为备用服务器Sorry Server
    disabled：标记为不可用
    redir ：将发往此server的所有GET和HEAD类的请求重定向至指定的URL

• check：server参数，对当前server做健康状态检测，只用于四层检测
  注意：httpchk, smtpchk, mysql-check, pgsql-check, ssl-hello-chk 用于定义应用层检测方法
  addr：检测时使用的IP地址
  port ：针对此端口进行检测
  inter ：检测之间的时间间隔，默认为2000ms
  rise ：连续多少次检测结果为“成功”才标记服务器为可用；默认为2
  fall ：连续多少次检测结果为“失败”才标记服务器为不可用；默认为3

• cookie ：为当前server指定cookie值，实现基于cookie的会话黏性

• 语法：
  cookie [ rewrite | insert | prefix ] [ indirect ] [ nocache] [ postonly] [ preserve ] [ httponly] [ secure ] [ domain ]* [ maxidle ] [ maxlife ]
  ：cookie名称，用于实现持久连接
  rewrite：重写
  insert：插入
  prefix：前缀

• 实验2：在实验1的基础上，实现
  （1）调度算法为加权轮询，权重RS1:RS2=3:2，RS1和RS2的最大并发连接分别为5000, 3000，默认健康监测间隔3000ms
  （2）在后端RS全部不能提供服务时，haproxy服务器本机充当sorry server

// haproxy服务器上安装httpd服务，并配置
yum -y install httpd
vim /etc/httpd/conf/httpd.conf
Listen 8001     // haproxy监听80端口，故sorry server服务需要通过其他端口提供服务
echo sorry page > /var/www/html/index.html
systemctl start httpd

// haproxy服务器上修改haproxy配置
vim /etc/haproxy/haproxy.cfg
frontend web 172.18.58.230:80
        default_backend webservs
backend webservs
        default-server inter 3000 weight 2     // 默认server的健康监测间隔3000ms，权重2
        balance roundrobin
        server websrv1 192.168.136.229:80 weight 3 maxconn 5000 check
        server websrv2 192.168.136.129:80 maxconn 3000 check
        server sorrysrv 192.168.136.230:8001 backup
systemctl restart haproxy

// 测试
for i in {1..10}; do curl 172.18.58.230; done

确实按照设置的权重转发

关闭RS1和RS2的httpd服务后，转至sorry server

• 实验3：在实验2的基础上，实现基于cookie的会话绑定

// haproxy服务器上修改haproxy配置
vim /etc/haproxy/haproxy.cfg
frontend web 172.18.58.230:80
        default_backend webservs
backend webservs
        default-server inter 3000 weight 2
        cookie WEBSRV insert nocache     // 响应报文添加cookie，不进行缓存
        balance roundrobin
        server websrv1 192.168.136.229:80 weight 3 maxconn 5000 check cookie srv1
        server websrv2 192.168.136.129:80 maxconn 3000 check cookie srv2
        server sorrysrv 192.168.136.230:8001 backup
systemctl restart haproxy
// 测试
curl -I 172.18.58.230
curl -b WEBSRV=srv1 172.18.58.230
curl -b WEBSRV=srv2 172.18.58.230

第一次登录后的响应报文中包含了cookie信息

curl命令指定不同的cookie信息，会被转发至指定的RS

浏览器会在之后的请求报文中包含第一次响应报文中的cookie信息，从而实现转发绑定

（三）统计接口启用相关参数

• 使用的段范围：defaults, frontend, listen, backend

• stats enable
  启用统计页；基于默认的参数启用stats page

• stats uri
  自定义stats page uri,默认为/haproxy?statsuri

• stats auth:
  认证时的账号和密码，可使用多次

• stats realm
  认证时的realm

• stats hide-version
  隐藏版本

• stats refresh
  设定自动刷新时间间隔

• stats admin { if | unless }
  启用stats page中的管理功能

• 实验4：实现通过浏览器页面查看haproxy统计信息，具体要求如下：
  （1）通过内网192.168.136.230:8888访问
  （2）uri为/hastats
  （3）账户认证，提示信息"haproxy auth"，账户：hatest1，密码：centos
  （4）统计信息页面隐藏版本信息
  （5）自动隔5s刷新一次
  （6）启用统计页面的管理功能

vim /etc/haproxy/haproxy.cfg
listen hastats
        bind 192.168.136.230:8888
        stats enable
        stats uri /hastats
        stats auth hatest1:centos
        stats realm "haproxy auth"
        stats hide-version
        stats refresh 5
        stats admin if TRUE
systemctl restart haproxy
浏览器登录http://192.168.136.230:8888/hastats

（四）maxconn

• 为指定的frontend定义其最大并发连接数；默认为3000

• 使用的段范围：defaults, backend, listen

（五）mode { tcp | http | health}

• 定义haproxy的工作模式

• 使用的段范围：defaults, backend, listen
  tcp：基于layer4实现代理；可代理mysql, pgsql, ssh, ssl, https等协议，默认模式
  http：仅当代理协议为http时使用，centos实际默认模式
  health：工作为健康状态检查的响应模式，当连接请求到达时回应“OK”后即断开连接，较少使用

（六）options httpchk

• 对后端服务器做http协议健康状态检测：通常用于backend
• 语法：
  option httpchk
  option httpchk
  option httpchk
  option httpchk

（七）options forwardfor

• 语法：
  option forwardfor [ except ] [ header ] [ if-none ]

• 在由haproxy发往后端主机的请求报文中添加“X-Forwarded-For”首部，其值为前端客户端的地址；用于向后端主发送真实的客户端IP
  [ except ]：请求报请来自此处指定的网络时不予添加此首部，如haproxy自身所在网络
  [ header ]：使用自定义的首部名称，而非“X-Forwarded-For”
  [ if-none ]：如果没有首部才添加首部，如果有使用默认值

• 实验5：实现后端RS1的日志记录中源iP为真实客户端IP而非LB的iP

// 配置haproxy
vim /etc/haproxy/haproxy.cfg
option forwardfor       except 127.0.0.0/8    // 此行在defaults语句段已经存在
// 配置httpd
vim /etc/httpd/conf/httpd.conf
LogFormat "%{X-Forwarded-For}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
CustomLog logs/access_log combined
service httpd restart

查看/var/log/httpd/access_log，可以看到httpd服务重启前后的日志记录格式的不同。之前日志记录的源IP为LB在内网的IP，修改配置后的日志记录的源IP为真实发起连接的客户端IP地址。

（八）为指定的MIME类型启用压缩传输功能

• compression algo ...
  启用http协议的压缩机制，指明压缩算法gzip, deflate
• compression type ...
  指明压缩的MIME类型

（九）errorfile, errorloc 自定义错误页

• 语法：errorfile
：HTTP status code
支持200, 400, 403, 408, 500, 502, 503, 504.
：错误页文件路径

• 语法：errorloc
相当于errorloc302 ，利用302重定向至指定URL

（十）修改报文首部

• 在请求报文尾部添加指定首部
  reqadd [{if | unless} ]

• 在响应报文尾部添加指定首部
  rspadd [{if | unless} ]

• 从请求报文中删除匹配正则表达式的首部
  reqdel

  [{if | unless} ]
  reqidel [{if | unless} ] 不分大小写

• 从响应报文中删除匹配正则表达式的首部
  rspdel

  [{if | unless} ]
  rspidel [{if | unless} ] 不分大小写

• 实验6：实现在请求报文添加指定首部"X-via"，在响应报文中添加指定首部"Y-via"，在响应报文中删除服务器程序信息

// 配置haproxy服务
vim /etc/haproxy/haproxy.cfg
// 在frontend, listen, backend段中均可以设置
reqadd x-via:\ host_node1
rspadd y-via:\ host_node2
rspdel Server
systemctl restart haproxy

// 配置RS的httpd服务
vim /etc/httpd/conf/httpd.conf
LogFormat "%{X-Forwarded-For}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" \"%{x-via}i\"" combined
CustomLog logs/access_log combined
service httpd restart

// 测试
tail -f /var/log/httpd/access_log     // RS端执行
curl -I 172.18.58.230                 // 客户端执行

日志文件中显示了添加的请求报文信息

响应报文中显示添加的信息，并且服务器程序信息被删除

（十一）连接超时

• timeout client
  客户端最长空闲连接超时时长，默认单位是毫秒

• timeout server
  后端服务器最长空闲连接超时时长

• timeout http-keep-alive
  持久连接的持久时长

• timeout http-request
  一次完整的HTTP请求的最大等待时长

• timeout connect
  成功连接后端服务器的最大等待时长

• timeout client-fin
  客户端半连接的空闲时长

• timeout server-fin
  后端服务器半连接的空闲时长

三、ACL配置：

• 访问控制列表（ACL）提供了一个灵活的解决方案来执行内容交换，通常基于从请求中提取的内容、响应或任何环境状态进行决策

• 定义acl的语法：
  acl [flags] [operator] [] ...

  • aclname：ACL名称，区分字符大小写
  • criterion：比较的标准和条件

（一） value的类型：

• boolean
• integer or integer range
• IP address / network
• string (exact, substring, suffix, prefix, subdir, domain)
• regular expression
• hex block

（二） flags的选项

• -i：不区分大小写
• -m：使用指定的pattern匹配方法
• -n：不做DNS解析
• -u：强制每个ACL必须唯一ID，否则多个同名ACL或关系
• --：强制flag结束. 当字符串和某个flag相似时使用

（三）operator

• 匹配整数值：eq、ge、gt、le、lt

• 匹配字符串：
  -exact match (-m str)
  字符串必须完全匹配模式
  -substring match (-m sub)
  在提取的字符串中查找模式，如果其中任何一个被发现，ACL将匹配
  -prefix match (-m beg)
  在提取的字符串首部中查找模式，如果其中任何一个被发现，ACL将匹配
  -suffix match (-m end)
  将模式与提取字符串的尾部进行比较，如果其中任何一个匹配，则ACL进行匹配
  -subdir match (-m dir)
  查看提取出来的用斜线分隔（“/”）的字符串，如果其中任何一个匹配，则ACL进行匹配
  -domain match (-m dom)
  查找提取的用点（“.”）分隔字符串，如果其中任何一个匹配，则ACL进行匹配

（四）criterion

• 条件
  dst：目标IP
  dst_port：目标PORT
  src：源IP
  src_port：源PORT

• 逻辑关系
  与：隐式（默认）使用
  或：使用“or” 或“||”表示
  否定：使用“!” 表示

（五）base string

• 匹配范围：第一个主机头和请求的路径部分的连接（@:/;），该请求从第一个斜杠开始，并在问号之前结束,对虚拟主机有用

• 匹配的操作符
  base : exact string match
  base_beg : prefix match
  base_dir : subdir match
  base_dom : domain match
  base_end : suffix match
  base_len : length match
  base_reg : regex match
  base_sub : substring match

（六）path string

• 匹配范围：提取请求的URL路径，该路径从第一个斜杠开始，并在问号之前结束（/;），无主机部分

• 匹配的操作符
  path : exact string match
  path_beg : prefix match
  path_dir : subdir match
  path_dom : domain match
  path_end : suffix match
  path_len : length match
  path_reg : regex match
  path_sub : substring match

（七）url string

• 匹配范围：
  提取请求中的URL。一个典型的应用是具有预取能力的缓存，以及需要从数据库聚合多个信息并将它们保存在缓存中的网页门户入口

• 匹配的操作符
  url：exact string match
  url_beg：prefix match
  url_dir：subdir match
  url_dom：domain match
  url_end：suffix match
  url_len：length match
  url_reg：regex match
  url_sub：substring match

（八）hdr string

• 匹配范围：提取在一个HTTP请求报文的首部

• 匹配的操作符
  hdr([[,]]) : exact string match
  hdr_beg([[,]]) : prefix match
  hdr_dir([[,]]) : subdir match
  hdr_dom([[,]]) : domain match
  hdr_end([[,]]) : suffix match
  hdr_len([[,]]) : length match
  hdr_reg([[,]]) : regex match
  hdr_sub([[,]]) : substring match

（九） status : integer

• 返回在响应报文中的状态码

（十）预定义ACL

• TRUE：总是匹配
• FALSE：从不匹配
• HTTP：匹配HTTP协议
• LOCALHOST：匹配从localhost来的连接
• METH_CONNECT：匹配http connect 方法

（十一）ACL的使用

• use_backend [{if | unless} ]
  当基于ACL的条件匹配时切换指定backend

• block { if | unless }
  阻止匹配ACL条件的7层请求

• http-request { allow | deny | add-header |set-header } [ { if | unless } ]
  对7层请求的访问控制

• 实验7：实现基于haproxy的动静资源调度分离
  实验要求：haproxy服务器(ip: 192.168.136.230)将静态资源调度至RS1(ip: 192.168.136.229)，将其他类型的资源调度至RS2(ip: 192.168.136.129)和RS3(ip: 192.168.136.130)

// 配置haproxy
vim /etc/haproxy/haproxy.cfg
frontend web 172.18.58.230:80
        acl url_static path_beg -i /images /javascript /static /stylesheets
        acl url_static path_end -i .jpg .jpeg .png .gif .html .htm .js .css .txt
        use_backend staticsrvs if url_static
        default_backend appsrvs
backend staticsrvs
        balance roundrobin
        server websrv1 192.168.136.229:80 check
backend appsrvs
        balance roundrobin
        server websrv2 192.168.136.129:80 check
        server websrv3 192.168.136.130:80 check
systemctl restart haproxy

// 配置RS1
mkdir /var/www/html/images
cp /usr/share/backgrounds/nature/FreshFlower.jpg /var/www/html/images/a.jpg
echo RS1 page > /var/www/html/index.html
yum -y install php
vim /var/www/html/index.php
node 1

service httpd restart

// 配置RS2
mkdir /var/www/html/images
cp /usr/share/backgrounds/nature/Wood.jpg /var/www/html/images/a.jpg
echo RS2 page > /var/www/html/index.html
yum -y install php
vim /var/www/html/index.php
node 2

service httpd restart

// 配置RS3
mkdir /var/www/html/images
cp /usr/share/backgrounds/night.jpg /var/www/html/images/a.jpg
echo RS3 page > /var/www/html/index.html
yum -y install php
vim /var/www/html/index.php
node 3

systemctl restart httpd

测试：在浏览器上测试，当输入http://172.18.58.230/images/a.jpg，无论如何强制刷新都是显示RS1的鲜花照片；证明jpg静态文件转发至RS1

当输入http://172.18.58.230/index.html，无论如何强制刷新都是输出RS1的网页信息"RS1 page"；证明html静态文件转发至RS1

当输入http://172.18.58.230/index.php，多次刷新交替出现RS2和RS3上的php文件信息；证明php动态文件转发至RS2和RS3

查看RS1的httpd日志文件，全部请求都是jpg文件和html文件，进一步证实其接受调度过来的全部是静态文件

查看RS2和RS3的httpd日志文件，全部请求都是phpl文件，进一步证实其接受调度过来的全部是动态文件

四、TCP转发：

• tcp转发与http转发语法相似，但是需要在frontend, listen, backend中声明为TCP模式：
  mode tcp

• 实验8：实现mysql转发

// 配置RS的mysql服务
yum -y install mysql-server
service mysqld start
mysql_secure_installation
mysql -uroot -pmagedu
mysql> create user test@'192.168.136.%' identified by 'centos';

// 配置haproxy
frontend mysql
        bind 172.18.58.230:3306
        mode tcp
        default_backend mysqlsrvs
backend mysqlsrvs
        mode tcp
        balance roundrobin
        server mysqlsrv1 192.168.136.229:3306 check
        server mysqlsrv2 192.168.136.129:3306 check
systemctl restart haproxy

// 测试
yum -y install mariadb
mysql -utest -pcentos -h172.18.58.230
MySQL [(none)]> show variables like 'hostname';

通过查询数据库的hostname变量名，确认转发成功

五、SSL转发：

• 支持ssl会话
  bind *:443 ssl crt /PATH/TO/SOME_PEM_FILE
  crt后证书文件为PEM格式，且同时包含证书和所有私钥
  合并证书和私钥文件：
  cat demo.crt demo.key > demo.pem

• 把80端口的请求重定向至443
  bind *:80
  redirect scheme https if !{ ssl_fc }

• 向后端传递用户请求的协议和端口（frontend或backend）
  http-request set-header X-Forwarded-Port %[dst_port]
  http-request add-header X-Forwarded-Proto https if { ssl_fc }

• 实验9：配置HAProxy支持https协议，实现自动将http连接跳转至https
  考虑到性能问题，https连接转发到内网后采用http连接

// 配置haproxy
cd /etc/pki/tls/certs/
make /etc/haproxy/haproxy.pem     // 生成密钥和证书文件
vim /etc/haproxy/haproxy.cfg
frontend http
        bind 172.18.58.230:80
        bind 172.18.58.230:443 ssl crt /etc/haproxy/haproxy.pem
        redirect scheme https if !{ ssl_fc }     // 设置http连接自动跳转
        http-request set-header X-Forwarded-Port %[dst_port]             // 请求报文传递端口信息
        http-request add-header X-forwarded-Proto https if { ssl_fc }    // 请求报文传递协议信息
        default_backend httpsrvs
backend httpsrvs
        balance roundrobin
        server httpsrv1 192.168.136.229:80 check
        server httpsrv2 192.168.136.129:80 check
systemctl restart haproxy

// 配置RS
echo RS1 page > /var/www/html/index.html      // RS1上设置
echo RS2 page > /var/www/html/index.html      // RS2上设置
vim /etc/httpd/conf/httpd.conf
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" \"%{X-Forwarded-Port}i\" \"%{X-Forwarded-Proto}i\"" combined
CustomLog logs/access_log combined
service httpd restart

// 测试
curl -k https://172.18.58.230        // 客户端测试https连接转发情况
curl -kL http://172.18.58.230        // 客户端测试http连接是否成功跳转https
tail -f /var/log/httpd/access_log    // RS上查看日志是否收到传递的客户端请求协议和端口信息

https连接转发成功

http连接自动跳转为https连接，并且转发成功

日志信息中显示了客户端请求的端口号和协议信息