负载均衡服务搭建-HAProxy

本文介绍 HAProxy 在 TiDB 中的最佳配置和使用方法。HAProxy 提供 TCP 协议下的负载均衡能力，TiDB 客户端通过连接 HAProxy 提供的浮动 IP 即可对数据进行操作，实现 TiDB Server 层的负载均衡。

一、基本环境

1.1 此次负载均衡依赖于内部TiDB环境如下：

1.2 HAProxy准备环境

​ 为了使负载均衡发挥最大的性能，我们不建议将HAProxy装在TiDB集群的任意一台机器中。本次将HAProxy装在 10.3.69.22 虚拟机中。

​ 最低配置要求：

硬件资源	最低配置
CPU	2 核，3.5 GHz
内存	16 GB
存储容量	50 GB（SATA 盘）
网卡	万兆网卡

依赖包

• epel-release
• gcc
• systemd-devel

执行如下命令安装依赖包：

yum -y install epel-release gcc systemd-devel

二、部署 HAProxy

2.1 安装与验证

# 安装
yum -y install haproxy

# 验证
which haproxy

#输出：/usr/sbin/haproxy

2.2 配置 HAProxy

找到/etc/haproxy/haproxy.cfg文件

global                                     # 全局配置。
   log         127.0.0.1 local0 info       # 定义全局的 syslog 服务器，最多可以定义两个。
   chroot      /var/lib/haproxy            # 更改当前目录并为启动进程设置超级用户权限，从而提高安全性。
   pidfile     /var/run/haproxy.pid        # 将 HAProxy 进程的 PID 写入 pidfile。
   maxconn     4000                        # 每个 HAProxy 进程所接受的最大并发连接数。
   user        haproxy                     # 同 UID 参数。
   group       haproxy                     # 同 GID 参数，建议使用专用用户组。
   nbproc      40                          # 在后台运行时创建的进程数。在启动多个进程转发请求时，确保该值足够大，保证 HAProxy 不会成为瓶颈。
   daemon                                  # 让 HAProxy 以守护进程的方式工作于后台，等同于命令行参数“-D”的功能。当然，也可以在命令行中用“-db”参数将其禁用。
   stats bind-process 1
   stats socket /var/lib/haproxy/stats     # 统计信息保存位置。

defaults                                   # 默认配置。
   log global                              # 日志继承全局配置段的设置。
   retries 2                               # 向上游服务器尝试连接的最大次数，超过此值便认为后端服务器不可用。
   timeout connect  2s                     # HAProxy 与后端服务器连接超时时间。如果在同一个局域网内，可设置成较短的时间。
   timeout client 30000s                   # 客户端与 HAProxy 连接后，数据传输完毕，即非活动连接的超时时间。
   timeout server 30000s                   # 服务器端非活动连接的超时时间。

listen admin_stats                         # frontend 和 backend 的组合体，此监控组的名称可按需进行自定义。
   bind-process 1
   bind 0.0.0.0:8080                       # 监听端口。
   mode http                               # 监控运行的模式，此处为 `http` 模式。
   option httplog                          # 开始启用记录 HTTP 请求的日志功能。
   maxconn 10                              # 最大并发连接数。
   stats enable				   			   # 实用性待验证
   stats refresh 30s                       # 每隔 30 秒自动刷新监控页面。
   stats uri /haproxy                      # 监控页面的 URL。
   stats realm HAProxy                     # 监控页面的提示信息。
   stats auth admin:pingcap123             # 监控页面的用户和密码，可设置多个用户名。
   stats hide-version                      # 隐藏监控页面上的 HAProxy 版本信息。
   stats  admin if TRUE                    # 手工启用或禁用后端服务器（HAProxy 1.4.9 及之后版本开始支持）。

listen tidb-cluster                        # 配置 database 负载均衡。
   bind 0.0.0.0:3390                       # 浮动 IP 和 监听端口。
   mode tcp                                # HAProxy 要使用第 4 层的传输层。
   balance leastconn                       # 连接数最少的服务器优先接收连接。`leastconn` 建议用于长会话服务，例如 LDAP、SQL、TSE 等，而不是短会话协议，如 HTTP。该算法是动态的，对于启动慢的服务器，服务器权重会在运行中作调整。
   # 检测 4000 端口，检测频率为每 2000 毫秒一次。如果 2 次检测为成功，则认为服务器可用；如果 3 次检测为失败，则认为服务器不可用。
   server tidb-24 10.3.69.24:4200 check inter 2000 rise 2 fall 3       
   server tidb-25 10.3.69.25:4200 check inter 2000 rise 2 fall 3
   server tidb-86 10.3.69.86:4200 check inter 2000 rise 2 fall 3

2.3 Haproxy 开启日志记录

安装部署完Haproxy之后，默认是没有开启日志记录的，需要相应的手工配置使其日志功能开启。

1. 创建日志文件夹：

mkdir /var/log/haproxy

chmod a+x /var/log/haproxy

2. 开启rsyslog记录haproxy日志功能

   修改 /etc/rsyslog.conf

# Provides UDP syslog reception

$ModLoad imudp       # 开启imudp

$UDPServerRun 514	 # 开启514 UDP监听

local0.* /var/log/haproxy/haproxy.log   # 指定日志存放点

3. 修改 /etc/sysconfig/rsyslog

   添加以下内容：

# Options for rsyslogd

# Syslogd options are deprecated since rsyslog v3.

# If you want to use them, switch to compatibility mode 2 by "-c 2"

# See rsyslogd(8) for more details

SYSLOGD_OPTIONS="-r -m 0 -c 2"

日志记录文件的位置：/var/log/haproxy/haproxy.log

2.4 启动 HAProxy

方法一：执行 haproxy，默认读取 /etc/haproxy/haproxy.cfg（推荐）。

haproxy -f /etc/haproxy/haproxy.cfg

方法二：使用 systemd 启动 HAProxy。

systemctl start haproxy.service

2.4 停止 HAProxy

方法一：使用 kill -9。

ps -ef | grep haproxy

kill -9 ${haproxy.pid}

方法二：使用 systemd。

systemctl stop haproxy.service

**注意：**HAProxy由于开启了多个线程容易导致服务重启命令不完全执行，建议reboot重启系统后再次启动HAProxy