HAProxy+Keepalived实现tidb-server(v4.0.8)的负载均衡及高可用

一、概述

目前按官方指引部署的TiDB 集群,其中的TiDB-server组件并不具备负载均衡及高可用特性。因此可采取比较流行的第三方中间件HAProxy+keepalived来解决这个问题。


二、节点信息

HAProxy+Keepalived实现tidb-server(v4.0.8)的负载均衡及高可用_第1张图片
节点信息


三、HAProxy简介及部署(引自TiDB官网)

HAProxy 提供 TCP 协议下的负载均衡能力,TiDB 客户端通过连接 HAProxy 提供的浮动 IP 即可对数据进行操作,实现 TiDB Server 层的负载均衡。

HAProxy+Keepalived实现tidb-server(v4.0.8)的负载均衡及高可用_第2张图片
拓扑结构

HAProxy 简介

HAProxy 是由 C 语言编写的自由开放源码的软件,为基于 TCP 和 HTTP 协议的应用程序提供高可用性、负载均衡和代理服务。因为 HAProxy 能够快速、高效使用 CPU 和内存,所以目前使用非常广泛,许多知名网站诸如 GitHub、Bitbucket、Stack Overflow、Reddit、Tumblr、Twitter 和 Tuenti 以及亚马逊网络服务系统都在使用 HAProxy。

HAProxy 由 Linux 内核的核心贡献者 Willy Tarreau 于 2000 年编写,他现在仍然负责该项目的维护,并在开源社区免费提供版本迭代。最新的稳定版本 2.0.0 于 2019 年 8 月 16 日发布,带来更多优秀的特性。

HAProxy 部分核心功能介绍

高可用性:HAProxy 提供优雅关闭服务和无缝切换的高可用功能;

负载均衡:L4 (TCP) 和 L7 (HTTP) 两种负载均衡模式,至少 9 类均衡算法,比如 roundrobin,leastconn,random 等;

健康检查:对 HAProxy 配置的 HTTP 或者 TCP 模式状态进行检查;

会话保持:在应用程序没有提供会话保持功能的情况下,HAProxy 可以提供该项功能;

SSL:支持 HTTPS 通信和解析;

监控与统计:通过 web 页面可以实时监控服务状态以及具体的流量信息。

部署 HAProxy

HAProxy 配置 Database 负载均衡场景操作简单,以下部署操作具有普遍性,不具有特殊性,建议根据实际场景,个性化配置相关的配置文件。

安装依赖包

yum -y install epel-release gcc systemd-devel

安装 HAProxy

使用 yum 安装 HAProxy:

yum -y install haproxy

验证 HAProxy 安装是否成功:

which haproxy

/usr/sbin/haproxy

HAProxy 命令介绍

执行如下命令查看命令行参数及基本用法:

haproxy --help

配置 HAProxy

yum 安装过程中会生成配置模版,你也可以根据实际场景自定义配置如下配置项。

global                                    # 全局配置。

  log        127.0.0.1 local2            # 定义全局的 syslog 服务器,最多可以定义两个。

  chroot      /var/lib/haproxy            # 更改当前目录并为启动进程设置超级用户权限,从而提高安全性。

  pidfile    /var/run/haproxy.pid        # 将 HAProxy 进程的 PID 写入 pidfile。

  maxconn    4000                        # 每个 HAProxy 进程所接受的最大并发连接数。

  user        haproxy                    # 同 UID 参数。

  group      haproxy                    # 同 GID 参数,建议使用专用用户组。

  nbproc      40                          # 在后台运行时创建的进程数。在启动多个进程转发请求时,确保该值足够大,保证 HAProxy 不会成为瓶颈。

  daemon                                  # 让 HAProxy 以守护进程的方式工作于后台,等同于命令行参数“-D”的功能。当然,也可以在命令行中用“-db”参数将其禁用。

  stats socket /var/lib/haproxy/stats    # 统计信息保存位置。

defaults                                  # 默认配置。

  log global                              # 日志继承全局配置段的设置。

  retries 2                              # 向上游服务器尝试连接的最大次数,超过此值便认为后端服务器不可用。

  timeout connect  2s                    # HAProxy 与后端服务器连接超时时间。如果在同一个局域网内,可设置成较短的时间。

  timeout client 30000s                  # 客户端与 HAProxy 连接后,数据传输完毕,即非活动连接的超时时间。

  timeout server 30000s                  # 服务器端非活动连接的超时时间。

listen admin_stats                        # frontend 和 backend 的组合体,此监控组的名称可按需进行自定义。

  bind 0.0.0.0:8080                      # 监听端口。

  mode http                              # 监控运行的模式,此处为 `http` 模式。

  option httplog                          # 开始启用记录 HTTP 请求的日志功能。

  maxconn 10                              # 最大并发连接数。

  stats refresh 30s                      # 每隔 30 秒自动刷新监控页面。

  stats uri /haproxy                      # 监控页面的 URL。

  stats realm HAProxy                    # 监控页面的提示信息。

  stats auth admin:admin            # 监控页面的用户和密码,可设置多个用户名。 

  stats hide-version                      # 隐藏监控页面上的 HAProxy 版本信息。

  stats  admin if TRUE                    # 手工启用或禁用后端服务器(HAProxy 1.4.9 及之后版本开始支持)。

listen tidb-cluster                        # 配置 database 负载均衡。

  bind 0.0.0.0:3306                      # 浮动 IP 和 监听端口。

  mode tcp                                # HAProxy 要使用第 4 层的传输层。

  balance leastconn                      # 连接数最少的服务器优先接收连接。`leastconn` 建议用于长会话服务,例如 LDAP、SQL、TSE 等,而不是短会话协议,如 HTTP。该算

法是动态的,对于启动慢的服务器,服务器权重会在运行中作调整。

server tidb_1 10.8.9.61:4000 check inter 2000 rise 2 fall 3      # 检测 4000 端口,检测频率为每 2000 毫秒一次。如果 2 次检测为成功,则认为服务器可用;如果 3 次检测为失败,则认为服务器不可用。

  server tidb_2 10.8.9.62:4000 check inter 2000 rise 2 fall 3

    server tidb_3 10.8.9.63:4000 check inter 2000 rise 2 fall 3

启动 HAProxy

方法一:执行 haproxy,默认读取 /etc/haproxy/haproxy.cfg(推荐)。

haproxy -f /etc/haproxy/haproxy.cfg

方法二:使用 systemd 启动 HAProxy。

systemctl start haproxy.service

停止 HAProxy

方法一:使用 kill -9(推荐)。

执行如下命令:

ps -ef|grep haproxy|grep -v grep|awk '{print $2}'|xargs kill -9

方法二:使用 systemd。

systemctl stop haproxy.service


四、部署keepalived

1、使用 yum 安装 keepalived

yum install keepalived -y

2、配置keepalived(两个节点配置不一样)

主节点:

# vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived

vrrp_script chk_haproxy {

    script "/etc/keepalived/chk.sh"

    interval 2

}

vrrp_instance VI_1 {

    state MASTER

    nopreempt

    interface eth0

    virtual_router_id 51      #定义分组ID,同一组ID相同

    priority 100    #优先级

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass abcd

    }

    virtual_ipaddress {

        10.8.9.60      #VIP

    }

    track_script {

        chk_haproxy

    }

}

备节点1:

# vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived

vrrp_script chk_haproxy {

    script "/etc/keepalived/chk.sh"

    interval 2

}

vrrp_instance VI_1 {

    state BACKUP

    nopreempt

    interface ens33

    virtual_router_id 51      #定义分组ID,同一组ID相同

    priority 90    #优先级

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass abcd

    }

    virtual_ipaddress {

        10.8.9.60      #VIP

    }

    track_script {

        chk_haproxy

    }

}

3、编写haproxy检测脚本

# vim /etc/keepalived/chk.sh

#!/bin/bash

if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then    #判断haproxy是否存活,如果宕了,停止keepalived服务

      /usr/sbin/service keepalived stop

fi

# chmod +x /etc/keepalived/chk.sh

五、验证

开启haproxy、keepalived,并验证。

# haproxy -f /etc/haproxy/haproxy.cfg

# service keepalived start

主节点:

HAProxy+Keepalived实现tidb-server(v4.0.8)的负载均衡及高可用_第3张图片
10.8.9.61

备节点:

HAProxy+Keepalived实现tidb-server(v4.0.8)的负载均衡及高可用_第4张图片
10.8.9.62
HAProxy+Keepalived实现tidb-server(v4.0.8)的负载均衡及高可用_第5张图片
10.8.9.63

验证(1):

在主节点上关闭TiDB server服务后,vip绑定不变,依然可以通过vip正常连接。

验证(2):

在主节点上关闭HAProxy后,vip漂移到备节点上, 依然可以通过vip正常连接。

主节点:

# ps -ef|grep haproxy|grep -v grep|awk '{print $2}'|xargs kill -9

HAProxy+Keepalived实现tidb-server(v4.0.8)的负载均衡及高可用_第6张图片
10.8.9.61

备节点:

HAProxy+Keepalived实现tidb-server(v4.0.8)的负载均衡及高可用_第7张图片
10.8.9.63

验证(3):

将主节点关机后,vip漂移到备节点上, 依然可以通过vip正常连接。

主节点:

# init 0

备节点:

HAProxy+Keepalived实现tidb-server(v4.0.8)的负载均衡及高可用_第8张图片
10.8.9.62

你可能感兴趣的:(HAProxy+Keepalived实现tidb-server(v4.0.8)的负载均衡及高可用)