gmHappy

mqtt haproxy 代理及负载搭建

mqtt 分布集群搭建

haproxy 安装配置

解压

安装

配置haproxy.cfg

启动haproxy

配置mqtt

测试

负载配置说明

负载均衡算法

ACL规则定义

全局配置

默认配置

统计页面配置

设置haproxy 错误页面

frontend前端配置

backend后端配置

haproxy监测页面参数

mqtt 分布集群搭建

详情请参照emqtt 分布集群及节点桥接搭建

haproxy 安装配置

解压

cd /home/hylink/
tar zxvf haproxy-1.8.12.tar.gz
cd zxvf haproxy-1.8.12

安装

make TARGET=linux2628 ARCH=x86_64 PREFIX=/home/hylink/haproxy
make install PREFIX=/home/hylink/haproxy

#参数说明
TARGET=linux26 #内核版本，使用uname -r查看内核，如：2.6.18-371.el5，此时该参数就为linux26；kernel 大于2.6.28的用：TARGET=linux2628
ARCH=x86_64 #系统位数
PREFIX=/home/hylink/haproxy /home/hylink/haproxy为haprpxy安装路径

配置haproxy.cfg

sudo gedit /home/hylink/haproxy/sbin/haproxy.cfg

添加以下内容

global
    log 127.0.0.1 local0
    log 127.0.0.1 local1 notice
    daemon
    nbproc 2
    maxconn 51200
    pidfile /home/hylink/haproxy/sbin/haproxy.pid  


defaults
    log global
    mode http
    option httplog
    option dontlognull
    retries 3
    option abortonclose
    timeout connect 5000ms
    timeout client 30000ms
    timeout server 60000ms
    balance roundrobin

listen stats
    bind *:9080
    mode http
    option httplog
    maxconn 10
    stats refresh 30s
    stats uri /stats
    stats realm Haproxy Manager
    stats hide-version
    stats admin if TRUE

启动haproxy

/home/hylink/haproxy/sbin/haproxy  -f  /home/hylink/haproxy/sbin/haproxy.cfg

出现以下异常

[WARNING] 227/155234 (4947) : Proxy 'stats': in multi-process mode, stats will be limited to process assigned to the current request.
[WARNING] 227/155234 (4947) : Proxy 'stats': stats admin will not work correctly in multi-process mode.
[WARNING] 227/155234 (4947) : [/home/hylink/haproxy/sbin/haproxy.main()] Cannot raise FD limit to 102411, limit is 4096.
[WARNING] 227/155234 (4947) : [/home/hylink/haproxy/sbin/haproxy.main()] FD limit (4096) too low for maxconn=51200/maxsock=102411. Please raise 'ulimit-n' to 102411 or more to avoid any trouble.

解决方案：系统里的能打开的文件描述符太小，程序里的比较大，只要将系统里的FD重新调大就好

1、修改/etc/security/limits.conf，通过

vi /etc/security/limits.conf

修改其内容，在文件最后加入（数值也可以自己定义）：

* soft  nofile = 32768
* hard  nofile = 65536

2、修改/etc/profile，通过

vi /etc/profile

修改，在最后加入以下内容

ulimit -n 32768

3、切换用户

su - root
source /etc/profile

在root用户下继续执行

/home/hylink/haproxy/sbin/haproxy  -f  /home/hylink/haproxy/sbin/haproxy.cfg

启动haproxy，访问:http://172.19.12.231:9080/stats 进入统计页面，至此haproxy搭建完毕。

配置mqtt

执行

./bin/emqttd_ctl cluster status

查看集群信息

执行

vim /home/hylink/haproxy/sbin/haproxy.cfg

添加以下内容

listen mqtt
    bind *:1890
    mode tcp
    maxconn 50000
    option clitcpka # For TCP keep-alive
    timeout client 3h #By default TCP keep-alive interval is 2hours in OS kernal, 'cat /proc/sys/net/ipv4/tcp_keepalive_time'
    timeout server 3h #By default TCP keep-alive interval is 2hours in OS kernal
    option tcplog
    balance leastconn
    server emq1 172.19.12.231:1883 check inter 10000 fall 2 rise 5 weight 1
    server emq2 172.19.12.207:1883 check inter 10000 fall 2 rise 5 weight 1

重启haproxy

访问:http://172.19.12.231:9080/stats

测试

分别用两台机器的客户端连接代理机器的1890端口。

这个客户端分别被分配到不同的机器上

接收消息效果

负载配置说明

负载均衡算法

一、roundrobin，表示简单的轮询，每个服务器根据权重轮流使用，在服务器的处理时间平均分配的情况下这是最流畅和公平的算法。该算法是动态的，对于实例启动慢的服务器权重会在运行中调整。

二、static-rr，表示根据权重，建议关注；每个服务器根据权重轮流使用，类似roundrobin，但它是静态的，意味着运行时修改权限是无效的。另外，它对服务器的数量没有限制。

三、leastconn，表示最少连接者先处理，建议关注；leastconn建议用于长会话服务，例如LDAP、SQL、TSE等，而不适合短会话协议。如HTTP.该算法是动态的，对于实例启动慢的服务器权重会在运行中调整。

四、source，表示根据请求源IP，建议关注；对请求源IP地址进行哈希，用可用服务器的权重总数除以哈希值，根据结果进行分配。

只要服务器正常，同一个客户端IP地址总是访问同一个服务器。如果哈希的结果随可用服务器数量而变化，那么客户端会定向到不同的服务器；

该算法一般用于不能插入cookie的Tcp模式。它还可以用于广域网上为拒绝使用会话cookie的客户端提供最有效的粘连；