案例：使用keepalived+Haproxy搭建Web群集

目录

★案例环境

★搭建Nginx1

★搭建Nginx2

★编译安装Haproxy

★安装keepalived

★案例测试

★Haproxy日志

★Haproxy的参数优化

        Haproxy是目前比较流行的一种群集调度工具，同类群集调度工具有很多，如LVS和Nginx。相比较而言，LVS性能最好，但是搭建相对复杂；Nginx的upstream模块支持群集功能，但是对群集节点健康检查功能不强，性能没有Haproxy好。Haproxy官方网站是http://www.haproxy.org/。

案例前置知识点

1. HTTP请求 请求方式 GET方式 POST方式 返回状态码 正常的状态码为2××、3×× 异常的状态码为4××、5××

2. 负载均衡常用调度算法

   RR（Round Robin）：轮询调度 ​ LC（Least Connections）：最小连接数 ​ SH（Source Hashing）：基于来源访问调度

案例环境

        实验目标：使用haproxy搭建web群集，实现负载均衡和高可用，使用keepalived+haproxy实现双机热备和负载均衡。

        案例准备：根据下图配置IP地址，漂移地址为192.168.1.100，关闭防火墙、selinux、搭建yum仓库。

搭建Nginx1

[root@localhost ~]# yum -y install pcre-devel zlib-devel
[root@localhost ~]# useradd -M -s /sbin/nologin nginx
[root@localhost ~]# eject
[root@localhost ~]# mount /dev/cdrom /media
mount: /dev/sr0 is write-protected, mounting read-only
[root@localhost ~]# tar zxf /media/nginx-1.12.0.tar.gz -C /usr/src
[root@localhost ~]# cd /usr/src/nginx-1.12.0/
[root@localhost nginx-1.12.0]# ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx
[root@localhost nginx-1.12.0]# make && make install

安装后的默认信息如下。

默认安装目录：/usr/local/nginx

默认日志：/usr/local/nginx/logs

监听端口：80

默认web目录：/usr/local/nginx/html

[root@localhost nginx-1.12.0]# cd /usr/local/nginx/html/
[root@localhost html]# echo 111111 > test.html                              //建立测试页面
[root@localhost html]# /usr/local/nginx/sbin/nginx                          //启动Nginx
[root@localhost html]# netstat -anpt | grep nginx
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      6762/nginx: master  

安装完成后，客户端访问http://192.168.1.20/test.html测试。

搭建Nginx2

编译安装的步骤与Nginx1相同，不同之处在于建立的测试网页。

[root@localhost html]# echo 22222 > test.html

安装完成后，客户端访问http://192.168.1.30/test.html测试。

编译安装Haproxy

[root@localhost ~]# yum -y install pcre-devel bzip2-devel 
[root@localhost ~]# eject
[root@localhost ~]# mount /dev/cdrom /media/
mount: /dev/sr0 is write-protected, mounting read-only
[root@localhost ~]# tar zxf /media/haproxy-1.5.19.tar.gz -C /usr/src
[root@localhost ~]# cd /usr/src/haproxy-1.5.19/
[root@localhost haproxy-1.5.19]# make TARGET=linux26                    //64位系统
[root@localhost haproxy-1.5.19]# make install

Haproxy服务器配置

• 建立配置文件

[root@localhost haproxy-1.5.19]# mkdir /etc/haproxy                             //创建配置文件目录
[root@localhost haproxy-1.5.19]# cp examples/haproxy.cfg /etc/haproxy/          //将haproxy.cfg文件复制到配置文件目录

• Haproxy配置项介绍

        Haproxy配置文件通常分为三个部分，即global、defaults和listen。global为全局配置，defaults为默认配置，listen为应用组件配置。

global配置项说明如下：

global
        log 127.0.0.1   local0                      //配置日志记录，local0为日志设备，默认存放到系统日志
        log 127.0.0.1   local1 notice               //notice为日志级别，通常有24个级别
        maxconn 4096                                //最大连接数
        uid 99                                      //用户uid
        gid 99                                      //用户gid

defaults配置项说明如下：

defaults
        log     global                              //定义日志为global配置中的日志定义
        mode    http                                //模式为http
        option  httplog                             //采用http日志格式记录日志
        retries 3                                   //检查节点服务器失败次数，连续超过3次失败，则认为节点不可用
        redispatch                                  //当服务器负载很高时，自动结束当前队列处理较久的连接
        maxconn 2000                                //最大连接数
        contimeout      5000                        //连接超时时间
        clitimeout      50000                       //客户端超时时间
        srvtimeout      50000                       //服务器超时时间

global配置项说明如下：

listen  appli4-backup 0.0.0.0:10004                                                 //定义一个appli4-backup的应用
        option  httpchk /index.html                                                 //检查服务器的index.html文件
        option  persist                                                             //强制将请求发送到已经down掉的服务器
        balance roundrobin                                                          //负载均衡调度算法使用轮询算法
        server  inst1 192.168.114.56:80 check inter 2000 fall 3                     //定义在线节点
        server  inst2 192.168.114.56:81 check inter 2000 fall 3 backup              //定义备份节点

• 根据目前的群集设计，将haproxy.conf配置文件的内容修改如下。

[root@localhost ~]# vim /etc/haproxy/haproxy.cfg
# this config needs haproxy-1.1.28 or haproxy-1.2.1
​
global
        log 127.0.0.1   local0
        log 127.0.0.1   local1 notice
        #log loghost    local0 info
        maxconn 4096
        #chroot /usr/share/haproxy                                      //注释掉
        uid 99
        gid 99
        daemon
        #debug
        #quiet
​
defaults
        log     global
        mode    http
        option  httplog
        option  dontlognull
        retries 3
        #redispatch                                                     //注释掉
        maxconn 2000
        contimeout      5000
        clitimeout      50000
        srvtimeout      50000
listen  appli4-backup 0.0.0.0:80                                        //复制listen配置项模块内容，端口号修改为80
        option  httpchk GET /index.html                                 //http请求方式改为GET
        balance roundrobin
        server  inst1 192.168.1.20:80 check inter 2000 fall 3           //两个节点服务器的配置
        server  inst2 192.168.1.30:80 check inter 2000 fall 3           //配置文件中后面的配置全部删除即可

• 创建自启动脚本

[root@localhost ~]# cp /usr/src/haproxy-1.5.19/examples/haproxy.init /etc/init.d/haproxy
[root@localhost ~]# ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
[root@localhost ~]# chmod +x /etc/init.d/haproxy 
[root@localhost ~]# chkconfig --add /etc/init.d/haproxy 
[root@localhost ~]# /etc/init.d/haproxy start
Starting haproxy (via systemctl):                          [  OK  ]

安装keepalived

• 安装ipvsadm和keepalived包。

[root@localhost ~]# mount /dev/cdrom /media
mount: /dev/sr0 is write-protected, mounting read-only
[root@localhost ~]# yum -y install ipvsadm keepalived

• 配置keepalived.cof

        做haproxy+keepalived群集，只需要配置修改热备实例，指定主备调度器，名称，VIP地址，优先级和漂移地址即可。

[root@localhost ~]# vim /etc/keepalived/keepalived.conf 
! Configuration File for keepalived
​
global_defs {
......//省略部分内容
    router_id R1                    //主调度器名称
}  
​
vrrp_instance VI_1 {
    state MASTER                    //热备状态
    interface ens33                 //VIP地址物理接口
    virtual_router_id 51
    priority 100                    //优先级
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.1.100               //漂移地址
    }
}
[root@localhost ~]# systemctl start keepalived
[root@localhost ~]# systemctl enable keepalived

        Haproxy+keepalived备份调度器安装配置与之大致相同，唯一需要注意的是keepalived配置时，分清主、备调度器配置（指定主备调度器，名称，VIP地址，优先级和漂移地址）。按照上面配置继续配置haproxy2+keepalived2。

案例测试

• 客户端打开浏览器访问http://192.168.1.100/test.html，刷新两次浏览器查看网页内容测试负载均衡（此时应能看到11111和22222两个网页）。断开web1，在次访问刷新两次测试高可用（此时应只能看到22222）。

• 断掉keepalived主调度器网络，继续访问http://192.168.1.100/test.html，访问成功即keepalived负载均衡成功（此时应能看到11111和22222两个网页）。

Haproxy日志

        修改原有的配置文件中关于日志配置的选项，在global项目中配置。修改配置后保存并重启Haproxy。

[root@localhost ~]# vim /etc/haproxy/haproxy.cfg
        log /dev/log    local0 info
        log /dev/log    local0 notice
[root@localhost ~]# /etc/init.d/haproxy restart             //重启
Restarting haproxy (via systemctl):                        [  OK  ]

        为了便于管理，将Haproxy相关的配置独立定义到haproxy.conf并放到/etc/rsyslog.d/下，rsyslog启动时会自动加载此目录下的所有配置文件。

[root@localhost ~]# vim /etc/rsyslog.d/haproxy.conf
if ($programname == 'haproxy' and $syslogseverity-text == 'info') then -/var/log/haproxy/haproxy-info.log
& ~ 
if ($programname == 'haproxy' and $syslogseverity-text == 'notice') then -/var/log/haproxy/haproxy-notice.log
& ~
[root@localhost ~]# systemctl restart rsyslog

在客户端访问后，可以使用下面命令及时查看Haproxy的访问请求日志信息。

[root@localhost ~]# tail -f /var/log/haproxy/haproxy-info.log
Jul 23 23:08:35 localhost haproxy[43674]: 192.168.1.200:62207 [23/Jul/2022:23:08:35.157] appli4-backup appli4-backup/inst2 0/0/1/1/2 200 240 - - ---- 1/1/0/1/0 0/0 "GET /test.html HTTP/1.1"
Jul 23 23:08:35 localhost haproxy[43674]: 192.168.1.200:62207 [23/Jul/2022:23:08:35.159] appli4-backup appli4-backup/inst1 198/0/5/1/204 200 241 - - ---- 2/2/0/1/0 0/0 "GET /test.html HTTP/1.1"

Haproxy的参数优化

参数	参数说明	优化建议
maxconn	最大连接数	此参数根据应用的实际使用情况进行调整，推荐使用10240，同时"defaults"中的最大连接数的值不能超过"global"段中的定义
daemon	守护进程模式	Haproxy可以使用非守护进程模式启动，生产环境建议使用守护进程模式启动
nbproc	负载均衡的并发进程数	建议与当前服务器CPU核数相等或为其2倍
retries	重试次数	参数主要用于对群集节点的检查，如果节点多，并且发量大，设置为2次或3次；在服务器节点不多的情况下，可以设置5次或6次
option http-server-close	主动关闭http请求选项	建议在生产环境中使用此项选项，避免由于timeout时间设置过长导致http连接堆积
timeout http-keep-alive	长时间超时时间	此选项设置长连接超时时间，具体参考应用自身特点设置，可以设置为10s
timeout http-request	HTTP请求超时时间	建议将此时间设置为5~10s，增加http连接释放速度
timeout client	客户端超时时间	如果访问量过大，节点响应慢，可以将此时间设置短一些，建议设置为1min左右就可以了