使用Haproxy搭建Web群集

简介


    我们知道Nginx、LVS都可以做负载均衡,它们都具有各自的特点,今天介绍另一款比较流行的集群调度工具Haproxy,首先介绍负载均衡常用调度算法,然后介绍Haproxy搭建Web集群的案例环境,接下来重点介绍Haproxy搭建Web集群的安装配置和日志配置,最后介绍了Haproxy的参数优化


一、案例分析


1、案例概述


    Haproxy是目前比较流行的一种集群调度工具,同类集群调度工具有很多,如LVS和Nginx,相比较而言,LVS性能最好,但是搭建相对复杂,Nginx的upstream模块支持集群功能,但是对集群节点健康检查功能不强,性能没有Haproxy好。Haproxy官方网站是http://www.haproxy.org/


    本案例介绍使用Haproxy及Nginx搭建一套Web集群


2、案例前置知识点


(1)HTTP请求


    通过URL访问网站使用的协议是HTTP协议,此类请求一般称为HTTP请求。HTTP请求的方式分为GET方式和POST方式。当使用浏览器访问某一个URL,会根据请求URL返回状态码,通常正常的状态码为2 * * 、3 * *(如200、301),如果出现异常会返回4 * * 、5 * *(如400、500)。


    例如,访问http://www.test.com/a.php?id=123,就是一个GET请求,如果访问正常,会从服务器的日志中获取200状态码。假如此请求使用POST方式,那么传递给a.php的id参数依旧是123,但是浏览器的URL将不会显示后面的id=123字样,因此表单类或者有用户名、密码等内容提交时建议使用POST方式。不管使用什么方式。最终a.php获取的值是一样的


(2)负载均衡常用调度算法


    LVS、Haproxy、Nginx最常用的调度算法有三种,如下所述


  • RR(Round  Robin)。RR算法是最简单最常用的一种算法,即轮询调度。例如,有三个节点A、B、C,第一个用户访问会被指派到节点A,第二个用户访问会被指派到节点B,第三个用户访问会被指派到节点C,第四个用户访问继续指派到节点A,轮询分配访问请求实现负载均衡效果。此算法还有一种加权轮询,即根据每个节点的权重轮询分配访问请求


  • LC(Least  Connections)。LC算法即最小连接数算法,根据后端的节点连接数大小动态分配前端请求。例如,有三个节点A、B、C,各节点的连接数分别为A:4、B:5、C:6,此时如果有第一个用户连接请求,会被指派到A上,连接数变为A:5、B:5、C:6 ;第二个用户请求会继续分配给A上,连接数变为A:6、B:5、C:6 ;再有新的请求会配置给B,每次将新的请求指派给连接数最小的节点服务器。由于实际情况下A、B、C的连接数会动态释放,很难出现一样连接数的情况,因此此算法相比较RR算法有很大改进,是目前用到比较多的一种算法


  • SH(Source  Hashing)。SH即基于来源访问调度算法,此算法用于一些有Session会话记录在服务器端的场景,可以基于来源的IP、Cookie等做集群调度。例如,使用基于源IP的集群调度算法,有三个节点A、B、C,第一个用户第一次访问被指派到A,第二个用户第一次访问被指派到了B,当第一个用户第二次访问时会被继续指派到A,第二个用户第二次访问时依旧会被指派到B,只要负载调度器不重启,第一个用户访问都会被指派到A,第二个用户访问都会被指派到B,实现集群的调度。此调度算法好处是实现会话保持,但某些IP访问量非常大时会引起负载不均衡,部分节点访问量超大,影响业务使用


(3)常见的Web集群调度器


    目前常见的Web集群调度器分为软件和硬件,软件通常使用开源的LVS、Haproxy、Nginx,硬件一般使用比较多的F5,也有很多人使用国内的一些产品,如梭子鱼、绿盟等


3、案例环境


    本案例使用三台服务器模拟一台Web集群


wKiom1Xv-6uDlZtdAAC56fZJSpk061.jpg


                                      Haproxy集群拓扑




主机 操作系统 IP地址 只要软件
Haproxy服务器 Centos 6.6 x86_64 192.168.1.10 haproxy-1.4.24.tar.gz

Nginx服务器-1

Centos 6.6 x86_64 192.168.1.20 nginx-1.6.0.tar.gz
Nginx服务器-2 Centos 6.6 x86_64 192.168.1.21 nging-1.6.0.tar.gz
客户端 Wendows XP 192.16.1.30

IE浏览器



                                            案例环境


    注意:这里服务器是托管在IDC机房中,公网访问使用的是防火墙NAT映射的公网IP,因此服务器端只需配置一个内外IP即可。如果没有防火墙映射,建议在服务器配置双网卡双IP,公网请求访问公网IP的网卡,Haproxy与各个节点间通信使用内外网卡


二、案例实施


1、编译安装Nginx服务器


(1)首先搭建Nginx-1,使用nginx-1.6.0.tar.gz安装包进行编译安装


[root@localhost ~]# yum  -y  install  pcre-devel  zlib-devel

[root@localhost ~]# useradd  -M  -s  /sbin/nologin  nginx

[root@localhost ~]# tar  -zxvf  nginx-1.6.0.tar.gz 

[root@localhost ~]# cd nginx-1.6.0

[root@localhost nginx-1.6.0]# ./configure  --prefix=/usr/local/nginx  --user=nginx  --group=nginx

[root@localhost nginx-1.6.0]# make  &&  make  install


    安装完成后默认信息如下


  • 默认安装目录:/usr/local/nginx/


  • 默认日志:/usr/local/nginx/logs/


  • 默认监听:80


  • 默认Web目录:/usr/local/nginx/html/


[root@localhost nginx-1.6.0]# cd  /usr/local/nginx/html/

[root@localhost html]# echo  "Server  192.168.1.20" >test.html           //建立测试页面

[root@localhost html]# /usr/local/nginx/sbin/nginx                       //启动Nginx

[root@localhost html]# netstat  -utpln  |  grep  nginx

tcp        0      0 0.0.0.0:80           0.0.0.0:*          LISTEN        4262/nginx

      

[root@localhost html]# service  iptables  stop


    为了方便实验,网站没有配置域名,直接使用IP地址。在客户端访问http://192.168.1.20/test.html测试


wKiom1XwKzfgGr2rAAF1m1eeSNE498.jpg


                                        测试访问Nginx-1


(2)搭建Nginx-2


    编译安装的步骤与Nginx-1相同,不同之处在于建立测试页面


[root@localhost html]# echo "Server  192.168.1.21"  >test.html


wKiom1XwK76Ri4vEAAF26XjGSRw195.jpg


                                         测试访问Nginx-2


2、编译安装Haproxy


    使用haproxy-1.4.24.tar.gz安装包进行编译安装


[root@localhost ~]# yum  -y  install  pcre-devel  bzip2-devel

[root@localhost ~]# tar  -zxvf  haproxy-1.4.24.tar.gz 

[root@localhost ~]# cd  haproxy-1.4.24

[root@localhost haproxy-1.4.24]# make  TARGET=linux26                 //64位系统

[root@localhost haproxy-1.4.24]# make  install


3、Haproxy服务器配置


(1)建立Haproxy的配置文件


[root@localhost haproxy-1.4.24]# mkdir  /etc/haproxy

[root@localhost haproxy-1.4.24]# cp examples/haproxy.cf /etc/haproxy/    

//将haproxy.cfg文件复制到配置文件目录


(2)Haproxy配置项介绍


    Haproxy配置文件通常分为三个部分,即global、defaults和listen。global为全局配置、defaults为默认配置、listen为应用组件配置


    global配置项通常有下面配置参数,以示例参数说明如下


global

        log 127.0.0.1   local0       //配置日志记录,local0为日志设备,默认存放到系统日志

        log 127.0.0.1   local1 notice           //notice为日志级别,通常有24个级别

        maxconn 4096                            //最大连接数

        uid 99                                  //用户uid

        gid 99                                  //用户gid


    defaults配置项配置默认参数,一般会被应用组件继承,如果在应用组件中没有特别声明,将按照默认配置参数设置


defaults

        log     global                           //定义日志为global配置中的日志定义

        mode    http                             //模式为http

        option  httplog                          //采用http日志格式记录日志

        retries 3            //检查节点服务器失败次数,连续达到三次失败,则认为节点不可用

        maxconn 2000                            //最大连接数

        contimeout      5000                    //连接超时时间

        clitimeout      50000                   //客户端超时时间

        srvtimeout      50000                   //服务器超时时间


    listen配置项目一般为配置应用模块参数


listen  appli4-backup 0.0.0.0:10004             //定义一个appli4-backup的应用

        option  httpchk /index.html             //检查服务器的index.html文件

        option  persist                         //强制将请求发送到已经down掉的服务器

        balance roundrobin                      //负载均衡调度算法使用轮询算法

        server  inst1 192.168.114.56:80 check inter 2000 fall 3           //定义在线节点

        server  inst2 192.168.114.56:81 check inter 2000 fall 3 backup    //定义备份节点


(3)根据目前的集群设计,将haproxy.cfg配置文件的内容修改如下


global

        log 127.0.0.1   local0

        log 127.0.0.1   local1 notice

        #log loghost    local0 info

        maxconn 4096

        uid 99

        gid 99

        daemon

        #debug

        #quiet


defaults

        log     global

        mode    http

        option  httplog

        option  dontlognull

        retries 3

        maxconn 2000

        contimeout      5000

        clitimeout      50000

        srvtimeout      50000


listen  webcluster 0.0.0.0:80

        option  httpchk GET /index.html

        balance roundrobin

        server  inst1 192.168.1.20:80 check inter 2000 fall 3

        server  inst2 192.168.1.21:80 check inter 2000 fall 3


4、创建自启动脚本


[root@localhost ~]# cp  ~/haproxy-1.4.24/examples/haproxy.init  /etc/init.d/haproxy

[root@localhost ~]# ln  -s  /usr/local/sbin/haproxy  /usr/sbin/haproxy

[root@localhost ~]# chmod  +x  /etc/init.d/haproxy 

[root@localhost ~]# /etc/init.d/haproxy  start

Starting haproxy:                                          [  OK  ]


[root@localhost ~]# service  iptables  stop


5、测试Web集群


    通过上面的步骤,已经搭建完成Haproxy的Web集群,接下来需要验证集群是否正常工作。一个集群一般需要具备两个特性,第一个是高性能,第二个是高可用


(1)测试高性能


    在客户端使用浏览器打开http://192.168.1.10/test.html,浏览器显示信息如图所示


wKiom1XwO3GCfkqSAAF79UK3HB4022.jpg


                                         第一次访问的显示信息


    再次打开一个新的浏览器页面访问http://192.168.1.10/test.html,浏览器显示信息如图所示


wKioL1XwPiHCBHVTAAGCjd8ngEE540.jpg


                                         第二次访问的显示信息


    可以看到集群的负载均衡调度已经生效,已经满足了集群的高性能需求


(2)测试高可用


    现在将192.168.1.20的Nginx服务停用,在客户端使用浏览器打开http://192.168.1.10/test.html,浏览器显示信息仍然如第一次访问时的图相同


    从中可以看出,当出现一台节点故障,不会影响集群的使用,这样就满足了集群的高可用性。也可以将192.168.1.20的Nginx服务恢复,再将192.168.1.21的Nginx服务停用,测试高可用性


6、Haproxy的日志


    Haproxy的日志默认是输出到系统的syslog中,查看起来不是非常方便,为了更好地管理Haproxy的日志,我们在生产环境中一般单独定义出来,定义的方法如下所述


(1)修改Haproxy配置文件中关于日志配置的选项,修改为下面的配置


        log  /dev/log    local0  info

        log  /dev/log    local0  notice


    这两行配置是将原本的log  127.0.0.1配置项修改,主要是将Haproxy的info及notice日志分别记录到不同的日志文件中


    然后重启Haproxy,完成Haproxy配置


(2)修改rsyslog配置


    为了便于管理,将Haproxy下相关的配置独立定义到haproxy.conf,并放到/etc/rsyslog.d/下,rsyslog启动时会自动加载此目录下的所有配置文件


[root@localhost ~]# touch /etc/rsyslog.d/haproxy.conf

[root@localhost ~]# vim /etc/rsyslog.d/haproxy.conf


    加入下面的内容:


if ($programname == 'haproxy' and $syslogseverity-text == 'info') then -/var/log/haproxy/haproxy-info.log

& ~

if ($programname == 'haproxy' and $syslogseverity-text == 'notice') then -/var/log/haproxy/haproxy-notice.log

& ~


    这部分配置是将Haproxy的info日志记录到/var/log/haproxy/haproxy-info.log下,将notice日志记录到/var/log/haproxy/haproxy-notice.log下,其中“& ~”表示当日志写入到日志文件后,rsyslog停止处理这个信息。这里配置的语法是使用rainerscript脚本语言写的


    当然也可用用另一种解决方式,修改/etc/rsyslog.conf配置文件,在配置文件中加入如下两行:


local0.info                                             /var/log/haproxy-info.log

local0.notice                                           /var/log/haproxy-notice.log


    这样也可以实现上面相同的效果


    然后保持配置文件并重启rsyslog服务,完成rsyslog配置   


(3)测试日志信息


    在客户端访问http://192.168.1.10/test.html后,可以使用tail  -f  /var/log/haproxy/haproxy-info.log即时查看Haproxy的访问请求日志信息


[root@localhost ~]# tail -f /var/log/haproxy/haproxy-info.log 


Sep  9 22:30:05 localhost haproxy[2634]: 192.168.1.30:1165 [09/Sep/2015:22:30:02.202] webcluster webcluster/inst2 0/0/0/1/3255 200 256 - - CD-- 0/0/0/0/0 0/0 "GET /test.html HTTP/1.1"


7、Haproxy的参数优化


    关于Haproxy的参数优化,以下列举了几个关键的参数,并对各参数的生产环境的优化建议做了说明


参数 参数说明 优化建议
maxconn 最大连接数 此参数根据应用的实际情况进行调整,推荐使用10 240
daemon 守护进程模式 Haproxy可以使用非守护进程模式启动,生产环境建议使用守护模式启动
nbproc 负载均衡的并发进程数 建议与当前服务器CPU核数相等或为其2倍
retries 重试次数 此参数主要用于对集群节点的检查,如果节点多,且并发量大,设置为2次或3次;在服务器节点不多的情况下,可以设置为5次或6次
option  http-server-close 主动关闭http请求选项 建议在生产环境中使用此选项,避免由于timeout时间设置过长导致http连接堆积
timeout  http-keep-alive 长连接超时时间 此选项设置长连接超时时间,具体参考应用自身特点设置,可以设置为10s
timeout  http-request http请求超时时间 建议此时间设置为5~10s,增加http连接释放速度
timeout  client 客户端超时时间 如果访问量过大,节点响应慢,可以将此时间设置短一些,建议设置为1min左右就可以了


本文出自 “Painting” 博客,转载请与作者联系!

你可能感兴趣的:(nginx,linux,集群,haproxy, , , )