使用Haproxy搭建Web集群

Haproxy是目前比较流行的一种群集调度工具，同类群集调度工具有很多，如LVS和Nginx。相比较而言，LVS性能最好，但搭建相对复杂；Nginx的upstream模块支持群集功能，但是对群集节点健康检查功能不强，性能没有Haproxy好。

相关知识点：HTTP请求：HTTP是一个基于TCP/IP通信协议来传递数据（HTML 文件, 图片文件, 查询结果等），HTTP是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。HTTP协议工作于客户端-服务端架构为上。浏览器作为HTTP客户端通过URL向HTTP服务端即WEB服务器发送所有请求。Web服务器根据接收到的请求后，向客户端发送响应信息。

HTTP请求方法

根据HTTP标准，HTTP请求可以使用多种请求方法。
HTTP1.0定义了三种请求方法： GET, POST 和 HEAD方法。
HTTP1.1新增了五种请求方法：OPTIONS, PUT, DELETE, TRACE 和 CONNECT 方法。

• GET：请求指定的页面信息，并返回实体主体
• HEAD：类似于get请求，只不过返回的相应中没有具体的内容，用于获取报头
• POST：向指定资源提交数据进行处理请求（例如提交表单或者上传文件），数据被包含在请求体中。POST请求可能会导致新的资源的建立和/或已有资源的修改。
• PUT：从客户端向服务器传送的数据取代指定的文档的内容。
• DELETE：请求服务器删除指定的页面。
• CONNECT：HTTP/1.1协议中预留给能够将连接改为管道方式的代理服务器。
• OPTIONS：允许客户端查看服务器的性能。
• TRACE：回显服务器收到的请求，主要用于测试或诊断。

HTTP工作原理

HTTP协议定义Web客户端如何从Web服务器请求Web页面，以及服务器如何把Web页面传送给客户端。HTTP协议采用了请求/响应模型。客户端向服务器发送一个请求报文，请求报文包含请求的方法、URL、协议版本、请求头部和请求数据。服务器以一个状态行作为响应，响应的内容包括协议的版本、成功或者错误代码、服务器信息、响应头部和响应数据。

以下是 HTTP 请求/响应的步骤：

1、客户端连接到Web服务器

一个HTTP客户端，通常是浏览器，与Web服务器的HTTP端口（默认为80）建立一个TCP套接字连接。例如，http://www.oakcms.cn。

2、发送HTTP请求

通过TCP套接字，客户端向Web服务器发送一个文本的请求报文，一个请求报文由请求行、请求头部、空行和请求数据4部分组成。

3、服务器接受请求并返回HTTP响应

Web服务器解析请求，定位请求资源。服务器将资源复本写到TCP套接字，由客户端读取。一个响应由状态行、响应头部、空行和响应数据4部分组成。

4、释放连接TCP连接

若connection 模式为close，则服务器主动关闭TCP连接，客户端被动关闭连接，释放TCP连接;若connection 模式为keepalive，则该连接会保持一段时间，在该时间内可以继续接收请求;

5、客户端浏览器解析HTML内容

客户端浏览器首先解析状态行，查看表明请求是否成功的状态代码。然后解析每一个响应头，响应头告知以下为若干字节的HTML文档和文档的字符集。客户端浏览器读取响应数据HTML，根据HTML的语法对其进行格式化，并在浏览器窗口中显示。

例如：在浏览器地址栏键入URL，按下回车之后会经历以下流程：

1、浏览器向 DNS 服务器请求解析该 URL 中的域名所对应的 IP 地址;

2、解析出 IP 地址后，根据该 IP 地址和默认端口 80，和服务器建立TCP连接;

3、浏览器发出读取文件(URL 中域名后面部分对应的文件)的HTTP 请求，该请求报文作为 TCP 三次握手的第三个报文的数据发送给服务器;

4、服务器对浏览器请求作出响应，并把对应的 html 文本发送给浏览器;

5、释放 TCP连接;

6、浏览器将该 html 文本并显示内容; 　　

案例实施

一、搭建Nginx1、2

使用nginx-1.12.0.tar.gz安装包进行编译安装

yum -y install pcre-devel zlib-devel    #安装环境依赖
useradd -M -s /sbin/nologin nginx       #创建nginx专门的用户账号，不建立宿主文件夹，禁止登录到Shell环境
tar zxvf nginx-1.12.0.tar.gz -C /usr/src    #解压安装包到指定的目录下
cd /usr/src/nginx-1.12.0
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx
make && make install

安装完后的默认信息如下：

• 默认安装目录：/usr/local/nginx

• 默认日志：/usr/local/nginx/logs
• 监听地址：80
• 默认Web目录：/usr/local/nginx/html

建立默认的访问页

cd /usr/local/nginx/html
echo "AAA" > index.html    #在默认的Web目录下创建一个简单的测试页面
/usr/local/nginx/sbin/nginx    #启动Nginx
netstat -anpt | grep nginx     #检测Nginx是否已启动

然后在浏览器中访问测试页

需要注意的是：关闭防火墙和SELinux，避免无法访问测试页面

在使用同样的方法搭建Nginx2

echo "BBBBBBB" > /usr/local/nginx/html/index.html    #创建测试页

Nginx2的测试页面

二、安装Haproxy

1、使用haproxy-1.5.19.tar.gz安装包进行编译安装

yum -y install pcre-devel bzip2-devel    #安装依赖
tar zxvf haproxy-1.5.19.tar.gz -C /usr/src    #将haproxy安装包解药到指定位置
cd /usr/src/haproxy-1.5.19
make TARGET=linux26    #64位系统
make install

2、配置Haproxy

建立Haproxy的配置文件

mkdir /etc/haptoxy
cp /usr/src/haproxy-1.5.19/examples/haproxy.cfg /etc/haptoxy    #将haproxy.cfg文件复制到配置文件目录

根据目前的群集设计，haproxy.cfg配置文件如下：

# this config needs haproxy-1.1.28 or haproxy-1.2.1

global    
        log 127.0.0.1   local0           #配置日志记录，local0为日志设备，默认存放到系统日志
        log 127.0.0.1   local1 notice    #notice为日志级别，通常有24个级别
        #log loghost    local0 info    
        maxconn 4096                     #最大连接数
        uid 99                           #用户UID
        gid 99                           #用户GID
        daemon
        #debug
        #quiet

defaults
        log     global                   #定义日志为global配置中的日志定义
        mode    http                     #模式为http
        option  httplog                  #采用http日志格式记录日志
        option  dontlognull    
        retries 3                        #检测节点服务器失败次数，连接达到三次失败，则认为节点不可用
        maxconn 2000                     #最大连接数
        contimeout      5000             #连接超时时间
        clitimeout      50000            #客户端超时时间
        srvtimeout      50000            #服务器超时时间

listen  webcluster 0.0.0.0:80            #定义一个webcluster的应用
        option  httpchk GET /index.html    #检查服务器的index.html文件
        balance roundrobin                 #强制将请求发送到已经down掉的服务器
        server  inst1 192.168.248.10:80 check inter 2000 fall 3    #定义在线节点
        server  inst2 192.168.248.20:80 check inter 2000 fall 3    #定义备份节点
                                                                

Haproxy配置文件通常分为三个部分，及“global”、“defaults”和“listen”。“global”为全局配置，“defaults”为默认配置，“listen”为应用组件配置

“defaults”配置项配置默认参数，一般会被应用组件继承，如果在应用组件中没有特别声明，将安装默认配置参数设置

3、创建自启动脚本

cp /usr/src/haproxy-1.5.19/examples/haproxy.cfg /etc/haproxy/    
ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
chmod +x /etc/init.d/haproxy
chkconfig --add /etc/init.d/haproxy    #添加到系统服务
/etc/init.d/haproxy start              #启动haproxy

4、测试

在客户端浏览器打开http://192.168.248.30，显示的结果如下：

再次打开新的浏览器页面访问http://192.168.248.30，显示的结果如下：

三、Haproxy日志

1、修改Haproxy配置文件中的关于日志配置的选项，将原有的日志配置更改为如下配置：

global
        log /dev/log    local0 info
        log /dev/log    local0 notice
      

这两行配置主要是将Haproxy的“info”及“notice”日志分别记录到不同的日志文件中

重新启动Haproxy，完成Haproxy配置

 

2、修改rsyslog配置

为了便于管理，将Haproxy相关的配置独立到/etc/rsyslog.d/haproxy.conf，rsyslog启动时会自动加载此目录下的所有配置文件

vim /etc/rsyslog.d/haproxy.conf

 内容如下：

if ($programname == 'haproxy' and $syslogseverity-text == 'info') then -/var/log/haproxy/haproxy-info.log
& ~
if ($programname == 'haproxy' and $syslogseverity-text == 'notice') then -/var/log/haproxy/haproxy-notice.log
& ~

这里配置的语法是使用了rainerscript"脚本语言。

这部分配置是将Haproxy的“info”日志记录到/var/log/haproxy/haproxy-info.log下，将“notice”日志记录到/var/log/haproxy/haproxy-notice.log下，其中“&~”表示日志写入日志文件后，rsyslog停止处理这个信息。

保存配置文件并重启rsyslog服务，完成rsyslog配置

3、测试日志信息

在客户端浏览器访问http://192.168.248.30/index.html后可以使用以下命令即时查看日志信息

tail -f /var/log/haproxy/haproxy-info.log

得到的结果

四、Haproxy的参数优化

 

参数	参数说明	优化建议
maxconn	最大连接数	此参数根据应用的实际使用情况进行调整，推荐使用10240，同时“defaults”中的最大连接数的值不能超过“global”段中的定义
daemon	守护进程模式	Haproxy可以使用非守护进程模式启动，生产环境建议使用守护进程模式启动
nbproc	负载均衡的并发进程数	建议与当前服务器CPU核数相等或为其2倍
retries	重试次数	此参数主要用于对群集节点的检查，如果节点多，且并发量大，设置为2次或3次；在服务器节点不多的情况下，可以设置5次或6次
option http-server-close	主动关闭http请求选项	建议在生产环境中使用此选项，避免由于timeout时间设置过长导致http连接堆积
timeout http-keep-alive	长连接超时时间	此选项设置长连接超时时间，具体参考应用自身特点设置，可以设置为10s
timeout http-request	http请求超时时间	建议将此时间设置为5~10s，增加http连接释放速度
timeout client	客户端超时时间	如果访问量过大，节点响应慢，可以将此时间设置短一些，建议设置为1min左右就可以了