keepalived + 反向代理 + http服务构建实用性Web站点

keepalived在前面的博客中，已经介绍过了，这里就不在阐述了。那什么是反向代理呢，反向代理又有什么用呢？既然有反向代理，那就肯定有正向代理，先说下正向代理。在我们上网的时候，有时候我们不是直接访问某个网站，而是通过某个代理来访问某个网站，然后，再由该代理将结果返回给我们。这里，这个代理就是正向代理。也就是说在客户端使用的代理叫做正向代理。而反向代理正好相反。在服务器端，有些服务器出于安全及负载等考虑，不是让客户端直接访问，而是在服务器端，设置一个代理，将所有用户的请求都先发至该代理，然后，通过代理向服务器端请求相应的资源，然后由该代理向客户端回应。这里的代理就是反向代理。在网络中正向代理、反向代理如下图所示：

本文主要介绍如何结合keepalived、反向代理和http服务三者一块工作，共同构建一个高效的、实用性的web服务站点。通过一个图，来介绍下如何构建此架构，以及列举出一些常用的提供反向代理和http服务的技术都有哪些。

从上图可以看到，这里，我将keepalived和反向代理放在同一个主机上实现，后端是提供http服务的主机，采用类似于LVS的NAT模型来实现此架构。本博客，仅介绍和演示两种提供反向代理及http服务的技术，分别为：nginx、haproxy和apache、nginx。在前面的博客中，我已经介绍过，keepalived主要用来实现对我们的路由实现高可用，以免当只有一个路由时，因该路由故障导致内网无法与外部通信的问题。这里相关的理论知识就不在介绍了。在LNMP相关博文中，我已经介绍过，nginx除了可以提供http服务之外，还有一个重要的功能，那就是可用来做反向代理，这里，正是将nginx作为反向代理来用，同时也结合nginx提供的http服务一起工作。nginx由于其低资源占用，在处理客户端请求时，一万个并发请求也仅占用2.5M内存空间，因此，可以想象为何众多网站采用nginx做代理来实现了吧。haproxy是专用来提供反向代理的服务软件。待会在细细介绍haproxy。在LAMP中，已经介绍过apache了，因此，这里也不再过多介绍，仅演示实验。我会在后面的博客中专门介绍apache做代理，后端采用tomcat提供http服务的相关博客，敬请关注。

先介绍下haproxy，待会就直接演示如何实现了。

什么是haproxy呢？先来看下百度百科是如何介绍haproxy的吧。

HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在时下的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中， 同时可以保护你的web服务器不被暴露到网络上。
HAProxy实现了一种事件驱动、单一进程模型，此模型支持非常大的并发连接数。多进程或多线程模型受内存限制 、系统调度器限制以及无处不在的锁限制，很少能处理数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户端(User-Space) 实现所有这些任务，所以没有这些问题。此模型的弊端是，在多核系统上，这些程序通常扩展性较差。这就是为什么他们必须进行优化以 使每个CPU时间片(Cycle)做更多的工作。

——百度百科

HAProxy是免费、极速且可靠的用于为TCP和基于HTTP应用程序提供高可用、负载均衡和代理服务的解决方案，尤其适用于高负载且需要持久连接或7层处理机制的web站点。

HAProxy目前主要有两个版本：
1.4——提供较好的弹性：衍生于1.2版本，并提供了额外的新特性，其中大多数是期待已久的。
    客户端侧的长连接(client-side keep-alive)
    TCP加速(TCP speedups)
    响应池(response buffering)
    RDP协议
    基于源的粘性(source-based stickiness)
    更好的统计数据接口(a much better stats interfaces)
    更详细的健康状态检测机制(more verbose health checks)
    基于流量的健康评估机制(traffic-based health)
    支持HTTP认证
    服务器管理命令行接口(server management from the CLI)
    基于ACL的持久性(ACL-based persistence)
    日志分析器

1.3——内容交换和超强负载：衍生于1.2版本，并提供了额外的新特性。
    内容交换(content switching)：基于任何请求标准挑选服务器池；
    ACL：编写内容交换规则；
    负载均衡算法(load-balancing algorithms)：更多的算法支持；
    内容探测(content inspection)：阻止非授权协议；
    透明代理(transparent proxy)：在Linux系统上允许使用客户端IP直接连入服务器；
    内核TCP拼接(kernel TCP splicing)：无copy方式在客户端和服务端之间转发数据以实现数G级别的数据速率；
    分层设计(layered design)：分别实现套接字、TCP、HTTP处理以提供更好的健壮性、更快的处理机制及便捷的演进能力；
    快速、公平调度器(fast and fair scheduler)：为某些任务指定优先级可实现理好的QoS；
    会话速率限制(session rate limiting)：适用于托管环境；

支持的平台及OS：
    x86、x86_64、Alpha、SPARC、MIPS及PARISC平台上的Linux 2.4；
    x86、x86_64、ARM (ixp425)及PPC64平台上的Linux2.6；
    UltraSPARC 2和3上的Sloaris 8/9；
    Opteron和UltraSPARC平台上的Solaris 10；
    x86平台上的FreeBSD 4.1-8；
    i386, amd64, macppc, alpha, sparc64和VAX平台上的OpenBSD 3.1-current；

若要获得最高性能，需要在Linux 2.6或打了epoll补丁的Linux 2.4上运行haproxy 1.2.5以上的版本。haproxy 1.1l默认使用的polling系统为select()，其处理的文件数达数千个时性能便会急剧下降。1.2和1.3版本默认的为poll()，在有些操作系统上可会也会有性能方面的问题，但在Solaris上表现相当不错。HAProxy 1.3在Linux 2.6及打了epoll补丁的Linux 2.4上默认使用epoll，在FreeBSD上使用kqueue，这两种机制在任何负载上都能提供恒定的性能表现。

在较新版本的Linux 2.6(>=2.6.27.19)上，HAProxy还能够使用splice()系统调用在接口间无复制地转发任何数据，这甚至可以达到10Gbps的性能。

基于以上事实，在x86或x86_64平台上，要获取最好性能的负载均衡器，建议按顺序考虑以下方案。
    Linux 2.6.32及之后版本上运行HAProxy 1.4；
    打了epoll补丁的Linux 2.4上运行HAProxy 1.4；
    FreeBSD上运行HAProxy 1.4；
    Solaris 10上运行HAProxy 1.4；

性能方面：
HAProxy借助于OS上几种常见的技术来实现性能的最大化。
    单进程、事件驱动模型显著降低了上下文切换的开销及内存占用。
    O(1)事件检查器(event checker)允许其在高并发连接中对任何连接的任何事件实现即时探测。
    在任何可用的情况下，单缓冲(single buffering)机制能以不复制任何数据的方式完成读写操作，这会节约大量的CPU时钟周期及内存带宽；
    借助于Linux 2.6 (>= 2.6.27.19)上的splice()系统调用，HAProxy可以实现零复制转发(Zero-copy forwarding)，在Linux 3.5及以上的OS中还可以实现零复制启动(zero-starting)；
    MRU内存分配器在固定大小的内存池中可实现即时内存分配，这能够显著减少创建一个会话的时长；
    树型存储：侧重于使用作者多年前开发的弹性二叉树，实现了以O(log(N))的低开销来保持计时器命令、保持运行队列命令及管理轮询及最少连接队列；
    优化的HTTP首部分析：优化的首部分析功能避免了在HTTP首部分析过程中重读任何内存区域；
    精心地降低了昂贵的系统调用，大部分工作都在用户空间完成，如时间读取、缓冲聚合及文件描述符的启用和禁用等；

所有的这些细微之处的优化实现了在中等规模负载之上依然有着相当低的CPU负载，甚至于在非常高的负载场景中，5%的用户空间占用率和95%的系统空间占用率也是非常普遍的现象，这意味着HAProxy进程消耗比系统空间消耗低20倍以上。因此，对OS进行性能调优是非常重要的。即使用户空间的占用率提高一倍，其CPU占用率也仅为10%，这也解释了为何7层处理对性能影响有限这一现象。由此，在高端系统上HAProxy的7层性能可轻易超过硬件负载均衡设备。

在生产环境中，在7层处理上使用HAProxy作为昂贵的高端硬件负载均衡设备故障故障时的紧急解决方案也时长可见。硬件负载均衡设备在“报文”级别处理请求，这在支持跨报文请求(request across multiple packets)有着较高的难度，并且它们不缓冲任何数据，因此有着较长的响应时间。对应地，软件负载均衡设备使用TCP缓冲，可建立极长的请求，且有着较大的响应时间。

以上是haproxy的相关理论知识，配置文件中的相关参数，暂不介绍，待会演示的时候在介绍配置文件中各参数的含义。

演示实验包括以下两个：

一、keepalived + nginx反向代理 + apache服务构建Web站点

二、keepalived + haproxy反向代理 + apache服务构建Web站点

此处，keepalived用来提供虚拟路由的功能，采用两台主机来实现此功能；nginx反向代理功能与keepalived一起在同一主机上实现。在提供反向代理功能方面，还有另外一个也可以实现反向代理的功能，那就是haproxy，关于haproxy的反向代理功能的实现，会在后面的博客中介绍，敬请关注，这里主要介绍nginx的反向代理功能的实现。apache用来提供http服务，后端也可以是一个基于LAMP架构的服务器。在上一遍博客中，提供的一张图片显示，apache的市场份额依然占据着领导地位，其强大的市场份额一时半会还没有哪个能够超越，因此，在企业中，基于LAMP架构来提供http服务还是很多的。这里我们就不演示基于LAMP架构来实现此三者的组合了，有兴趣的话读者可参考我的另一篇博客中介绍的方法自行构建一个LAMP，然后加上nginx的反向代理功能，再加上keepalived来提供虚拟路由功能，将三者结合起来一起工作。

实验环境：

本次所示实验都在虚拟机上实现。

系统：RHEL5.8；

内核：linux-2.6.18-308.el5；

基于keepalived的主从模型实现，后端采用类似于LVS的NAT模型实现。

各IP分配如下所示：

     VIP: 172.16.32.5

     DIP: 172.16.32.30    对应主机名为：node1

            172.16.32.31    对应主机名为：node2

     RIP: 172.16.32.32    对应主机名为：node3

            172.16.32.33    对应主机名为：node4

实现集群的前提：

1、时间同步

2、双机互信

3、主机名解析

以上三个前提在前面的博客中我已经介绍过如何实现了，这里就不在介绍了，不知道的请参考我以前的博客。

现在开始演示我们的实验。

一、keepalived + nginx反向代理 + apache提供的http服务构建Web站点

先看下实现模型图：

在上图中，keepalived和nginx反向代理在同一个主机上实现，后端是apache提供的http服务。

首先，安装好yum源，然后先去提供http服务的两台后端主机node3和node4上安装apache，以提供http服务。

以下操作需在node3和node4上都进行：

rpm -q httpd  #查看是否安装此软件包，如果没有配置好yum源后安装此软件包
yum -y install httpd  #安装该软件包
vim /var/www/html/index.html   #编辑该文件，添加如下两行信息，以提供主页
http://lq2419.blog.51cto.com/
Apache node3, IP: 172.16.32.32
    #在node4主机上，修改
Apache node4, IP: 172.16.32.33
service httpd start   #启动httpd服务

在我们的物理机上进行测试，显示效果如下所示：

下面是实现的日志，这里进贴出其中一个主机的日志。

tail /var/log/httpd/access_log    #在node3查看日志信息，查看显示访问的IP，因为是通过我们的物理机直接访问，所以显示的是物理机IP
172.16.32.0 - - [25/May/2013:20:55:46 +0800] "GET / HTTP/1.1" 200 79 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31"
172.16.32.0 - - [25/May/2013:20:55:46 +0800] "GET /favicon.ico HTTP/1.1" 404 287 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31"
172.16.32.0 - - [25/May/2013:20:55:46 +0800] "GET / HTTP/1.1" 200 79 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31"
172.16.32.0 - - [25/May/2013:20:55:46 +0800] "GET /favicon.ico HTTP/1.1" 404 287 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31"
172.16.32.0 - - [25/May/2013:20:55:47 +0800] "GET / HTTP/1.1" 200 79 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31"
172.16.32.0 - - [25/May/2013:20:55:47 +0800] "GET /favicon.ico HTTP/1.1" 404 287 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31"
172.16.32.0 - - [25/May/2013:20:55:47 +0800] "GET / HTTP/1.1" 200 79 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31"
172.16.32.0 - - [25/May/2013:20:55:47 +0800] "GET /favicon.ico HTTP/1.1" 404 287 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31"
172.16.32.0 - - [25/May/2013:20:55:47 +0800] "GET / HTTP/1.1" 200 79 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31"
172.16.32.0 - - [25/May/2013:20:55:47 +0800] "GET /favicon.ico HTTP/1.1" 404 287 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31"

修改httpd的配置文件，对日志显示格式进行修改。

vim /etc/httpd/conf/httpd.conf   #修改该文件
LogFormat "%{X-Real-IP}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined   #找到该项，将第一个%h修改%{X-Real-IP}i，用于当使用代理访问时显示客户端IP，而不是代理IP
service httpd restart   #重启httpd服务

以上修改需在两台后端服务器主机上都进行。为了看效果，你也可以先不修改后端服务器httpd配置文件中日志格式的显示情况，先启动代理服务，使用物理机访问代理主机，然后在服务器主机上查看访问日志，看显示的客户端IP是否正常，是代理IP还是物理机IP。然后再来修改此选项。这里不再演示。

后端的两台http服务器已配置完毕。接着去前端的两台代理主机node1和node2上进行相关的配置。下载好nginx，这里通过源码编译安装nginx，所用版本为nginx-1.4.1.tar.gz，在编译安装前，先解决依赖关系，安装pcre-devle包。nginx×××地址：http://nginx.org/en/download.html也可根据需要下载相关版本。

以下操作在需在node1和node2上都执行：

yum -y install pcre-devel
tar xf nginx-1.4.1.tar.gz
cd nginx-1.4.1
./configure \         #执行该命令，各参数相关含义前面博客中已经介绍过，这里就不再介绍了
  --prefix=/usr \
  --sbin-path=/usr/sbin/nginx \
  --conf-path=/etc/nginx/nginx.conf \
  --error-log-path=/var/log/nginx/error.log \
  --http-log-path=/var/log/nginx/access.log \
  --pid-path=/var/run/nginx/nginx.pid  \
  --lock-path=/var/lock/nginx.lock \
  --user=nginx \
  --group=nginx \
  --with-http_ssl_module \
  --with-http_flv_module \
  --with-http_stub_status_module \
  --with-http_gzip_static_module \
  --http-client-body-temp-path=/var/tmp/nginx/client/ \
  --http-proxy-temp-path=/var/tmp/nginx/proxy/ \
  --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ \
  --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi \
  --http-scgi-temp-path=/var/tmp/nginx/scgi \
  --with-pcre \
  --with-file-aio
提供SysV风格的服务脚本：
vim /etc/init.d/nginx
#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig:   - 85 15
# description:  Nginx is an HTTP(S) server, HTTP(S) reverse \
#               proxy and IMAP/POP3 proxy server
# processname: nginx
# config:      /etc/nginx/nginx.conf
# config:      /etc/sysconfig/nginx
# pidfile:     /var/run/nginx.pid
# Source function library.
. /etc/rc.d/init.d/functions
# Source networking configuration.
. /etc/sysconfig/network
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
nginx="/usr/sbin/nginx"
prog=$(basename $nginx)
NGINX_CONF_FILE="/etc/nginx/nginx.conf"
[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
lockfile=/var/lock/subsys/nginx
make_dirs() {
   # make required directories
   user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
   options=`$nginx -V 2>&1 | grep 'configure arguments:'`
   for opt in $options; do
       if [ `echo $opt | grep '.*-temp-path'` ]; then
           value=`echo $opt | cut -d "=" -f 2`
           if [ ! -d "$value" ]; then
               # echo "creating" $value
               mkdir -p $value && chown -R $user $value
           fi
       fi
   done
}
start() {
    [ -x $nginx ] || exit 5
    [ -f $NGINX_CONF_FILE ] || exit 6
    make_dirs
    echo -n $"Starting $prog: "
    daemon $nginx -c $NGINX_CONF_FILE
    retval=$?
    echo
    [ $retval -eq 0 ] && touch $lockfile
    return $retval
}
stop() {
    echo -n $"Stopping $prog: "
    killproc $prog -QUIT
    retval=$?
    echo
    [ $retval -eq 0 ] && rm -f $lockfile
    return $retval
}
restart() {
    configtest || return $?
    stop
    sleep 1
    start
}
reload() {
    configtest || return $?
    echo -n $"Reloading $prog: "
    killproc $nginx -HUP
    RETVAL=$?
    echo
}
force_reload() {
    restart
}
configtest() {
  $nginx -t -c $NGINX_CONF_FILE
}
rh_status() {
    status $prog
}
rh_status_q() {
    rh_status >/dev/null 2>&1
}
case "$1" in
    start)
        rh_status_q && exit 0
        $1
        ;;
    stop)
        rh_status_q || exit 0
        $1
        ;;
    restart|configtest)
        $1
        ;;
    reload)
        rh_status_q || exit 7
        $1
        ;;
    force-reload)
        force_reload
        ;;
    status)
        rh_status
        ;;
    condrestart|try-restart)
        rh_status_q || exit 0
            ;;
    *)
        echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
        exit 2
esac
赋予其执
行权限：
chmod +x /etc/init.d/nginx
service httpd stop   #如果http服务启动，需先关闭
chkconfig httpd off    #关闭开机自启动
chkconfig --add nginx   #添加到服务列表
chkconfig nginx on   #开机自启动
chkconfig --list nginx
service nginx start   #启动服务

到此两台主机上的nginx就算是安装好了，我们只需添加相关代理的配置即可。现在直接配置我们的代理，使其能够工作。

vim /etc/nginx/nginx.conf   #编辑此配置文件，添加与代理相关的配置
    upstream webserver {            #在http段，添加新的上下文
        server 172.16.32.32 weight=1 max_fails=2 fail_timeout=2;   #定义后端服务器，权重为1，最大尝试失败次数为2，失败时两次尝试的超时时长为2
        server 172.16.32.33 weight=1 max_fails=2 fail_timeout=2;
        server 127.0.0.1 backup;      #定义当上边两个都down机后，启用本机的服务，只要有一个还提供服务，就不启用此主机的服务
    }
    server {
        listen       80;
        server_name  localhost;
        #charset koi8-r;
        #access_log  logs/host.access.log  main;
        location / {          #删除根下所有的默认配置，添加如下两行
         proxy_pass http://webserver;        #将所有访问根的都转发的webserver
         proxy_set_header X-Real-IP $remote_addr;        #设置转发的头部，此项可实现让后端服务器记录客户端IP，否则记录的是代理的IP，但后端服务器的记录格式也需要相应修改
        }
同样，将上边配置好的文件发给另一台代理主机：
scp /etc/nginx/nginx.conf node2:/etc/nginx  #将此配置文件传给另一个代理主机，假如你没有实现主机名解析，请写成相应的IP地址
service nginx reload  #重新载入nginx服务

知识点补充：

upstream模块可定义一个新的上下文，它包含了一组宝岛upstream服务器，这些服务器可能被赋予了不同的权重、不同的类型甚至可以基于维护等原因被标记为down。

upstream模块常用的指令有：
ip_hash：基于客户端IP地址完成请求的分发，它可以保证来自于同一个客户端的请求始终被转发至同一个upstream服务器；
keepalive：每个worker进程为发送到upstream服务器的连接所缓存的个数；
least_conn：最少连接调度算法；
server：定义一个upstream服务器的地址，还可包括一系列可选参数，如：
     weight：权重；
     max_fails：最大失败连接次数，失败连接的超时时长由fail_timeout指定；
     fail_timeout：等待请求的目标服务器发送响应的时长；
     backup：用于fallback的目的，所有服务均故障时才启动此服务器；
     down：手动标记其不再处理任何请求；
upstream模块的负载均衡算法主要有三种，轮调(round-robin)、ip哈希(ip_hash)和最少连接(least_conn)三种。默认为轮调。

现在在我们的物理机上在测试下，这次我们在IE浏览器上测试，因为谷歌浏览器有缓存，刷新时看不出来效果。进行测试，看我们的代理能否工作，显示效果如下所示：

同样，启动另一个代理主机的nginx服务，看能否实现代理功能，这里不再演示。

最后去安装keepalived。keepalived我们采用安装rpm包的方式，不在使用源码包，首先，请下载keepalived的相关rpm包，这里使用的是keepalived-1.2.7-5.el5.i386.rpm。

yum -y --nogpgcheck localinstall keepalived-1.2.7-5.el5.i386.rpm

因前面已经介绍过keepalived配置文件各参数含义，这里不再介绍，直接配置。

vim /etc/keepalived/keepalived.conf   #修改其配置文件
global_defs {
   notification_email {
     root@localhost
   }
   notification_email_from keepalived@localhost
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
vrrp_script chk_nginx {    #检查nginx服务是否存在
    script "killall -0 nginx" 
    interval 2
    weight -2
    fall 2
    rise 1    
}
vrrp_script chk_schedown {    #用于手动控制keepalived的主从模型
   script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"
   interval 2
   weight -2
}
vrrp_instance VI_1 {       
    state MASTER              #设置其为master，在node2主机上设置该项为backup
    interface eth0
    virtual_router_id 232   #设置虚拟路由组ID
    priority 101                #设置优先级，在node2主机上设置该项为100，因为是backup
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass langdu
    }
    virtual_ipaddress {
        172.16.32.5/16 dev eth0 label eth0:0
    }
    track_script {   
        chk_nginx
        chk_schedown
    }
    notify_master "/etc/keepalived/notify.sh master"    #根据检查结果不同，向同一脚本传递不同的参数
    notify_backup "/etc/keepalived/notify.sh backup"
    notify_fault "/etc/keepalived/notify.sh fault"
}
健康检查脚本如下所示：
vim /etc/keepalived/notify.sh    #健康检查脚本，在node2主机上也添加次脚本
#!/bin/bash
# Author: MageEdu 
# description: An example of notify script
#
vip=172.16.32.5
contact='root@localhost'
Notify() {
    mailsubject="`hostname` to be $1: $vip floating"
    mailbody="`date '+%F %H:%M:%S'`: vrrp transition, `hostname` changed to be $1"
    echo $mailbody | mail -s "$mailsubject" $contact
}
case "$1" in
    master)
        notify master
        /etc/rc.d/init.d/haproxy start
        exit 0
    ;;
    backup)
        notify backup
        /etc/rc.d/init.d/haproxy restart
        exit 0
    ;;
    fault)
        notify fault
        exit 0
    ;;
    *)
        echo 'Usage: `basename $0` {master|backup|fault}'
        exit 1
    ;;
esac
service keepalived start   #启动我们的keepalived服务
先看下主节点上的日志信息
tail /var/log/messages    #查看node1节点上的日志信息
May 25 19:37:03 node1 Keepalived_vrrp[3822]: VRRP_Script(chk_schedown) succeeded
May 25 19:37:04 node1 Keepalived_vrrp[3822]: VRRP_Instance(VI_1) forcing a new MASTER election
May 25 19:37:05 node1 Keepalived_vrrp[3822]: VRRP_Instance(VI_1) Transition to MASTER STATE
May 25 19:37:06 node1 Keepalived_vrrp[3822]: VRRP_Instance(VI_1) Entering MASTER STATE    #进入master状态
May 25 19:37:06 node1 Keepalived_vrrp[3822]: VRRP_Instance(VI_1) setting protocol VIPs.
May 25 19:37:06 node1 Keepalived_vrrp[3822]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 172.16.32.5
May 25 19:37:06 node1 Keepalived_vrrp[3822]: Netlink reflector reports IP 172.16.32.5 added   #添加虚拟IP
May 25 19:37:06 node1 Keepalived_healthcheckers[3821]: Netlink reflector reports IP 172.16.32.5 added
May 25 19:37:11 node1 Keepalived_vrrp[3822]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 172.16.32.5
ifconfig    #查看node1上各端口的IP配置
eth0      Link encap:Ethernet  HWaddr 00:0C:29:9F:2F:AF
          inet addr:172.16.32.30  Bcast:172.16.255.255  Mask:255.255.0.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:655564 errors:7 dropped:0 overruns:0 frame:0
          TX packets:66292 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:76104124 (72.5 MiB)  TX bytes:9021082 (8.6 MiB)
          Interrupt:59 Base address:0x2000
eth0:0    Link encap:Ethernet  HWaddr 00:0C:29:9F:2F:AF      #添加有虚拟IP
          inet addr:172.16.32.5  Bcast:0.0.0.0  Mask:255.255.0.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          Interrupt:59 Base address:0x2000
lo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:2472 errors:0 dropped:0 overruns:0 frame:0
          TX packets:2472 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:227776 (222.4 KiB)  TX bytes:227776 (222.4 KiB)

为了查看效果，我们依然在IE浏览器上查看。

我们知道，配置keepalived就是想实现地址漂移的，那IP到底会不会漂移呢，现在我们去试一下。在keepalived的相关配置文件中，提到，只需在/etc/keepalived目录下创建一个down文件即可实现手动漂移。现在我们创建个文件，尝试一下。

在master主机上，这里是node1，请查看你的哪台主机是master，创建一个down文件。

touch /etc/keepalived/down   #创建该文件，用以实现手动实现IP地址漂移
tail /var/log/messages     #查看node1的日志信息
May 25 19:37:06 node1 Keepalived_vrrp[3822]: Netlink reflector reports IP 172.16.32.5 added
May 25 19:37:06 node1 Keepalived_healthcheckers[3821]: Netlink reflector reports IP 172.16.32.5 added
May 25 19:37:11 node1 Keepalived_vrrp[3822]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 172.16.32.5
May 25 20:41:02 node1 Keepalived_vrrp[3822]: VRRP_Script(chk_schedown) failed
May 25 20:41:03 node1 Keepalived_vrrp[3822]: VRRP_Instance(VI_1) Received higher prio advert
May 25 20:41:03 node1 Keepalived_vrrp[3822]: VRRP_Instance(VI_1) Entering BACKUP STATE    #进入backup状态
May 25 20:41:03 node1 Keepalived_vrrp[3822]: VRRP_Instance(VI_1) removing protocol VIPs.
May 25 20:41:03 node1 Keepalived_vrrp[3822]: Netlink reflector reports IP 172.16.32.5 removed    #实现IP漂移
May 25 20:41:03 node1 Keepalived_healthcheckers[3821]: Netlink reflector reports IP 172.16.32.5 removed
现在去查看下node2主机上的日志信息，看是否是master。
tail /var/log/messages
May 25 19:37:15 node1 Keepalived_vrrp[17601]: Netlink reflector reports IP 172.16.32.5 removed
May 25 20:41:15 node1 Keepalived_vrrp[17601]: VRRP_Instance(VI_1) forcing a new MASTER election
May 25 20:41:16 node1 Keepalived_vrrp[17601]: VRRP_Instance(VI_1) Transition to MASTER STATE
May 25 20:41:17 node1 Keepalived_vrrp[17601]: VRRP_Instance(VI_1) Entering MASTER STATE     #进入master状态
May 25 20:41:17 node1 Keepalived_vrrp[17601]: VRRP_Instance(VI_1) setting protocol VIPs.
May 25 20:41:17 node1 Keepalived_healthcheckers[17600]: Netlink reflector reports IP 172.16.32.5 added   #添加虚拟IP
May 25 20:41:17 node1 avahi-daemon[3375]: Registering new address record for 172.16.32.5 on eth0.
May 25 20:41:17 node1 Keepalived_vrrp[17601]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 172.16.32.5
May 25 20:41:17 node1 Keepalived_vrrp[17601]: Netlink reflector reports IP 172.16.32.5 added
May 25 20:41:22 node1 Keepalived_vrrp[17601]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 172.16.32.5

实现IP漂移回来就不在演示了，可自己删除创建的文件，然后查看日志信息。从上面两台主机的日志信息，我们已经看到，可以实现IP地址的漂移，并且在物理机上刷新界面显示也正常。到此，keepalived + nginx反向代理 + apache构建Web站点我们已经实现。

二、keepalived + haproxy反向代理 + apache提供的http服务构建Web站点

先看构建的模型图：

还是在我们刚才的主机上进行。但是有一点不好的是，rhel5.8上其yum源里没有自带的haproxy安装包，所以，这里我们采用下载源码包，自己编译安装的方式安装haproxy，本人也是第一次源码编译安装，以前是在rhel6.4上采用rpm包安装的，所以，在源码编译安装的过程中，肯定会遇到各种问题，如果有必要我会将遇到的问题一并贴出来，与大家分享，也好解决当你遇到同样问题时不知如何办才好。好了，废话不多说，开始安装我们的haproxy吧。

在node1和node2主机上关机keepalived和nginx服务。

service keepalived stop   #关闭keepalived服务
service nginx stop          #关闭nginx服务
chkconfig nginx off        #关闭开机自启动
然后去下载我们的haproxy，这里采用haproxy-1.4.22版本，下载地址为http://haproxy.1wt.eu/#down
tar xf haproxy-1.4.22.tar.gz
cd haproxy-1.4.22
uname -r    #确定自己的内核版本是多少，这里我的内核是linux-2.6.18-308.el5，所以下边使用linux26
make TARGET=linux26 PREFIX=/usr/local/  
make install PARFIX=/usr/local/

注：进入该haproxy-1.4.22目录后，你会发现这里并没有我们常见的configure文件，所以不需要执行./configure命令。TARGET用于指定内核版本，PREFIX用于指定安装文件路径，虽然指定了文件路径，但在该目录下并不会生成该文件，此处还有一点需要注意，后边两个选项一定要写成大写，本人试了，小写会报错。 不管你信不信，反正我是信了 。要不你试试.

为haproxy提供配置文件和服务脚本。

mkdir /etc/haproxy  #创建该目录，用来存放我们的配置文件
cp examples/haproxy.cfg /etc/haproxy/   #复制该文件当我们的配置文件，但是里边好多需要修改
提供SysV风格服务脚本：
vim /etc/init.d/haproxy   #编辑该文件，添加服务脚本
#!/bin/sh
#
# haproxy
#
# chkconfig:   - 85 15
# description:  HAProxy is a free, very fast and reliable solution \
#               offering high availability, load balancing, and \
#               proxying for TCP and  HTTP-based applications
# processname: haproxy
# config:      /etc/haproxy/haproxy.cfg
# pidfile:     /var/run/haproxy.pid
# Source function library.
. /etc/rc.d/init.d/functions
# Source networking configuration.
. /etc/sysconfig/network
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
exec="/usr/local/sbin/haproxy"      #在执行完make install之后，会出现此选项，我们可以直接执行haproxy命令
prog=$(basename $exec)                #说白了，其实就是让取haproxy，不信，待会启动报错时你就会发现了
[ -e /etc/sysconfig/$prog ] && . /etc/sysconfig/$prog
lockfile=/var/lock/subsys/haproxy        #锁文件
check() {
    $exec -c -V -f /etc/$prog/$prog.cfg      #知道为何创建刚才的那个haproxy目录了，如果不创建此目录，这里就需要修改了。假如你没有创建刚才的目录，请相应修改服务脚本中的选项
}
start() {
    $exec -c -q -f /etc/$prog/$prog.cfg
    if [ $? -ne 0 ]; then
        echo "Errors in configuration file, check with $prog check."
        return 1
    fi
    echo -n $"Starting $prog: "
    # start it up here, usually something like "daemon $exec"
    daemon $exec -D -f /etc/$prog/$prog.cfg -p /var/run/$prog.pid
    retval=$?
    echo
    [ $retval -eq 0 ] && touch $lockfile
    return $retval
}
stop() {
    echo -n $"Stopping $prog: "
    # stop it here, often "killproc $prog"
    killproc $prog
    retval=$?
    echo
    [ $retval -eq 0 ] && rm -f $lockfile
    return $retval
}
restart() {
    $exec -c -q -f /etc/$prog/$prog.cfg
    if [ $? -ne 0 ]; then
        echo "Errors in configuration file, check with $prog check."
        return 1
    fi
    stop
    start
}
reload() {
    $exec -c -q -f /etc/$prog/$prog.cfg
    if [ $? -ne 0 ]; then
        echo "Errors in configuration file, check with $prog check."
        return 1
    fi
    echo -n $"Reloading $prog: "
    $exec -D -f /etc/$prog/$prog.cfg -p /var/run/$prog.pid -sf $(cat /var/run/$prog.pid)
    retval=$?
    echo
    return $retval
}
force_reload() {
    restart
}
fdr_status() {
    status $prog
}
case "$1" in
    start|stop|restart|reload)
        $1
        ;;
    force-reload)
        force_reload
        ;;
    check)
        check
        ;;
    status)
        fdr_status
        ;;
    condrestart|try-restart)
       [ ! -f $lockfile ] || restart
     ;;
    *)
        echo $"Usage: $0 {start|stop|status|restart|try-restart|reload|force-reload}"
        exit 2
esac

此服务脚本是参考rhel6.4上的haproxy的服务脚本，稍加改动而成的。假如你不想源码编译安装haproxy的话，也可以在rhel6.4上进行此实验。但是rhel6.4上有个地方需要修改，待会再说。

chmod +x /etc/init.d/haproxy
chkconfig --add haproxy
chkconfig haproxy on

先不要启动haproxy服务，先去修改配置文件，将其修改成我们需要的。先介绍下haproxy配置文件中的选项含义

haproxy的配置文件中的选项可分为两个类：

    ——“global”配置段，用于设定全局配置参数；
    ——proxy相关配置段，如“defaults”、“listen”、“frontend”和“backend”；

一、全局配置段：

“global”配置中的参数为进程级别的参数，且通常与其运行的OS相关。

* 进程管理及安全相关的参数
  - chroot ：修改haproxy的工作目录至指定的目录并在放弃权限之前执行chroot()操作，可以提升haproxy的安全级别，不过需要注意的是要确保指定的目录为空目录且任何用户均不能有写权限；
  - daemon：让haproxy以守护进程的方式工作于后台，其等同于“-D”选项的功能，当然，也可以在命令行中以“-db”选项将其禁用；
  - gid ：以指定的GID运行haproxy，建议使用专用于运行haproxy的GID，以免因权限问题带来风险；
  - group ：同gid，不过指定的组名；
  - log  

[max level [min level]]：定义全局的syslog服务器，最多可以定义两个；
  - log-send-hostname []：在syslog信息的首部添加当前主机名，可以为“string”指定的名称，也可以缺省使用当前主机名；
  - nbproc ：指定启动的haproxy进程个数，只能用于守护进程模式的haproxy；默认只启动一个进程，鉴于调试困难等多方面的原因，一般只在单进程仅能打开少数文件描述符的场景中才使用多进程模式；
  - pidfile：
  - uid：以指定的UID身份运行haproxy进程；
  - ulimit-n：设定每进程所能够打开的最大文件描述符数目，默认情况下其会自动进行计算，因此不推荐修改此选项；
  - user：同uid，但使用的是用户名；
  - stats：
  - node：定义当前节点的名称，用于HA场景中多haproxy进程共享同一个IP地址时；
  - description：当前实例的描述信息；

* 性能调整相关的参数
  - maxconn ：设定每个haproxy进程所接受的最大并发连接数，其等同于命令行选项“-n”；“ulimit -n”自动计算的结果正是参照此参数设定的；
  - maxpipes ：haproxy使用pipe完成基于内核的tcp报文重组，此选项则用于设定每进程所允许使用的最大pipe个数；每个pipe会打开两个文件描述符，因此，“ulimit -n”自动计算时会根据需要调大此值；默认为maxconn/4，其通常会显得过大；
  - noepoll：在Linux系统上禁用epoll机制；
  - nokqueue：在BSE系统上禁用kqueue机制；
  - nopoll：禁用poll机制；
  - nosepoll：在Linux禁用启发式epoll机制；
  - nosplice：禁止在Linux套接字上使用内核tcp重组，这会导致更多的recv/send系统调用；不过，在Linux 2.6.25-28系列的内核上，tcp重组功能有bug存在；
  - spread-checks <0..50, in percent>：在haproxy后端有着众多服务器的场景中，在精确的时间间隔后统一对众服务器进行健康状况检查可能会带来意外问题；此选项用于将其检查的时间间隔长度上增加或减小一定的随机时长；
  - tune.bufsize ：设定buffer的大小，同样的内存条件小，较小的值可以让haproxy有能力接受更多的并发连接，较大的值可以让某些应用程序使用较大的cookie信息；默认为16384，其可以在编译时修改，不过强烈建议使用默认值；
  - tune.chksize ：设定检查缓冲区的大小，单位为字节；更大的值有助于在较大的页面中完成基于字符串或模式的文本查找，但也会占用更多的系统资源；不建议修改；
  - tune.maxaccept ：设定haproxy进程内核调度运行时一次性可以接受的连接的个数，较大的值可以带来较大的吞吐率，默认在单进程模式下为100，多进程模式下为8，设定为-1可以禁止此限制；一般不建议修改；
  - tune.maxpollevents  ：设定一次系统调用可以处理的事件最大数，默认值取决于OS；其值小于200时可节约带宽，但会略微增大网络延迟，而大于200时会降低延迟，但会稍稍增加网络带宽的占用量；
  - tune.maxrewrite ：设定为首部重写或追加而预留的缓冲空间，建议使用1024左右的大小；在需要使用更大的空间时，haproxy会自动增加其值；
  - tune.rcvbuf.client ：
  - tune.rcvbuf.server ：设定内核套接字中服务端或客户端接收缓冲的大小，单位为字节；强烈推荐使用默认值；
  - tune.sndbuf.client：
  - tune.sndbuf.server：

* Debug相关的参数
  - debug
  - quiet

二、与代理相关的配置段：

与代理相关的配置又可以分为如下几段：
- defaults
- frontend
- backend  
- listen  

“defaults”段用于为所有其它配置段提供默认参数，这默认配置参数可由下一个“defaults”所重新设定。
“frontend”段用于定义一系列监听的套接字，这些套接字可接受客户端请求并与之建立连接。
“backend”段用于定义一系列“后端”服务器，代理将会将对应客户端的请求转发至这些服务器。
“listen”段通过关联“前端”和“后端”定义了一个完整的代理，通常只对TCP流量有用。

所有代理的名称只能使用大写字母、小写字母、数字、-(中线)、_(下划线)、.(点号)和:(冒号)。

三、配置文件中的关键字参考

3.1 balance
balance [ ]
balance url_param [check_post []]
定义负载均衡算法，可用于“defaults”、“listen”和“backend”。用于在负载均衡场景中挑选一个server，其仅应用于持久信息不可用的条件下或需要将一个连接重新派发至另一个服务器时。支持的算法有：
    roundrobin：基于权重进行轮叫，在服务器的处理时间保持均匀分布时，这是最平衡、最公平的算法。此算法是动态的，这表示其权重可以在运行时进行调整，不过，在设计上，每个后端服务器仅能最多接受4128个连接；
    static-rr：基于权重进行轮叫，与roundrobin类似，但是为静态方法，在运行时调整其服务器权重不会生效；不过，其在后端服务器连接数上没有限制；
    leastconn：新的连接请求被派发至具有最少连接数目的后端服务器；在有着较长时间会话的场景中推荐使用此算法，如LDAP、SQL等，其并不太适用于较短会话的应用层协议，如HTTP；此算法是动态的，可以在运行时调整其权重；
    source：将请求的源地址进行hash运算，并由后端服务器的权重总数相除后派发至某匹配的服务器；这可以使得同一个客户端IP的请求始终被派发至某特定的服务器；不过，当服务器权重总数发生变化时，如某服务器宕机或添加了新的服务器，许多客户端的请求可能会被派发至与此前请求不同的服务器；常用于负载均衡无cookie功能的基于TCP的协议；其默认为静态，不过也可以使用hash-type修改此特性；
    uri：对URI的左半部分(“问题”标记之前的部分)或整个URI进行hash运算，并由服务器的总权重相除后派发至某匹配的服务器；这可以使得对同一个URI的请求总是被派发至某特定的服务器，除非服务器的权重总数发生了变化；此算法常用于代理缓存或反病毒代理以提高缓存的命中率；需要注意的是，此算法仅应用于HTTP后端服务器场景；其默认为静态算法，不过也可以使用hash-type修改此特性；
    url_param：通过为URL指定的参数在每个HTTP GET请求中将会被检索；如果找到了指定的参数且其通过等于号“=”被赋予了一个值，那么此值将被执行hash运算并被服务器的总权重相除后派发至某匹配的服务器；此算法可以通过追踪请求中的用户标识进而确保同一个用户ID的请求将被送往同一个特定的服务器，除非服务器的总权重发生了变化；
如果某请求中没有出现指定的参数或其没有有效值，则使用轮叫算法对相应请求进行调度；此算法默认为静态的，不过其也可以使用hash-type修改此特性；
    hdr()：对于每个HTTP请求，通过指定的HTTP首部将会被检索；如果相应的首部没有出现或其没有有效值，则使用轮叫算法对相应请求进行调度；其有一个可选选项“use_domain_only”，可在指定检索类似Host类的首部时仅计算域名部分(比如通过www.magedu.com来说，仅计算magedu字符串的hash值)以降低hash算法的运算量；此算法默认为静态的，不过其也可以使用hash-type修改此特性；
    rdp-cookie

    rdp-cookie(name)：

3.2 bind
bind [

]: [, ...]
bind [

]: [, ...] interface
此指令仅能用于frontend和listen区段，用于定义一个或几个监听的套接字。

：可选选项，其可以为主机名、IPv4地址、IPv6地址或*；省略此选项、将其指定为*或0.0.0.0时，将监听当前系统的所有IPv4地址；
：可以是一个特定的TCP端口，也可是一个端口范围(如5005-5010)，代理服务器将通过指定的端口来接收客户端请求；需要注意的是，每组监听的套接字在同一个实例上只能使用一次，而且小于1024的端口需要有特定权限的用户才能使用，这可能需要通过uid参数来定义；
：指定物理接口的名称，仅能在Linux系统上使用；其不能使用接口别名，而仅能使用物理接口名称，而且只有管理有权限指定绑定的物理接口；

3.3 mode
mode { tcp|http|health }
设定实例的运行模式或协议。当实现内容交换时，前端和后端必须工作于同一种模式(一般说来都是HTTP模式)，否则将无法启动实例。
tcp：实例运行于纯TCP模式，在客户端和服务器端之间将建立一个全双工的连接，且不会对7层报文做任何类型的检查；此为默认模式，通常用于SSL、SSH、SMTP等应用；
http：实例运行于HTTP模式，客户端请求在转发至后端服务器之前将被深度分析，所有不与RFC格式兼容的请求都会被拒绝；
health：实例工作于health模式，其对入站请求仅响应“OK”信息并关闭连接，且不会记录任何日志信息；此模式将用于响应外部组件的健康状态检查请求；目前业讲，此模式已经废弃，因为tcp或http模式中的monitor关键字可完成类似功能；

3.4 hash-type
hash-type
定义用于将hash码映射至后端服务器的方法；其不能用于frontend区段；可用方法有map-based和consistent，在大多数场景下推荐使用默认的map-based方法。
map-based：hash表是一个包含了所有在线服务器的静态数组。其hash值将会非常平滑，会将权重考虑在列，但其为静态方法，对在线服务器的权重进行调整将不会生效，这意味着其不支持慢速启动。此外，挑选服务器是根据其在数组中的位置进行的，因此，当一台服务器宕机或添加了一台新的服务器时，大多数连接将会被重新派发至一个与此前不同的服务器上，对于缓存服务器的工作场景来说，此方法不甚适用。
consistent：hash表是一个由各服务器填充而成的树状结构；基于hash键在hash树中查找相应的服务器时，最近的服务器将被选中。此方法是动态的，支持在运行时修改服务器权重，因此兼容慢速启动的特性。添加一个新的服务器时，仅会对一小部分请求产生影响，因此，尤其适用于后端服务器为cache的场景。不过，此算法不甚平滑，派发至各服务器的请求未必能达到理想的均衡效果，因此，可能需要不时的调整服务器的权重以获得更好的均衡性。

3.5 log
log global
log

[ []]
为每个实例启用事件和流量日志，因此可用于所有区段。每个实例最多可以指定两个log参数，不过，如果使用了“log global”且"global"段已经定了两个log参数时，多余了log参数将被忽略。
global：当前实例的日志系统参数同"global"段中的定义时，将使用此格式；每个实例仅能定义一次“log global”语句，且其没有任何额外参数；

：定义日志发往的位置，其格式之一可以为，其中的port为UDP协议端口，默认为514；格式之二为Unix套接字文件路径，但需要留心chroot应用及用户的读写权限；
：可以为syslog系统的标准facility之一；
：定义日志级别，即输出信息过滤器，默认为所有信息；指定级别时，所有等于或高于此级别的日志信息将会被发送；

3.6 maxconn
maxconn
设定一个前端的最大并发连接数，因此，其不能用于backend区段。对于大型站点来说，可以尽可能提高此值以便让haproxy管理连接队列，从而避免无法应答用户请求。当然，此最大值不能超出“global”段中的定义。此外，需要留心的是，haproxy会为每个连接维持两个缓冲，每个缓冲的大小为8KB，再加上其它的数据，每个连接将大约占用17KB的RAM空间。这意味着经过适当优化后，有着1GB的可用RAM空间时将能维护40000-50000并发连接。
如果为指定了一个过大值，极端场景下，其最终占据的空间可能会超出当前主机的可用内存，这可能会带来意想不到的结果；因此，将其设定了一个可接受值方为明智决定。其默认为2000。

3.7 default_backend
default_backend
在没有匹配的"use_backend"规则时为实例指定使用的默认后端，因此，其不可应用于backend区段。
在"frontend"和"backend"之间进行内容交换时，通常使用"use-backend"定义其匹配规则；而没有被规则匹配到的请求将由此参数指定的后端接收。
：指定使用的后端的名称；
使用案例：
use_backend     dynamic  if  url_dyn
use_backend     static   if  url_css url_img extension_img
default_backend dynamic

3.8 server
server

[:port] [param*]
为后端声明一个server，因此，不能用于defaults和frontend区段。
：为此服务器指定的内部名称，其将出现在日志及警告信息中；如果设定了"http-send-server-name"，它还将被添加至发往此服务器的请求首部中；

：此服务器的的IPv4地址，也支持使用可解析的主机名，只不过在启动时需要解析主机名至相应的IPv4地址；
[:port]：指定将连接请求所发往的此服务器时的目标端口，其为可选项；未设定时，将使用客户端请求时的同一相端口；
[param*]：为此服务器设定的一系参数；其可用的参数非常多，具体请参考官方文档中的说明，下面仅说明几个常用的参数；
服务器或默认服务器参数：
backup：设定为备用服务器，仅在负载均衡场景中的其它server均不可用于启用此server；
check：启动对此server执行健康状态检查，其可以借助于额外的其它参数完成更精细的设定，如：
    inter ：设定健康状态检查的时间间隔，单位为毫秒，默认为2000；也可以使用fastinter和downinter来根据服务器端状态优化此时间延迟；
    rise ：设定健康状态检查中，某离线的server从离线状态转换至正常状态需要成功检查的次数；
    fall ：确认server从正常状态转换为不可用状态需要检查的次数；
cookie ：为指定server设定cookie值，此处指定的值将在请求入站时被检查，第一次为此值挑选的server将在后续的请求中被选中，其目的在于实现持久连接的功能；
maxconn ：指定此服务器接受的最大并发连接数；如果发往此服务器的连接数目高于此处指定的值，其将被放置于请求队列，以等待其它连接被释放；
maxqueue ：设定请求队列的最大长度；
observe ：通过观察服务器的通信状况来判定其健康状态，默认为禁用，其支持的类型有“layer4”和“layer7”，“layer7”仅能用于http代理场景；
redir ：启用重定向功能，将发往此服务器的GET和HEAD请求均以302状态码响应；需要注意的是，在prefix后面不能使用/，且不能使用相对地址，以免造成循环；例如：
    server srv1 172.16.100.6:80 redir http://p_w_picpathserver.langdu.com check
weight ：权重，默认为1，最大值为256，0表示不参与负载均衡；

检查方法：
option httpchk
option httpchk
option httpchk
option httpchk ：不能用于frontend段，例如：
backend https_relay
   mode tcp
   option httpchk OPTIONS * HTTP/1.1\r\nHost:\ www.langdu.com
   server apache1 192.168.1.1:443 check port 80
使用案例：
server first  172.16.100.7:1080 cookie first  check inter 1000
server second 172.16.100.8:1080 cookie second check inter 1000

3.9 capture request header
capture request header len
捕获并记录指定的请求首部最近一次出现时的第一个值，仅能用于“frontend”和“listen”区段。捕获的首部值使用花括号{}括起来后添加进日志中。如果需要捕获多个首部值，它们将以指定的次序出现在日志文件中，并以竖线“|”作为分隔符。不存在的首部记录为空字符串，最常需要捕获的首部包括在虚拟主机环境中使用的“Host”、上传请求首部中的“Content-length”、快速区别真实用户和网络机器人的“User-agent”，以及代理环境中记录真实请求来源的“X-Forward-For”。
：要捕获的首部的名称，此名称不区分字符大小写，但建议与它们出现在首部中的格式相同，比如大写首字母。需要注意的是，记录在日志中的是首部对应的值，而非首部名称。
：指定记录首部值时所记录的精确长度，超出的部分将会被忽略。
可以捕获的请求首部的个数没有限制，但每个捕获最多只能记录64个字符。为了保证同一个frontend中日志格式的统一性，首部捕获仅能在frontend中定义。

3.10 capture response header
capture response header len
捕获并记录响应首部，其格式和要点同请求首部。

3.11 stats enable
启用基于程序编译时默认设置的统计报告，不能用于“frontend”区段。只要没有另外的其它设定，它们就会使用如下的配置：
 - stats uri   : /haproxyadmin?stats
 - stats realm : "HAProxy Statistics"
 - stats auth  : no authentication
 - stats scope : no restriction
尽管“stats enable”一条就能够启用统计报告，但还是建议设定其它所有的参数，以免其依赖于默认设定而带来非期后果。下面是一个配置案例。
 backend public_www
   server websrv1 172.16.100.11:80
   stats enable
   stats hide-version
   stats scope   .
   stats uri     /haproxyadmin?stats
   stats realm   Haproxy\ Statistics
   stats auth    statsadmin:password
   stats auth    statsmaster:password

3.12 stats hide-version
stats hide-version
启用统计报告并隐藏HAProxy版本报告，不能用于“frontend”区段。默认情况下，统计页面会显示一些有用信息，包括HAProxy的版本号，然而，向所有人公开HAProxy的精确版本号是非常有风险的，因为它能帮助恶意用户快速定位版本的缺陷和漏洞。尽管“stats hide-version”一条就能够启用统计报告，但还是建议设定其它所有的参数，以免其依赖于默认设定而带来非期后果。具体请参照“stats enable”一节的说明。

3.13 stats realm
stats realm
启用统计报告,常用于认证领域，不能用于“frontend”区段。haproxy在读取realm时会将其视作一个单词，因此，中间的任何空白字符都必须使用反斜线进行转义。此参数仅在与“stats auth”配置使用时有意义。
：实现HTTP基本认证时显示在浏览器中的领域名称，用于提示用户输入一个用户名和密码。尽管“stats realm”一条就能够启用统计报告，但还是建议设定其它所有的参数，以免其依赖于默认设定而带来非期后果。具体请参照“stats enable”一节的说明。

3.14 stats scope
stats scope { | "." }
启用统计报告并限定报告的区段，不能用于“frontend”区段。当指定此语句时，统计报告将仅显示其列举出区段的报告信息，所有其它区段的信息将被隐藏。如果需要显示多个区段的统计报告，此语句可以定义多次。需要注意的是，区段名称检测仅仅是以字符串比较的方式进行，它不会真检测指定的区段是否真正存在。
：可以是一个“listen”、“frontend”或“backend”区段的名称，而“.”则表示stats scope语句所定义的当前区段。
尽管“stats scope”一条就能够启用统计报告，但还是建议设定其它所有的参数，以免其依赖于默认设定而带来非期后果。下面是一个配置案例。
backend private_monitoring
   stats enable
   stats uri     /haproxyadmin?stats
   stats refresh 10s

3.15 stats auth
stats auth :
启用带认证的统计报告功能并授权一个用户帐号，其不能用于“frontend”区段。
：授权进行访问的用户名；
：此用户的访问密码，明文格式；
此语句将基于默认设定启用统计报告功能，并仅允许其定义的用户访问，其也可以定义多次以授权多个用户帐号。可以结合“stats realm”参数在提示用户认证时给出一个领域说明信息。在使用非法用户访问统计功能时，其将会响应一个“401 Forbidden”页面。其认证方式为HTTP Basic认证，密码传输会以明文方式进行，因此，配置文件中也使用明文方式存储以说明其非保密信息故此不能相同于其它关键性帐号的密码。

尽管“stats auth”一条就能够启用统计报告，但还是建议设定其它所有的参数，以免其依赖于默认设定而带来非期后果。

3.16 stats admin
stats admin { if | unless }
在指定的条件满足时启用统计报告页面的管理级别功能，它允许通过web接口启用或禁用服务器，不过，基于安全的角度考虑，统计报告页面应该尽可能为只读的。此外，如果启用了HAProxy的多进程模式，启用此管理级别将有可能导致异常行为。
目前来说，POST请求方法被限制于仅能使用缓冲区减去保留部分之外的空间，因此，服务器列表不能过长，否则，此请求将无法正常工作。因此，建议一次仅调整少数几个服务器。下面是两个案例，第一个限制了仅能在本机打开报告页面时启用管理级别功能，第二个定义了仅允许通过认证的用户使用管理级别功能。
backend stats_localhost
   stats enable
   stats admin if LOCALHOST
backend stats_auth
   stats enable
   stats auth  haproxyadmin:password
   stats admin if TRUE

3.17 option httplog
option httplog [ clf ]
启用记录HTTP请求、会话状态和计时器的功能。
clf：使用CLF格式来代替HAProxy默认的HTTP格式，通常在使用仅支持CLF格式的特定日志分析器时才需要使用此格式。默认情况下，日志输入格式非常简陋，因为其仅包括源地址、目标地址和实例名称，而“option httplog”参数将会使得日志格式变得丰富许多，其通常包括但不限于HTTP请求、连接计时器、会话状态、连接数、捕获的首部及cookie、“frontend”、“backend”及服务器名称，当然也包括源地址和端口号等。

3.18 option logasap
    no option logasap
    option logasap
    no option logasap
启用或禁用提前将HTTP请求记入日志，不能用于“backend”区段。
默认情况下，HTTP请求是在请求结束时进行记录以便能将其整体传输时长和字节数记入日志，由此，传较大的对象时，其记入日志的时长可能会略有延迟。“option logasap”参数能够在服务器发送complete首部时即时记录日志，只不过，此时将不记录整体传输时长和字节数。此情形下，捕获“Content-Length”响应首部来记录传输的字节数是一个较好选择。下面是一个例子。
 listen http_proxy 0.0.0.0:80
     mode http
     option httplog
     option logasap
     log 172.16.100.9 local2

3.19 option forwardfor
option forwardfor [ except ] [ header ] [ if-none ]
允许在发往服务器的请求首部中插入“X-Forwarded-For”首部。
：可选参数，当指定时，源地址为匹配至此网络中的请求都禁用此功能。
：可选参数，可使用一个自定义的首部，如“X-Client”来替代“X-Forwarded-For”。有些独特的web服务器的确需要用于一个独特的首部。
if-none：仅在此首部不存在时才将其添加至请求报文问道中。

HAProxy工作于反向代理模式，其发往服务器的请求中的客户端IP均为HAProxy主机的地址而非真正客户端的地址，这会使得服务器端的日志信息记录不了真正的请求来源，“X-Forwarded-For”首部则可用于解决此问题。HAProxy可以向每个发往服务器的请求上添加此首部，并以客户端IP为其value。
需要注意的是，HAProxy工作于隧道模式，其仅检查每一个连接的第一个请求，因此，仅第一个请求报文被附加此首部。如果想为每一个请求都附加此首部，请确保同时使用了“option httpclose”、“option forceclose”和“option http-server-close”几个option。
下面是一个例子。
frontend www
   mode http
   option forwardfor except 127.0.0.1

3.20 errorfile
errorfile
在用户请求不存在的页面时，返回一个页面文件给客户端而非由haproxy生成的错误代码；可用于所有段中。
：指定对HTTP的哪些状态码返回指定的页面；这里可用的状态码有200、400、403、408、500、502、503和504；
：指定用于响应的页面文件；
例如：
errorfile 400 /etc/haproxy/errorpages/400badreq.http
errorfile 403 /etc/haproxy/errorpages/403forbid.http
errorfile 503 /etc/haproxy/errorpages/503sorry.http

3.21 errorloc 和 errorloc302
errorloc
errorloc302
请求错误时，返回一个HTTP重定向至某URL的信息；可用于所有配置段中。
：指定对HTTP的哪些状态码返回指定的页面；这里可用的状态码有200、400、403、408、500、502、503和504；
：Location首部中指定的页面位置的具体路径，可以是在当前服务器上的页面的相对路径，也可以使用绝对路径；需要注意的是，如果URI自身错误时产生某特定状态码信息的话，有可能会导致循环定向；
需要留意的是，这两个关键字都会返回302状态吗，这将使得客户端使用同样的HTTP方法获取指定的URL，对于非GET法的场景(如POST)来说会产生问题，因为返回客户的URL是不允许使用GET以外的其它方法的。如果的确有这种问题，可以使用errorloc303来返回303状态码给客户端。

3.22 errorloc303
errorloc303
请求错误时，返回一个HTTP重定向至某URL的信息给客户端；可用于所有配置段中。
：指定对HTTP的哪些状态码返回指定的页面；这里可用的状态码有400、403、408、500、502、503和504；
：Location首部中指定的页面位置的具体路径，可以是在当前服务器上的页面的相对路径，也可以使用绝对路径；需要注意的是，如果URI自身错误时产生某特定状态码信息的话，有可能会导致循环定向；

例如：
backend webserver
 server 172.16.100.6 172.16.100.6:80 check maxconn 3000 cookie srv01
 server 172.16.100.7 172.16.100.7:80 check maxconn 3000 cookie srv02
 errorloc 403 /etc/haproxy/errorpages/sorry.htm

 errorloc 503 /etc/haproxy/errorpages/sorry.htm

以上是几个重要参数的介绍。与代理相关的各段中还有许多参数，这里不再一一列举，待会直接给出配置。现在去修改我们的配置文件。

vim /etc/hapaproxy/haproxy.conf  #修改配置文件，将不需要的直接删掉，添加如下内容
global         #定义全局配置段
     log         127.0.0.1 local2    #启用日志，假如是在rhel6.4上，需修改/etc/sysconfig/rsyslog此文件SYSLOGD_OPTIONS="-c 2 -r"
    chroot /usr/share/haproxy    #切换根，所以待会需创建此目录，本人亲测，若没有会报错
    pidfile     /var/run/haproxy.pid    #指定pid文件
    maxconn     2000              #最大连接数，假如你的服务器性能没那么强， 还是设置的小点吧
    user        haproxy        #需要事先创建此用户和组
    group       haproxy
    daemon                      #以守护进程运行此服务
#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults     #定义默认项
    mode                    http         #定义所代理的服务，haproxy还可以代理其他服务，如MySQL
    log                     global           #日志采用全局配置
    option                  httplog
    option                  dontlognull
    option http-server-close                 #关闭http服务
    option forwardfor       except 127.0.0.0/8
    option                  redispatch
    retries                 3         #尝试次数
    timeout http-request    10s     #请求尝试时长，单位为秒
    timeout queue           1m       #查询超时时长，单位为毫秒
    timeout connect         10s        #连接超时时长，单位为秒
    timeout client          1m           #
    timeout server          1m
    timeout http-keep-alive 10s     #保持连接时长
    timeout check           10s         #检查时长
    maxconn                 3000       #最大连接次数
listen stats          #设定监听段名称
    mode http        #监听的服务
    bind 0.0.0.0:8080        #监听所绑定的端口号
    stats enable          #启动
    stats hide-version
    stats uri     /haproxyadmin-stats    #定义uri，可在浏览器界面访问
    stats realm   Haproxy\ Statistics    #启用统计报告，与认证相关
    stats auth    admin:admin    #定义通过浏览器进入监听界面时的用户和密码，只有拥有用户名和密码才能访问
    stats admin if TRUE     #表示如果认证通过，则启用管理接口
frontend http-in
    bind *:80
    mode http
    log global
    option httpclose
    option logasap
    option dontlognull
    capture request  header Host len 20
    capture request  header Referer len 60
    default_backend servers
frontend healthcheck    #前段健康检查
    bind :2000
    mode http
    option httpclose
    option forwardfor
    default_backend servers
backend servers
     balance roundrobin        #采用轮调方式，当刷新浏览器时，会交替显示两个后端服务器上的主界面的内容
        server web1 172.16.32.32:80 check maxconn 1000    #定义我们的后端服务器主机
        server web2 172.16.32.33:80 check maxconn 1500  
现在去创建我们在配置文件中提到的目录或者用户。
mkdir /usr/share/haproxy           #创建该目录
groupadd -r haproxy
useradd -r -g haproxy haproxy     #创建此用户和组
vim /etc/sysconfig/syslog    #修改syslog日志配置文件
SYSLOGD_OPTIONS="-m 2 -r"
service syslog restart    #重启该服务
service haproxy start     #启动haproxy服务
一起查看下node1上的日志。
tail /var/log/messages
May 27 01:17:23 node1 kernel: Kernel log daemon terminating.
May 27 01:17:25 node1 exiting on signal 15
May 27 01:17:25 node1 syslogd 1.4.1: restart (remote reception).    #syslogd重启
May 27 01:17:25 node1 kernel: klogd 1.4.1, log source = /proc/kmsg started.
May 27 01:17:32 localhost.localdomain haproxy[3574]: Proxy stats started.         #启动haproxy代理服务
May 27 01:17:32 localhost.localdomain haproxy[3574]: Proxy http-in started.      #启动http-in服务
May 27 01:17:32 localhost.localdomain haproxy[3574]: Proxy healthcheck started.    #启动健康检查
May 27 01:17:32 localhost.localdomain haproxy[3574]: Proxy servers started.     #启动后端的服务器
May 27 01:19:32 node1 -- MARK --
May 27 01:22:01 node1 -- MARK --

以上从源码编译安装，到提供配置文件、服务脚本、创建用户和组，以及创建相应的目录需要在另一台代理主机上也进行相应的操作。假如你是按照上面的一步步做的，是不会出错的。因为在出错的地方我都已经将问题一一解决，并说明了需要创建什么，然后怎样配置，最后再启动服务。

一切配置好后，启动我们后端的两台服务器主机，因为在前面已经配置好了，这里我们直接使用即可。前段两台代理主机启动haproxy服务后，在我们的物理机上进行测试。为了与前面采用nginx做代理时区分开，这里我们输入node2的IP地址，进行测试。

至此，我们的haproxy代理也已工作正常了。现在开启我们的keepalived服务，让keepalived结合haproxy、apache三者一起工作。

service keepalived start   #启动keepalived服务
再来看下node1上的日志信息。
tail /var/log/messages
May 27 01:25:52 node1 Keepalived_vrrp[3618]: VRRP_Instance(VI_1) removing protocol VIPs.
May 27 01:25:52 node1 Keepalived_healthcheckers[3617]: Netlink reflector reports IP 172.16.32.5 removed
May 27 01:25:52 node1 Keepalived_vrrp[3618]: Netlink reflector reports IP 172.16.32.5 removed
May 27 01:25:53 node1 Keepalived_vrrp[3618]: VRRP_Instance(VI_1) forcing a new MASTER election   #进入master状态
May 27 01:25:54 node1 Keepalived_vrrp[3618]: VRRP_Instance(VI_1) Transition to MASTER STATE
May 27 01:25:55 node1 Keepalived_vrrp[3618]: VRRP_Instance(VI_1) Entering MASTER STATE
May 27 01:25:55 node1 Keepalived_vrrp[3618]: VRRP_Instance(VI_1) setting protocol VIPs.
May 27 01:25:55 node1 Keepalived_healthcheckers[3617]: Netlink reflector reports IP 172.16.32.5 added   #添加虚拟IP
May 27 01:25:55 node1 Keepalived_vrrp[3618]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 172.16.32.5
May 27 01:25:55 node1 Keepalived_vrrp[3618]: Netlink reflector reports IP 172.16.32.5 added

以上相关的操作需要在两台前端代理主机上都进行。

现在在我们的物理机上使用虚拟IP进行访问，看下效果。

在配置haproxy的时候，我们启用了管理界面，账号密码均为admin，现在我们一起去登录到管理界面查看下吧。记住，在生产环境中，不要这样设置。

下图是登录后的界面，图片有点大，可能显示不清晰。

这里就不演示IP地址漂移了。在上图中我们也可以实现模拟其中某一个后端主机down机，让另一个主机提供服务。这里就不在演示了。有兴趣的可以选中其中一个主机，点击最下面的下拉菜单，里边会出现Disable、Enable、Soft Stop、Soft Start四个选项，选中后，点击Apply即可。

到此，我们的keepalived + 反向代理 + apache构建实用性Web站点都已实现。怎么样，你的成功了么？