Haproxy+Keepalived实现负载均衡高可用

                    Haproxy+Keepalived实现负载均衡高可用

Nginx+keepalived可以参考我的博文
Lvs+keepalived可以参考我的博文

背景:
   Haproxy+Keepalived的优势何在，如果你的网站并发量挺大的但是还不至于大到使用lvs的地步，并且又想对七层协议进行过滤。可能需要实现动静分离，又或者是基于内容的过滤等。但是并发量还是挺大的，Nginx可能没法满足要求的话，那么Haproxy是您绝佳的选择Haproxy和Nginx一样都是单进程事件驱动模型，linux2.6内核下都是使用了epoll机制。那么Haproxy相比Nginx有哪些优良之处呢。我认为Haproxy的优化做的比Nginx好可以承载的并发大于Nginx，还有良好的数据接口，基于流量的健康状态检查机制，服务器管理命令行接口，基于URI的负载均衡算法(在缓存服务器场景下工作良好),对session保持和cookie引导有很好的支持。并且适用于多种七层协议(Nginx只支持mail和http),还可以支持四层的负载均衡(用的少，多用于七层)。

HAproxy的一些特性如下:
   客户端侧的长连接(client-side keep-alive)
   TCP加速(TCP speedups)
   响应池(response buffering)
   RDP协议
   基于源的粘性(source-based stickiness)
   更好的统计数据接口(a much better stats interfaces)
   更详细的健康状态检测机制(more verbose health checks)
   基于流量的健康评估机制(traffic-based health)
   支持HTTP认证
   服务器管理命令行接口(server management from the CLI)
   基于ACL的持久性(ACL-based persistence)
   日志分析器


实验环境:
   Haproxy主:172.16.35.81
   Haproxy备:172.16.35.206
   PHP:172.16.35.75
   Nginx:172.16.35.249
   VIP:172.16.35.211


实验拓扑如下:

Haproxy+keeaplived安装配置:
在Haproxy主和Haproxy备分别安装keepalived

#!/bin/bash
yum install kernel-devel gcc gcc-c++ openssl-devel -y
wget http://www.keepalived.org/software/keepalived-1.2.12.tar.gz
tar zxvf keepalived-1.2.12.tar.gz
cd keepalived-1.2.12
./configure --prefix=/usr/local/keepalived --with-kernel-dir=/usr/src/kernels/*/
make && make install
mkdir /etc/keepalived
\cp  -f keepalived/etc/keepalived/keepalived.conf /etc/keepalived/
\cp -f keepalived/etc/init.d/keepalived.init /etc/init.d/keepalived
\cp -f keepalived/etc/init.d/keepalived.sysconfig /etc/sysconfig/keepalived
\cp -f /usr/local/keepalived/sbin/keepalived /sbin/

HAproxy主的keepalived配置文件如下:

! Configuration File for keepalived
global_defs {
   notification_email {
        [email protected]
   }
   notification_email_from root@localhost
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
vrrp_script check_run {
        script "killall -0 haproxy"
        interval 2
        weight -2
        fail 2
}
vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
track_script {
        check_run
}
    virtual_ipaddress {
        172.16.35.211
    }
}

Haproxy备的keepalive配置文件和HAproxy是一样的，只是HAproxy备的priority值为99。

安装Haproxy:

#!/bin/bash
wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.25.tar.gz
tar zxvf haproxy-1.4.25.tar.gz
cd haproxy-1.4.25
yum install gcc gcc-c++ autoconf automake -y
make TARGET=linux2628 arch=x86_64
make install
mkdir /etc/haproxy
cp examples/haproxy.cfg /etc/haproxy
cp examples/haproxy.init /etc/init.d/haproxy
chmod +x /etc/init.d/haproxy

注意:通常我们在网上找到的haproxy的安装方法都是TARGET=linux26，这种边缘方式是可以的，不可以默认是禁用了splice系统调用splice系统调用类似与sendfile机制，在linux内核2.6.28以前有bug存在不建议使用,linux内核2.6.28以后是可以启用的，我使用的是Centos6.4内核版本是2.6.32所以使用TARGET=linux2628的编译方式。

配置HAproxy:
配置文件如下:HAproxy主和背配置文件是相同的

# this config needs haproxy-1.1.28 or haproxy-1.2.1
global
        log 127.0.0.1   local1 notice  #设置日志存放的位置和日志记录的级别,还需要进入/etc/rsyslog.conf中配置local1日志存放的位置
        maxconn 40960                   #每个haproxy进程最大可接受的并发连接数
        uid 99                            #指定运行haproxy进程的用户和组
        gid 99
        daemon                            #以服务的形式运行
        pidfile /var/log/haproxy.pid    #指定pid文件的位置
defaults
        log     global                     #使用全局配置的日志
        mode    http                    #使用七层负载均衡
        option  httplog                 #记录http访问日志
        option  dontlognull             #不记录空日志
        option forwardfor except 127.0.0.1 #允许在发往服务器的请求首部中插入“X-Forwarded-For”首部但除了127.0.0.1
        retries 3                       #连接失败后重新连接的次数
        option  redispatch              #在连接失败的情况下将sesion重新分发
        timeout http-request 10s        #等待完成http的请求的最大时间
        timeout queue 1m    #当请求达到maxconn的时候后续的连接请求就会放置连接队列中，这个时间用于设置队列中的最大等待时间
        timeout connect 1m  #尝试连接到服务器的最大等待时间
        timeout client  1m  #设置客户端这边的最大非活动时间(意思就是一个空闲连接的保持时间)
        timeout server 1m   #设置服务器端的最大非活动时间
        timeout http-keep-alive 10s #设置等待一个新的http请求的最大等待时间(从一个http请求开始到发送回复报文这段时间)
        timeout check 10s #额外的检查时间不同于server中的inter 如果设置了haproxy将会使用timeout check和inter中最小的那个
        maxconn 20000 #每个haproxy可承受的最大并发连接数目
#定义后端统计数据接口
#一个listen就等于一个frontend结合一个backend
listen ststus
        bind *:1080         #定义监听的接口
        stats enable        #开启统计数据接口
        stats hide-version   #隐藏haproxy版本
        stats uri /haproxy?stats #定义统计数据网址
        stats realm Haproxy\ Statistics #定义认证提示信息
        stats auth statsadmin:password #定义认证的用户名和密码
        stats auth statsmaster:password
        stats admin if TRUE #定义在认证通过的情况下开启管理功能
#定义一个fronted
frontend www
        bind *:80
        mode http
        log global
#开启http被动关闭
        option httpclose
#设置一个acl 用来匹配静态文件
        acl url_static path_end -i .css .js .html .htm
#设置一个acl 用来匹配动态文件
        acl url_dynamic path_end -i .php
#如果匹配了静态文件就使用nginx提供服务
        use_backend static if url_static
#默认使用php服务器
        default_backend dynamic
#定义一个后端 静态服务器
backend static
        server nginx 172.16.35.75:80 check maxconn 3000
#定义一个后端 动态服务器
backend dynamic
        server php 172.16.35.249:80 check maxconn 3000
HAproxy主和备的配置文件相同

安装Nginx提供静态web服务:

#!/bin/bash
groupadd -r nginx
useradd -r -g nginx nginx
yum install gcc gcc-c++ openssl-devel pcre-devel wget vim automake autoconf -y
wget http://nginx.org/download/nginx-1.4.7.tar.gz
#这个地址可能有的时候无法解析到域名下载不到这个包，需要自己去下载包然后安装安装步骤一步一步安装
#wget http://mirror.yongbok.net/nongnu/libunwind/libunwind-1.1.tar.gz
wget http://gperftools.googlecode.com/files/gperftools-2.1.tar.gz
#                       libunwind install             
tar -xvf libunwind-1.1.tar.gz
cd libunwind-1.1
CFLAGS=-fPIC ./configure
make CFLAGS=-fPIC
make CFLAGS=-fPIC install
cd ..
#                       gperftools install
tar -xvf gperftools-2.1.tar.gz
cd gperftools-2.1
./configure
make && make install
echo "/usr/local/lib" > /etc/ld.so.conf.d/usr_local_lib.conf
ldconfig
cd ..
#                       nginx install
tar zxvf nginx-1.4.7.tar.gz
cd nginx-1.4.7
./configure --prefix=/usr/local/nginx \
--with-http_stub_status_module \
--with-http_gzip_static_module \
--with-google_perftools_module \
--user=nginx \
--group=nginx \
--with-http_ssl_module \
--with-pcre
make && make install
#                       Setup
mkdir /tmp/tcmalloc
chmod 0777 /tmp/tcmalloc
#简单的一个nginx优化
cat >> /etc/sysctl.conf <<EOF
net.ipv4.tcp_max_tw_buckets = 6000
net.ipv4.ip_local_port_range = 1024 65000
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_syncookies = 1
net.core.somaxconn = 262144
net.core.netdev_max_backlog = 262144
net.ipv4.tcp_max_orphans = 262144
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_synack_retries = 1
net.ipv4.tcp_syn_retries = 1
net.ipv4.tcp_fin_timeout = 1
net.ipv4.tcp_keepalive_time = 30
EOF

安装lamp提供动态应用服务这里为了方便使用yum安装:

yum install php-mysql php-gd libjpeg* php-imap php-ldap php-odbc php-pear php-xml php-xmlrpc php-mbstring php-mcrypt php-bcmath php-mhash libmcrypt php -y
yum install mysql mysql-server -y

给nginx和php两台机器分别提供一个动态页面一个静态页面
echo "I am a static page 172.16.35.75" >> /usr/local/nginx/html/index.html
echo "<?php echo "I am s dynamic page 172.16.35.249"; ?>" >> /var/www/html/index.php

验证其结果是否实现动静分离:

验证其结果是否实现了HAproxy的高可用

关闭keepalived实现高可用地址漂移

关闭haproxy实现高可用地址漂移

至此Haproxy+Keepalived实现高可用和动静分离就实现了。