负载均衡 haproxy + keepalived 安装配置

本文正在完善中

一、双机热备的工作原理

　　故障隔离，简单的讲，高可用（热备）就是一种利用故障点转移的方式来保障业务连续性。其业务的恢复不是在原服务器，而是在备用服务器。热备不具有修复故障服务器的功能，而只是将故障隔离。Active-Active方式指的是业务

　　Active-Active方式指的是业务方式而不是服务器状态，如果是同一种应用是不能完成Active-Active方式的。例如热备的两台服务器都是sqlserver数据库，那也是指的不同的数据库实例。相同的数据库实例是不可能在热备这一级实现Active-Active方式。简单的讲Active-Active方式就是两个Active-Standby方式分别运行于两台服务器上的。

故障检测

　　故障检测是双机热备的任务，不同的双机检测点的多少决定了双机热备软件在功能和性能上的优劣，并不是所有的软件都具有相同的检测功能，以Keepalived双机热备软件为例，其提供的是一种全系统检测能力，即检测分为系统级、应用级、网络级三个方面。系统级检测主要通过双机热备软件之间的心跳提供系统的检测功能，应用级提供用户应用程序、数据库等的检测功能，网络级的检测提供对网卡的检测及可选的对网络路径的检测功能，因此称为全故障检测能力。

服务器资源

　　双机热备的资源指某种业务运行过程中所依赖的最小的关联服务，不同的双机软件所提供的资源多少也不相同，当然提供的可切换资源越多，软件应用的范围也越广，在双机热备中提到的服务器资源主要包括，可切换的网络IP资源、计算机名、磁盘卷资源、服务器进程等。

双机热备的切换

　　双机热备的切换一般分为手动切换和故障切换，即计划性切换（即人为切换）和非计划性切换（即故障切换）。需要大家注意的是并不是所有资源都具有可切换性，以PlusWell热备份软件为例他提供了：

（1）本地资源监控，即不可切换的资源，

（2）普通资源，即可以在主备机切换的资源。

（3）快速资源，指的是快速切换的资源， 一般情况下的双机切换时间为1-5分钟，而快速切换的时间为3-5秒种。用户应根据自己的需求及业务特点来选择相关的切换服务，从价格成本上来说，切换的时间越短费用也越高。

热备份与备份的概念区别

　　热备份指的是：high available即高可用，而备份指的是Backup，即数据备份的一种，这是两种不同的概念，应对的产品也是两种功能上完全不同的产品。热备份主要保障业务的连续性，实现的方法是故障点的转移，而备份，主要目的是为了防止数据丢失，而做的一份拷贝，所以备份强调的是数据恢复而不是应用的故障转移。

二、双机热备的网络结构

三、安装指导

1、安装环境

系统：contos7

软件版本：keepalived-1.2.7.tar.gz、haproxy-1.4.24.tar.gz

2、安装说明

keepalived主备服务器步骤相同

3、安装步骤

安装Keepalived

步骤1：   以root用户登录目标服务器，然后进入我们已准备好的软件源文件存放目录：

$> cd /HA

步骤2：   解压解包，执行解压命令：

$> tar -xzvf keepalived-1.2.16.tar.gz

步骤3：   进入解压后生成的目录：

$> cd keepalived-1.2.16

步骤4：   执行编译环境设置命令：

$>./configure --prefix=/usr/local/keepalived

步骤5：   等待报告打印成功后，执行预编译命令：

$> make

步骤6：   等待编译成功完成后，执行安装命令：

$> make install

Keepalived开机自启动

步骤1：   复制keepalived启动脚本：

$> cp /usr/local/etc/rc.d/init.d/keepalived /etc/init.d/

/usr/local/etc/rc.d/init.d

步骤2：   复制keepalived配置运行脚本：

$> cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/

步骤3：   创建配置文件路径：

$> mkdir /etc/keepalived/

步骤4：   复制keepalived配置文件到/etc/keepalived：

$> cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/

步骤5：   复制启动脚本：

$> cp /usr/local/sbin/keepalived /usr/sbin/

步骤6：   启动或者停止服务：

$> service keepalived start | stop

配置文件相关：

主服务器 $> vi /etc/keepalived/keepalived.conf

! Configuration file for keepalived
global_defs {
   notification_email {
   	[email protected]	#发送通知邮件提醒
   }
   notification_email_from [email protected]
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
#监控服务.NGINX mysql等
vrrp_script chk_nginx {
    script "/home/check_nginx.sh"
    interval 2
    weight 2
}

vrrp_instance VI_1 {
    state MASTER  #主从设置,从机器设置BACKUP
    interface eth2  #网卡名
    virtual_router_id 51
    mcast_src_ip 10.0.1.133 #本机ip
    priority 150  #从机小于主机
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass chtopnet
    }
    virtual_ipaddress {
        10.94.10.27  #VIP 的IP
    }
    track_script {
        chk_nginx  #检测脚本
    }

}

virtual_server 10.94.10.27 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    persistence_timeout 50
    protocol TCP

    real_server 10.94.10.25 80 {
        weight 3
        TCP_CHECK {
            connect_timeout 10
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
    real_server 10.94.10.26 80 {
        weight 3
        TCP_CHECK {
            connect_timeout 10
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
}

从服务器 $> vi /etc/keepalived/keepalived.conf

! Configuration file for keepalived
global_defs {
   notification_email {
   	[email protected]	#发送通知邮件提醒
   }
   notification_email_from [email protected]
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
#监控服务.NGINX mysql等
vrrp_script chk_nginx {
    script "/home/check_nginx.sh"
    interval 2
    weight 2
}

vrrp_instance VI_1 {
    state BACKUP #主从设置
    interface eth2  #网卡名
    virtual_router_id 51
    mcast_src_ip 10.0.1.133 #本机ip
    priority 100  #从机小于主机
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass chtopnet
    }
    virtual_ipaddress {
        10.94.10.27  #VIP 的IP
    }
    track_script {
        chk_nginx  #检测脚本
    }

}

virtual_server 10.94.10.27 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    persistence_timeout 50
    protocol TCP

    real_server 10.94.10.25 80 {
        weight 3
        TCP_CHECK {
            connect_timeout 10
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
    real_server 10.94.10.26 80 {
        weight 3
        TCP_CHECK {
            connect_timeout 10
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
}

Haproxy的相关启动参数

$> /usr/local/haproxy/sbin/haproxy –help 

haproxy -f < 配置文件>

[-n 最大并发连接总数] [-N 每个侦听的最大并发数] [-d] [-D] [-q] [-V] [-c] [-p ] [-s] [-l] [-dk]

[-ds] [-de] [-dp] [-db] [-m < 内存限制M>] [{-sf|-st} pidlist...]

-d  前台，debug模式

-D  daemon模式启动

-q  安静模式,不输出信息

-V  详细模式

-c 对配置文件进行语法检查

-s  显示统计数据

-l  显示详细统计数据

-dk 不使用kqueue

-ds 不使用speculative epoll

-de 不使用epoll

-dp 不使用poll

-db 禁用后台模式，程序跑在前台

-sf 程序启动后向pidlist里的进程发送FINISH信号，这个参数放在命令行的最后

-st 程序启动后向pidlist里的进程发送TERMINATE信号，这个参数放在命令行的最后


列:

$> /usr/local/haproxy/sbin/haproxy -c  -f /usr/local/haproxy/etc/haproxy.cfg  # 对haproxy 语法做检查

$> /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/etc/haproxy.cfg -sf `cat /var/run/haproxy.pid` # reload

$> killall haproxy 或者 kill -9 `pidof haproxy`

Haproxy 配置文件解说  

$> cat /usr/local/haproxy/etc/haproxy.cfg

####################全局配置信息#############参数是进程级的，通常和操作系统（OS）相关######### 

global 

       maxconn 20480                    #默认最大连接数 

       log 127.0.0.1 local3             #[err warning info debug] 

       chroot /usr/local/haproxy        #chroot运行的路径 

       uid 99                          #所属运行的用户uid 

       gid 99                           #所属运行的用户组 

       daemon                          #以后台形式运行haproxy 

       nbproc 1                        #进程数量(可以设置多个进程提高性能) 

       pidfile /var/run/haproxy.pid     #haproxy的pid存放路径,启动进程的用户必须有权限访问此文件 

       ulimit-n 65535                   #ulimit的数量限制 

 
       #####################默认的全局设置##############这些参数可以被利用配置到frontend，backend，listen组件## 

defaults 

       log global 

       mode http                        #所处理的类别 (#7层 http;4层tcp  ) 

       maxconn 20480                   #最大连接数 

       option httplog                   #日志类别http日志格式 

       option httpclose                 #每次请求完毕后主动关闭http通道 

       option dontlognull               #不记录健康检查的日志信息 

       option forwardfor               #如果后端服务器需要获得客户端真实ip需要配置的参数，可以从Http Header中获得客户端ip  

       option redispatch               #serverId对应的服务器挂掉后,强制定向到其他健康的服务器  

       option abortonclose              #当服务器负载很高的时候，自动结束掉当前队列处理比较久的连接 

       stats refresh 30                 #统计页面刷新间隔 

       retries 3                        #3次连接失败就认为服务不可用，也可以通过后面设置 

       balance roundrobin               #默认的负载均衡的方式,轮询方式 

       #balance source                   #默认的负载均衡的方式,类似nginx的ip_hash,可以固定session

       #balance leastconn                 #默认的负载均衡的方式,最小连接 

       contimeout 5000                  #连接超时5s , 单位是ms

       clitimeout 50000                 #客户端超时 

       srvtimeout 50000                #服务器超时 

       timeout check 2000               #心跳检测超时 


#注: 时间的设置,单位为毫秒ms

1ms = 1/1000 second

1m = 60s = 60000 ms

1h = 60m = 3600s 

1d = 24h = 1440m = 86400s = 864000000ms 


       ####################监控页面的设置####################### 

listen  admin_status                     #Frontend和Backend的组合体,监控组的名称，按需自定义名称 

        bind :65532                  #监听端口 

        mode http                      #http的7层模式 

        log 127.0.0.1 local3 err        #错误日志记录 

        stats refresh 5s               #每隔5秒自动刷新监控页面 

        stats uri /admin?stats          #监控页面的url 

        stats realm Haproxy\ Statistics  #监控页面的提示信息 

        stats auth yangcan:yangcan      #监控页面的用户和密码yangcan,可以设置多个用户名 

        #stats auth admin:admin        #监控页面的用户和密码admin

        stats hide-version              #隐藏统计页面上的HAproxy版本信息  

        stats admin if TRUE           #手工启用/禁用,后端服务器(haproxy-1.4.9以后版本) 

    

       #######################网站监测listen配置##################### 

       ###########此用法主要是监控haproxy后端服务器的监控状态############ 

listen site_status 

       bind :1081                     #监听端口 

       mode http                            #http的7层模式 

       log 127.0.0.1 local3 err              #[err warning info debug] 

       monitor-uri /site_status              #网站健康检测URL，用来检测HAProxy管理的网站是否可以用，正常返回200，不正常返回503 

       acl site_dead nbsrv(server_web)  lt 2  #定义网站down时的策略当挂在负载均衡上的指定backend的中有效机器数小于2台时返回true 

       acl site_dead nbsrv(server_blog)  lt 2 

       acl site_dead nbsrv(server_bbs)   lt 2  

       monitor fail if site_dead             #当满足策略的时候返回503，网上文档说的是500，实际测试为503 

       monitor-net 10.0.0.103/24            #来自10.0.0.103的日志信息不会被记录和转发 

       monitor-net 10.0.0.25/24 


       ########frontend配置############ 

       #####注意，frontend配置里面可以定义多个acl进行匹配操作######## 

frontend http_80_in 

       bind :80            #监听端口，即haproxy提供web服务的端口，和lvs的vip端口类似 

       mode http             #http的7层模式 

       log global            #应用全局的日志配置 

       option httplog        #启用http的log 

       option httpclose      #每次请求完毕后主动关闭http通道，HA-Proxy不支持keep-alive模式 

       option forwardfor     #如果后端服务器需要获得客户端的真实IP需要配置次参数，将可以从Http Header中获得客户端IP 


       errorfile 403 /etc/haproxy/errorfiles/403.http 

       errorfile 500 /etc/haproxy/errorfiles/500.http 

       errorfile 502 /etc/haproxy/errorfiles/502.http 

       errorfile 503 /etc/haproxy/errorfiles/503.http 

       errorfile 504 /etc/haproxy/errorfiles/504.http 

 
       ################# HAProxy的日志记录内容设置 ################### 

       capture request  header Host           len 40 

       capture request  header Content-Length len 10 

       capture request  header Referer         len 200 

       capture response header Server           len 40 

       capture response header Content-Length    len 10 

       capture response header Cache-Control    len 8 


       ########acl策略配置############# 

       acl baby_web hdr_reg(host) -i ^(blog80.baby.local |station80.baby.local)$    

       #如果请求的域名满足正则表达式中的2个域名返回true -i是忽略大小写,主要用于redirect到www80.baby.local上; 

       acl baby_blog hdr_dom(host) -i www80.baby.local 

       #如果请求的域名满足www80.baby.local 返回true -i是忽略大小写 

       #acl baby    hdr(host) -i baby.local 

       #如果请求的域名满足baby.local 返回true -i是忽略大小写 

       #acl file_req url_sub -i  killall= 

       #在请求url中包含killall=，则此控制策略返回true,否则为false 

       #acl dir_req url_dir -i allow 

       #在请求url中存在allow作为部分地址路径，则此控制策略返回true,否则返回false 

       #acl missing_cl hdr_cnt(Content-length) eq 0 

       #当请求的header中Content-length等于0时返回true 

 

       ########acl策略匹配相应############# 

       #block if missing_cl 

       #当请求中header中Content-length等于0阻止请求返回403 

       #block if !file_req || dir_req 

       #block表示阻止请求，返回403错误，当前表示如果不满足策略file_req，或者满足策略dir_req，则阻止请求 

       redirect prefix http://www80.baby.local code 301 if baby

       #当访问itnihao.cn的时候，用http的301挑转到http://10.0.0.103 

       reqisetbe       ^[^\]*\/(img|css)/       server_web 

       reqisetbe       ^[^\]*\/bbs/             server_blog 

       # reqisetbe 关键字定义,根据定义的关键字选择backend


       use_backend  server_web  if  baby_web

       #当满足baby_web的策略时使用server_web的backend 

       use_backend  server_blog if baby_log 

       #当满足baby_log的策略时使用server_blog的backend 

       default_backend server_bbs 

       #以上都不满足的时候使用默认server_bbs的backend 


       # 注: redirect 和 reqisetbe 需要放置在 use_backend 之前

 

       ##########backend的设置############## 

       #下面我将设置三组服务器 server_web，server_blog，server_bbs

   

###########################backend server_web############################# 

backend server_web 

       mode http            #http的7层模式 

       balance roundrobin   #负载均衡的方式，roundrobin平均方式 

       cookie SERVERID      #允许插入serverid到cookie中，serverid后面可以定义 

       option httpchk GET /index.html #心跳检测的文件 

       server web1 10.0.0.25:80 cookie web1 check inter 1500 rise 3 fall 3 weight 1  

       #服务器定义，cookie 1表示serverid为web1，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用， 

       #fall 3是3次失败认为服务器不可用，weight代表权重 

       server web2 10.0.0.103:80 cookie web2 check inter 1500 rise 3 fall 3 weight 2 

       #服务器定义，cookie 1表示serverid为web2，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用， 

       #fall 3是3次失败认为服务器不可用，weight代表权重 

 

###################################backend server_blog############################################### 

backend server_blog 

       mode http  

       balance roundrobin

       cookie SERVERID 

       option httpchk GET /index.html 

       server blog1 10.0.0.25:80 cookie blog1 check inter 1500 rise 3 fall 3 weight 1  

       server blog2 10.0.0.103:80 cookie blog2 check inter 1500 rise 3 fall 3 weight 2 


 
###################################backend server_bbs############################################### 

backend server_bbs 

       mode http     

       balance roundrobin 

       cookie SERVERID  

       option httpchk GET /index.html 

       server bbs1 10.0.0.25:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1  

       server bbs2 10.0.0.103:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2 



################################### 虚拟主机的配置支持############################################### 

listen blog80.baby.local 0.0.0.0:80 

       mode http     

       balance roundrobin 

       cookie SERVERID  

       option httpchk GET /index.html 

       server bbs1 10.0.0.25:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1  

       server bbs2 10.0.0.103:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2 

   
listen bbs.baby.local 0.0.0.0:80 

       mode http     

       balance roundrobin 

       cookie SERVERID  

       option httpchk GET /index.html 

       server bbs1 10.0.0.25:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1  

       server bbs2 10.0.0.103:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2 

haproxy -f < 配置文件>

十多个家伙是s

十多个了可视对讲g是东莞市看到过

看来是读后感速度

申达股份

---------------------------------------------------------------------

鄙人大意的地方：

1、添加执行权限的时候 chmod +x notify.sh 写成了 chmod -x notify.sh 坑爹我还以为contos7添加执行添加权限的命令又不一样了

2、如果提示文件忙，则可能之前装的不对，服务已经启动可以执行 service keepalived stop，再重新执行 ./configure --prefix=/usr/local/keepalived

3、如果使用此cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/

出现 cp: 无法获取"/usr/local/etc/sysconfig/keepalived" 的文件状态(stat): 没有那个文件或目录

cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/