Keepalived原理与实战

什么是Keepalived呢keepalived观其名可知保持存活在网络里面就是保持在线了也就是所谓的高可用或热备用来防止单点故障(单点故障是指一旦某一点出现故障就会导致整个系统架构的不可用)的发生那说到keepalived时不得不说的一个协议就是VRRP协议可以说这个协议就是keepalived实现的基础那么首先我们来看看VRRP协议

一VRRP协议

• VRRP协议
  学过网络的朋友都知道网络在设计的时候必须考虑到冗余容灾包括线路冗余设备冗余等防止网络存在单点故障那在路由器或三层交换机处实现冗余就显得尤为重要在网络里面有个协议就是来做这事的这个协议就是VRRP协议Keepalived就是巧用VRRP协议来实现高可用性(HA)的。keepalived完全遵守VRRP协议包括竞选机制等等
  
  

二Keepalived原理

• Keepalived原理
  keepalived也是模块化设计不同模块复杂不同的功能下面是keepalived的组件
  corecheck vrrp libipfwc libipvs-2.4 libipvs-2.6
  
  core是keepalived的核心复杂主进程的启动和维护全局配置文件的加载解析等
  check负责healthchecker(健康检查)包括了各种健康检查方式以及对应的配置的解析包括LVS的配置解析
  vrrpVRRPD子进程VRRPD子进程就是来实现VRRP协议的
  libipfwciptables(ipchains)库配置LVS会用到
  libipvs*配置LVS会用到
  注意keepalived和LVS完全是两码事只不过他们各负其责相互配合而已
  
  

•     
  keepalived启动后会有三个进程
  父进程内存管理子进程管理等等
  子进程VRRP子进程
  子进程healthchecker子进程
  
  有图可知两个子进程都被系统WatchDog看管两个子进程各自负责自己的事healthchecker子进程负责检查各自服务器的健康程度例如HTTPLVS等等如果healthchecker子进程检查到MASTER上服务不可用了就会通知本机上的兄弟VRRP子进程让他删除通告并且去掉虚拟IP转换为BACKUP状态
  
  

三Keepalived配置文件详解

    keepalived配置详解

    keepalived有三类配置区域(姑且就叫区域吧)注意不是三种配置文件是一个配置文件里面三种不同类别的配置区域

• 全局配置(Global Configuration)

• VRRPD配置

• LVS配置
  
  一全局配置
  全局配置又包括两个子配置

• 全局定义(global definition)

• 静态路由配置(static ipaddress/routes)
  
  1全局定义(global definition)配置范例

1.  global_defs

2.  {

3.  notification_email

4.  {

5.  [email protected]

6.  }

7.  [email protected]

8.  smtp_server 127.0.0.1

9.  stmp_connect_timeout 30

10.router_id node1

11.}

    全局配置解析
            global_defs全局配置标识表面这个区域{}是全局配置

1.  notification_email

2.   

3.  {

4.   

5.  [email protected]

6.  [email protected]

7.   

8.  }

    表示keepalived在发生诸如切换操作时需要发送email通知以及email发送给哪些邮件地址邮件地址可以多个每行一个

            notification_email_from [email protected]
    表示发送通知邮件时邮件源地址是谁

            smtp_server 127.0.0.1
    表示发送email时使用的smtp服务器地址这里可以用本地的sendmail来实现

            smtp_connect_timeout 30
    连接smtp连接超时时间

            router_id node1
    机器标识

        2静态地址和路由配置范例

1.  static_ipaddress

2.  {

3.  192.168.1.1/24 brd + dev eth0 scopeglobal

4.  192.168.1.2/24 brd + dev eth1 scopeglobal

5.  }

6.  static_routes

7.  {

8.  src $SRC_IP to $DST_IP dev $SRC_DEVICE

9.  src $SRC_IP to $DST_IP via $GW dev$SRC_DEVICE

10.}

    这里实际上和系统里面命令配置IP地址和路由一样例如
            192.168.1.1/24 brd + dev eth0 scope global 相当于: ip addr add192.168.1.1/24 brd + dev eth0 scope global
    就是给eth0配置IP地址
    路由同理
    一般这个区域不需要配置
    这里实际上就是给服务器配置真实的IP地址和路由的在复杂的环境下可能需要配置一般不会用这个来配置我们可以直接
    用vi/etc/sysconfig/network-script/ifcfg-eth1来配置切记这里可不是VIP哦不要搞混淆了切记切记

  二VRRPD配置
        VRRPD配置包括三个类
        VRRP同步组(synchroization group)
        VRRP实例(VRRP Instance)VRRP脚本

        1VRRP同步组(synchroizationgroup)配置范例

1.  vrrp_sync_group VG_1 {

2.  group {

3.  http

4.  mysql

5.  }

6.  notify_master /path/to/to_master.sh

7.  notify_backup /path_to/to_backup.sh

8.  notify_fault "/path/fault.shVG_1"

9.  notify /path/to/notify.sh

10.smtp_alert

11.}

    其中

1.  group {

2.  http

3.  mysql

4.  }

            http和mysql是实例名和下面的实例名一致

1.  notify_master /path/to/to_master.sh表示当切换到master状态时要执行的脚本

2.   

3.  notify_backup /path_to/to_backup.sh表示当切换到backup状态时要执行的脚本

4.   

5.  notify_fault "/path/fault.shVG_1"

            notify /path/to/notify.sh

            smtp alter表示切换时给global defs中定义的邮件地址发送右键通知

        2VRRP实例(instance)配置范例

1.  vrrp_instance VI_1 { 

2.      interface eth0 

3.      state MASTER  # BACKUP for slave routers

4.      priority 101  # 100 for BACKUP

5.      virtual_router_id 51

6.      garp_master_delay 1

7.    

8.      authentication { 

9.          auth_type PASS 

10.        auth_pass password 

11.    } 

12.    track_interface { 

13.       eth0   

14.    } 

15.    virtual_ipaddress { 

16.        172.16.100.1/16 dev eth0 label eth0:0

17.    } 

18.    track_script { 

19.        chk_haproxy 

20.        chk_mantaince_down

21.    } 

22.  

23.

24.    notify_master"/etc/keepalived/notify.sh master" 

25.    notify_backup "/etc/keepalived/notify.shbackup" 

26.    notify_fault"/etc/keepalived/notify.sh fault" 

}

• statestate指定instance(Initial)的初始状态就是说在配置好后这台服务器的初始状态就是这里指定的但这里指定的不算还是得要通过竞选通过优先级来确定里如果这里设置为master但如若他的优先级不及另外一台那么这台在发送通告时会发送自己的优先级另外一台发现优先级不如自己的高那么他会就回抢占为master
  

• interface实例绑定的网卡因为在配置虚拟IP的时候必须是在已有的网卡上添加的
  

• trackinterface跟踪接口设置额外的监控里面任意一块网卡出现问题都会进入故障(FAULT)状态例如用nginx做均衡器的时候内网必须正常工作如果内网出问题了这个均衡器也就无法运作了所以必须对内外网同时做健康检查
  

• mcastsrc ip发送多播数据包时的源IP地址这里注意了这里实际上就是在那个地址上发送VRRP通告这个非常重要一定要选择稳定的网卡端口来发送这里相当于heartbeat的心跳端口如果没有设置那么就用默认的绑定的网卡的IP也就是interface指定的IP地址
  

• garpmaster delay在切换到master状态后延迟进行免费的ARP(gratuitous ARP)请求
  

• virtualrouter id这里设置VRID这里非常重要相同的VRID为一个组他将决定多播的MAC地址
  

• priority100设置本节点的优先级优先级高的为master
  

• advertint检查间隔默认为1秒
  

• virtualipaddress这里设置的就是VIP也就是虚拟IP地址他随着state的变化而增加删除当state为master的时候就添加当state为backup的时候删除这里主要是有优先级来决定的和state设置的值没有多大关系这里可以设置多个IP地址
  

• virtualroutes原理和virtual ipaddress一样只不过这里是增加和删除路由
  

• lvssync daemon interfacelvs syncd绑定的网卡
  

• authentication这里设置认证
  

• authtype认证方式可以是PASS或AH两种认证方式
  

• authpass认证密码
  

• nopreempt设置不抢占这里只能设置在state为backup的节点上而且这个节点的优先级必须别另外的高
  

• preemptdelay抢占延迟
  

• debugdebug级别
  

• notifymaster和sync group这里设置的含义一样可以单独设置例如不同的实例通知不同的管理人员http实例发给网站管理员mysql的就发邮件给DBA
  
  3VRRP脚本
  
  

1.  vrrp_scriptcheck_running {

2.     script"/usr/local/bin/check_running"

3.     interval10

4.     weight10

5.  }

6.   

7.  vrrp_instance http {

8.     stateBACKUP

9.    smtp_alert

10.  interface eth0

11.  virtual_router_id 101

12.   priority90

13.  advert_int 3

14.  authentication {

15.  auth_type PASS

16.  auth_pass whatever

17.   }

18.  virtual_ipaddress {

19.   1.1.1.1

20.   }

21.  track_script {

22.  check_running weight 20

23.   }

24.}

• 首先在vrrp_script区域定义脚本名字和脚本执行的间隔和脚本执行的优先级变更
  vrrp_script check_running {

  script"/usr/local/bin/check_running"

  interval 10     #脚本执行间隔

  weight 10      #脚本结果导致的优先级变更10表示优先级+10-10则表示优先级-10

  }

• 然后在实例(vrrp_instance)里面引用有点类似脚本里面的函数引用一样先定义后引用函数名
  track_script {
  check_running weight 20
  }
  

• 注意VRRP脚本(vrrp_script)和VRRP实例(vrrp_instance)属于同一个级别

   
  

• 脚本实例2

  vrrp_script     chk_nginx {
              script "killall -0     nginx > /dev/null 2>&1"
              interval 1
              weight -5 #检测失败的时候权重减5
      }
        

         killall -0 服务名称

         用于检测服务是否正常运行返回值为0则正常1异常

 

 

 

四、针对LVS的特有配置

  如果你没有配置LVS+keepalived那么无需配置这段区域如果你用的是nginx来代替LVS也无需配置这段这里的LVS配置是专门为keepalived+LVS集成准备的。不过也可以用来做一些特别的检测检测出状态后可以写脚本去做相应的处理。
  注意了这里LVS配置并不是指真的安装LVS然后用ipvsadm来配置他而是用keepalived的配置文件来代替ipvsadm来配置LVS这样会方便很多一个配置文件搞定这些维护方便配置方便是也

  这里LVS配置也有两个配置

• 一个是虚拟主机组配置

• 一个是虚拟主机配置
  
  1虚拟主机组配置文件详解
  这个配置是可选的根据需求来配置吧这里配置主要是为了让一台realserver上的某个服务可以属于多个Virtual Server并且只做一次健康检查
  
  virtual_server_group <STRING> {
  # VIP port
  <IPADDR> <PORT>
  <IPADDR> <PORT>
  fwmark <INT>
  }
  
  2虚拟主机配置
  
  virtual server可以以下面三种的任意一种来配置

 1. virtual server IP port

2. virtual server fwmark int

3. virtual server group string

•     下面以第一种比较常用的方式来配详细解说一下
  
                  virtual_server 192.168.1.2 80 {                    
                  #设置一个virtual server:VIP:Vport
  
                  delay_loop 3               
                  # service polling的delay时间即服务轮询的时间间隔
  
                  lb_algo rr|wrr|lc|wlc|lblc|sh|dh                      #LVS调度算法
                  lb_kind NAT|DR|TUN                                    #LVS集群模式                     
  
                  persistence_timeout 120                              
                  #会话保持时间秒为单位即以用户在120秒内被分配到同一个后端realserver
  
                  persistence_granularity <NETMASK>            
                  #LVS会话保持粒度ipvsadm中的-M参数默认是0xffffffff即每个客户端都做会话保持
  
                  protocol TCP                                                #健康检查用的是TCP还是UDP
                  ha_suspend                                                #suspendhealthchecker’sactivity
  
                  virtualhost <string>                                     
                  #HTTP_GET做健康检查时检查的web服务器的虚拟主机即host头
  
                  sorry_server <IPADDR> <PORT>               
                   #备用机就是当所有后端realserver节点都不可用时就用这里设置的也就是临时把所有的请求都发送到这里啦
  
                  real_server <IPADDR> <PORT>                  
                  #后端真实节点主机的权重等设置主要后端有几台这里就要设置几个
  
                  {
                  weight 1            #给每台的权重0表示失效(不知给他转发请求知道他恢复正常)默认是1
                  inhibit_on_failure               #表示在节点失败后把他权重设置成0而不是冲IPVS中删除
  
                  notify_up <STRING> |<QUOTED-STRING>  #检查服务器正常(UP)后要执行的脚本
                  notify_down <STRING> |<QUOTED-STRING> #检查服务器失败(down)后要执行的脚本
  
                  HTTP_GET                                                  #健康检查方式
                  {
                  url {                                                         #要检测的URL可以有多个
                  path /                                                       #具体路径
                  digest <STRING>                                         
                  status_code 200                                         #返回状态码
                  }
                  connect_port 80                                         #监控检查的端口
  
                  bindto <IPADD>                                        #健康检查的IP地址
                  connect_timeout   3                                     #连接超时时间
                  nb_get_retry 3                                            #重连次数
                  delay_before_retry 2                                     #重连间隔
                  } # END OF HTTP_GET|SSL_GET
  
  
  #下面是常用的健康检查方式健康检查方式一共有HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK这些

• #TCP方式
  TCP_CHECK {
  connect_port 80
  bindto 192.168.1.1
  connect_timeout 4
  } # TCP_CHECK

  
  

• # SMTP方式这个可以用来给邮件服务器做集群
  SMTP_CHECK
  host {
  connect_ip <IP ADDRESS>
  connect_port <PORT>                                   #默认检查25端口
  14 KEEPALIVED
  bindto <IP ADDRESS>
  }
  connect_timeout <INTEGER>
  retry <INTEGER>
  delay_before_retry <INTEGER>
  # "smtp HELO"|・-ê§à"
  helo_name <STRING>|<QUOTED-STRING>
  } #SMTP_CHECK
  

  
  

• #MISC方式这个可以用来检查很多服务器只需要自己会些脚本即可
  MISC_CHECK
  {
  misc_path <STRING>|<QUOTED-STRING> #外部程序或脚本
  misc_timeout <INT>                                  #脚本或程序执行超时时间
  
  misc_dynamic                                            
  #这个就很好用了可以非常精确的来调整权重是后端每天服务器的压力都能均衡调配这个主要是通过执行的程序或脚本返回的状态代码来动态调整weight值使权重根据真实的后端压力来适当调整不过这需要有过硬的脚本功夫才行哦
  #返回0健康检查没问题不修改权重
  #返回1健康检查失败权重设置为0
  #返回2-255健康检查没问题但是权重却要根据返回代码修改为返回码-2例如如果程序或脚本执行后返回的代码为200#那么权重这回被修改为 200-2
  }
  } # Realserver
  } # Virtual Server

 

    五、 keepalived通知脚本进阶示例

下面的脚本可以接受选项其中

-s, --service SERVICE,...指定服务脚本名称当状态切换时可自动启动、重启或关闭此服务

-a, --address VIP: 指定相关虚拟路由器的VIP地址

-m, --mode {mm|mb}指定虚拟路由的模型mm表示主主mb表示主备它们表示相对于同一种服务而方其VIP的工作类型

-n, --notify {master|backup|fault}指定通知的类型即vrrp角色切换的目标角色

-h, --help获取脚本的使用帮助

#!/bin/bash

# Author: MageEdu <[email protected]>

# description: An example of notify script

# Usage: notify.sh -m|--mode {mm|mb} -s|--service SERVICE1,... -a|--address VIP  -n|--notify {master|backup|falut} -h|--help 

#contact='[email protected]'

helpflag=0

serviceflag=0

modeflag=0

addressflag=0

notifyflag=0

contact='root@localhost'

Usage() {

  echo "Usage: notify.sh [-m|--mode {mm|mb}] [-s|--service SERVICE1,...] <-a|--address VIP>  <-n|--notify {master|backup|falut}>" 

  echo "Usage: notify.sh -h|--help"

}

ParseOptions() {

  local I=1;

  if [ $# -gt 0 ]; then

    while [ $I -le $# ]; do

      case $1 in

 -s|--service)

[ $# -lt 2 ] && return 3

     serviceflag=1

  services=(`echo $2|awk -F"," '{for(i=1;i<=NF;i++) print $i}'`)

shift 2 ;;

 -h|--help)

  helpflag=1

return 0

        shift

;;

 -a|--address)

[ $# -lt 2 ] && return 3

   addressflag=1

vip=$2

shift 2

;;

 -m|--mode)

[ $# -lt 2 ] && return 3

mode=$2

shift 2

;;

 -n|--notify)

[ $# -lt 2 ] && return 3

notifyflag=1

notify=$2

shift 2

;;

 *)

echo "Wrong options..."

Usage

return 7

;;

       esac

    done

    return 0

  fi

}

#workspace=$(dirname $0)

RestartService() {

  if [ ${#@} -gt 0 ]; then

    for I in $@; do

      if [ -x /etc/rc.d/init.d/$I ]; then

        /etc/rc.d/init.d/$I restart

      else

        echo "$I is not a valid service..."

      fi

    done

  fi

}

StopService() {

  if [ ${#@} -gt 0 ]; then

    for I in $@; do

      if [ -x /etc/rc.d/init.d/$I ]; then

        /etc/rc.d/init.d/$I stop

      else

        echo "$I is not a valid service..."

      fi

    done

  fi

}

Notify() {

    mailsubject="`hostname` to be $1: $vip floating"

    mailbody="`date '+%F %H:%M:%S'`, vrrp transition, `hostname` changed to be $1."

    echo $mailbody | mail -s "$mailsubject" $contact

}

# Main Function

ParseOptions $@

[ $? -ne 0 ] && Usage && exit 5

[ $helpflag -eq 1 ] && Usage && exit 0

if [ $addressflag -ne 1 -o $notifyflag -ne 1 ]; then

  Usage

  exit 2

fi

mode=${mode:-mb}

case $notify in

'master')

  if [ $serviceflag -eq 1 ]; then

      RestartService ${services[*]}

  fi

  Notify master

  ;;

'backup')

  if [ $serviceflag -eq 1 ]; then

    if [ "$mode" == 'mb' ]; then

      StopService ${services[*]}

    else

      RestartService ${services[*]}

    fi

  fi

  Notify backup

  ;;

'fault')

  Notify fault

  ;;

*)

  Usage

  exit 4

  ;;

esac

 

 keepalived+Nginx负载均衡高可用

 

1. 架构图

2. 环境说明

• 所有主机基于Centos 6.5

• 后端WEB主机:ra1  IP: 192.168.61.139 安装apache提供web 服务

• 后端WEB主机:ra2  IP: 192.168.61.140 安装apache提供web 服务

• 前端负载均衡调度主机1a1  IP: 192.168.61.144 安装nginx、keepalived

• 前端负载均衡调度主机1a2  IP: 192.168.61.145 安装nginx、keepalived

  

3. 安装环境准备

• Centos 6.5(Final)

• yum-y install pcre-devel openssl-devel

• yuminstall gcc gcc-c++

 

 

4. 前端负载均衡调度主机nginx及keepalived安装配置

• nginx安装参考
  http://dengxi.blog.51cto.com/4804263/1710472

  
  

• nginx配置文件/etc/nginx/nginx.conf内容如下
  
  events {
      worker_connections  1024;
  
  http {
      include       mime.types;
      default_type  application/octet-stream;
     sendfile        on;
     keepalive_timeout  65;
  
  #负载均衡及健康检测设置
     upstream srv1 {
          server 192.168.61.139:80max_fails=3 fail_timeout=10s;
          server 192.168.61.140:80max_fails=3 fail_timeout=10s;
     }
  
      server {
          listen       80;

         server_name  192.168.61.99;
          location / {
              root   html;
              index index.html index.htm;
              proxy_pass http://srv1;   #负载均衡设置
          }
  
   error_page   500 502 503 504  /50x.html;

         location = /50x.html {
              root   html;
          }
  }
  }

• a1、a2都使用相同的配置

 

 

5. a1主机keepalived安装及配置

 

• 安装

  yum -y install keepalived

  
  

• 配置文件/etc/keepalived/keepalived.conf内容如下
  
  ! Configuration File for keepalived
  
  global_defs {
     notification_email {
          dx@a1
     }
     notification_email_from server@a1
     smtp_server 127.0.0.1
     smtp_connect_timeout 30
     router_id LVS_DEVEL
  }
  
  vrrp_script chk_nginx {
          script "killall -0 nginx> /dev/null 2>&1"
          interval 1
          weight -5 #检测失败的时候权重减5
  }
  vrrp_script chk_keepalived {
          script "killall -0keepalived > /dev/null 2>&1"
          interval 1
          weight -5
  }
  
  vrrp_instance VI_1 {
      state MASTER #主
      interface eth0
      virtual_router_id 51
      priority 100 #权重
      advert_int 1
      authentication {
          auth_type PASS #密码验证
          auth_pass 1111 #密码
      }
      virtual_ipaddress {
          192.168.61.99/24 dev eth0 labeleth0:0 #VIP
      }
          track_script { #调用上面设置的相当于函数
          chk_keepalived
          chk_nginx
          }
          

       #还可以针对master,backup,fault三种状态设定执行的脚本这里不启用只做示范

       #notify_master"/etc/keepalived/notify.sh master" 

       #notify_backup"/etc/keepalived/notify.sh backup" 

       #notify_fault"/etc/keepalived/notify.sh fault" 

  }

• notify.sh脚本内容

   

  #!/bin/bash

  # Author: MageEdu<[email protected]>

  # description: An example of notify script

  #

   

  vip=192.168.61.99

  contact='root@localhost'

   

  notify() {

     mailsubject="`hostname` to be $1: $vip floating"

     mailbody="`date '+%F %H:%M:%S'`: vrrp transition, `hostname`changed to be $1"

     echo $mailbody | mail -s "$mailsubject" $contact

  }

   

  case "$1" in

     master)

         notify master

         exit 0

      ;;

     backup)

         notify backup

         exit 0

     ;;

     fault)

         notify fault

         exit 0

     ;;

     *)

         echo 'Usage: `basename $0` {master|backup|fault}'

         exit 1

     ;;

  esac

   

  

6. a2主机keepalived安装及配置

 

• 安装

  yum -y install keepalived

   

• 配置文件/etc/keepalived/keepalived.conf内容如下
  
  ! Configuration File for keepalived
  
  global_defs {
     notification_email {
          dx@a1
     }
     notification_email_from server@a1
     smtp_server 127.0.0.1
     smtp_connect_timeout 30
     router_id LVS_DEVEL
  }
  
  vrrp_script chk_nginx {
          script "killall -0 nginx> /dev/null 2>&1"
          interval 1
          weight -5
  }
  vrrp_script chk_keepalived {
          script "killall -0keepalived > /dev/null 2>&1"
          interval 1
          weight -5
  }
  
  vrrp_instance VI_1 {
      state BACKUP
      interface eth0
     virtual_router_id 51
      priority 99
      advert_int 1
      authentication {
          auth_type PASS
          auth_pass 1111
      }
      virtual_ipaddress {
          192.168.61.99/24 dev eth0 labeleth0:0
      }
          track_script {
          chk_keepalived
          chk_nginx
          }
  }

7. 后端WEB主机ra1 及 ra2 配置

• 配置ra1 apache主页

  echo “139” > /var/www/html/index.html

  service httpd start

 

• 配置ra2 apache主页

  echo “140” > /var/www/html/index.html

  service httpd start

 

8. 测试

• 启动a1、a2 nginx及keepalived服务

  service nginx start

  service keepalived start

   

• 访问http://192.168.61.99/index.html 可以轮流显示内容 139和140证明nginx负载均衡正常

   

• 停止a1的nginx服务192.168.61.99 VIP 会转移到a2上恢复nginx服务后则会转移回a1

• 停止a1的keepalived服务192.168.61.99 VIP 会转移到a2上恢复nginx服务后则会转移回a1

   

  期间对后端WEB主机的访问不受影响至此配置完成