Keepalived 配置使用

Keepalived是类似于layer3层，4层，7层交换机制的软件，作用是检查WEB服务器健康状态，根据超时间件来判断WEB服务器的健康状态，其中一台WEB节点出现故障，Keepalived将会把故障的WEB节点移除。故障修复后自动添加回来。

layer3层，4层，7层工作在TCP/IP的协议栈的IP层，TCP层，应用层。

keepalived使用layer3层的方式工作时，keepalived会根据设定时间定期像后端服务器发送一个ICMP的ping包，来检测web服务器是否在线。

keepalived使用layer4层的方式工作时，是根据TCP的端口来进行检测，例如web服务器的80端口。

keepalived使用layer7层的方式工作时，就需要检测的是web节点的httpd或者nginx是否正常运行。

 

下图为根据keepalived画出简单的OSI7层模型:

keepalived上面说到是检查后端服务器健康状态的，也就是模拟VRRP的工作模式来实现的。

 

VRRP的特点：VRRP是一种容错协议，保证当主机的下一跳路由出现故障，由另外一台路由器代替出现故障的路由器进行工作，而保证网络通信的连接性及可靠性。

VRRP将局域网内的一组路由器划分在一起，形成一个VRRP备份组，它在功能上相当于一台虚拟路由器，使用虚拟路由器号进行标识。以下使用虚拟路由器代替VRRP备份组进行描述。

虚拟路由器有自己的虚拟IP地址和虚拟MAC地址，它的外在表现形式和实际的物理路由器完全一样。局域网内的主机将虚拟路由器的IP地址设置为默认网关，通过虚拟路由器与外部网络进行通信。

 

准备两个主机，安装keepalived。既然是模拟VRRP的工作模式，就需要一个MASTER节点和一个BACKUP节点。

安装keepalived。

# yum install keepalived

配置MASTER节点的keepalived.conf主配置文件。

! Configuration File forkeepalived
 
global_defs {                                               #全局定义段
   notification_email {
     [email protected]
     [email protected]
     [email protected]
   }
   [email protected]
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
 
vrrp_instance VI_1 {                                        #实例名称
    state MASTER                                            #当前节点为主节点
    interface eth1                                          #指定网卡
    virtual_router_id 132                                   #虚拟路由ID，默认为51
    priority 100                                            #优先级，主节点要数字要大于从节点
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 111111
    }
    virtual_ipaddress {                                     #虚拟IP地址
        192.168.0.121
    }
}

BACKUP节点需要修改下优先级和虚拟路由ID即可。

 

MASTER节点可以查看下日志，keepalived是否正常启动。

# tail -f /var/log/messages
Sep 22 02:02:12 webKeepalived_healthcheckers[2734]: Opening file '/etc/keepalived/keepalived.conf'.
Sep 22 02:02:12 webKeepalived_healthcheckers[2734]: Configuration is using : 7450 Bytes
Sep 22 02:02:12 webKeepalived_vrrp[2735]: VRRP sockpool: [ifindex(3), proto(112), fd(11,12)]
Sep 22 02:02:12 webKeepalived_healthcheckers[2734]: Using LinkWatch kernel netlink reflector...
Sep 22 02:02:13 webKeepalived_vrrp[2735]: VRRP_Instance(VI_1) Transition to MASTER STATE
Sep 22 02:02:14 webKeepalived_vrrp[2735]: VRRP_Instance(VI_1) Entering MASTER STATE
Sep 22 02:02:14 webKeepalived_vrrp[2735]: VRRP_Instance(VI_1) setting protocol VIPs.
Sep 22 02:02:14 webKeepalived_vrrp[2735]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth1 for192.168.0.121
Sep 22 02:02:14 webKeepalived_healthcheckers[2734]: Netlink reflector reports IP 192.168.0.121added
Sep 22 02:02:19 webKeepalived_vrrp[2735]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth1 for192.168.0.121

查看指定配置的虚拟IP。

# ip addr show | grep eth1
3: eth1: mtu 1500 qdisc pfifo_fast state UP qlen1000
    inet 192.168.0.110/24 brd 192.168.0.255scope global eth1
inet 192.168.0.121/32 scope global eth1
192.168.0.121已经在这里了

停止掉keepalived，看看虚拟IP是否还在。

# ip addr show | grep eth1
3: eth1: mtu 1500 qdisc pfifo_fast state UP qlen1000
inet 192.168.0.110/24 brd 192.168.0.255 scope global eth1

接下来在BACKUP的节点启动keepalived。

# service keepalived start
Starting keepalived:                                       [  OK  ]
# ip addr show | grep eth1
3: eth1: mtu 1500 qdisc pfifo_fast state UP qlen1000
    inet 192.168.0.111/24 brd 192.168.0.255scope global eth1
inet 192.168.0.121/32 scope global eth1

这时候在MASTER节点启动keepalived，查看虚拟IP是否回到主节点。

# ip addr show | grep eth1
3: eth1: mtu 1500 qdisc pfifo_fast state UP qlen1000
    inet 192.168.0.110/24 brd 192.168.0.255scope global eth1
inet 192.168.0.121/32 scope global eth1
虚拟IP重新回来了

可以查看下BACKUP节点的日志。

# tail -f /var/log/messages
Sep 22 02:07:10 webKeepalived_vrrp[1904]: VRRP_Instance(VI_1) Transition to MASTER STATE
Sep 22 02:07:11 webKeepalived_vrrp[1904]: VRRP_Instance(VI_1) Entering MASTER STATE
Sep 22 02:07:11 webKeepalived_vrrp[1904]: VRRP_Instance(VI_1) setting protocol VIPs.
Sep 22 02:07:11 webKeepalived_vrrp[1904]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth1 for192.168.0.121
Sep 22 02:07:11 webKeepalived_healthcheckers[1903]: Netlink reflector reports IP 192.168.0.121added
Sep 22 02:07:16 webKeepalived_vrrp[1904]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth1 for192.168.0.121
Sep 22 02:07:41 webKeepalived_vrrp[1904]: VRRP_Instance(VI_1) Received higher prio advert
Sep 22 02:07:41 webKeepalived_vrrp[1904]: VRRP_Instance(VI_1) Entering BACKUP STATE
Sep 22 02:07:41 webKeepalived_vrrp[1904]: VRRP_Instance(VI_1) removing protocol VIPs.
Sep 22 02:07:41 webKeepalived_healthcheckers[1903]: Netlink reflector reports IP 192.168.0.121removed

重新选举后，虚拟IP被移除到192.168.0.121，这时候BACKUP节点的虚拟IP就没有了。

 

接下来实现Keepalived双主模式。

两个keepalived使用两个虚拟IP，每个节点都使用一个虚拟IP地址，当其中一台故障的时候，可以直接把虚拟IP地址转移到另外一台节点上去，另外一台正常工作的keepalived将会调度故障那台后端所管理的WEB主机。

 

MASTER节点的keepalived.conf添加如下配置。

vrrp_instance VI_2{
    state BACKUP
    interface eth1
    virtual_router_id 232
    priority 99
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 222222
    }
    virtual_ipaddress {
        192.168.0.122
    }
}

定义第二个VRRP实例，修改节点为BACKUP，优先级为99，虚拟IP为192.168.0.122，虚拟路由ID为232。

而原BACKUOP节点定义修改节点为MASTER,优先级为100即可。

 

两个节点的keepalived都进行重启，虚拟IP就会一边一个。

# ip addr show |grep eth1
3: eth1: mtu 1500 qdisc pfifo_fast state UP qlen1000
    inet 192.168.0.110/24 brd 192.168.0.255scope global eth1
inet 192.168.0.121/32 scope global eth1
 
# ip addr show |grep eth1
3: eth1: mtu 1500 qdisc pfifo_fast state UP qlen1000
    inet 192.168.0.111/24 brd 192.168.0.255 scopeglobal eth1
inet 192.168.0.122/32 scope global eth1

而当我们把其中一个节点停掉的话，虚拟IP会立即转移到另外一个节点。

# ip addr show |grep eth1
3: eth1: mtu 1500 qdisc pfifo_fast state UP qlen1000
    link/ether 00:0c:29:b0:80:e9 brdff:ff:ff:ff:ff:ff
    inet 192.168.0.110/24 brd 192.168.0.255scope global eth1
    inet 192.168.0.121/32 scope global eth1
    inet 192.168.0.122/32 scope global eth1

这样即可保证一台主机出现故障后后端WEB服务器正常被访问，并且可以解决另外一台服务器过于空闲。并且需要监控的时候还可以添加邮箱，可以以邮件的方式监控keepalived是否正常工作。

 

定义监控脚本，检查web服务运行状态。

 

vrrp_scriptchk_httpd {                #定义一个名为chk_httpd的脚本
   script "killall -0 httpd"           #返回状态值
   interval 1                          #检测间隔时间
   weight -5                           #权重
   fall 2                              
   rise 1
}
 
vrrp_instance VI_1{
    state MASTER
    interface eth1
    virtual_router_id 132
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 111111
    }
    virtual_ipaddress {
        192.168.0.121
    }
 
   track_script {
       chk_httpd
   }
   notify_master "/etc/init.d/httpdstart"
   notify_backup "/etc/init.d/httpdstop"
   notify_fault "/etc/init.d/httpdstop"
}

刚安装好的httpd是没有启动的，通过启动keepalived查看httpd是否同时启动。

# ss -tnl
State       Recv-Q Send-Q              Local Address:Port                Peer Address:Port 
LISTEN      0     128                           :::80                           :::*     
LISTEN      0     128                           :::22                           :::*     
LISTEN      0     128                            *:22                            *:*     
LISTEN      0     100                          ::1:25                           :::*     
LISTEN      0     100                    127.0.0.1:25                            *:*  
端口已经看见了

 

这时候把MASTER节点的keepalived.conf复制到BACKUP节点，并且修改虚拟路由ID和优先级。

LVS + Keepalived 的实现。

WEB节点的配置：

安装好httpd服务，配置回环接口IP地址。 

# echo 1 >/proc/sys/net/ipv4/conf/eth1/arp_ignore 
# echo 1 >/proc/sys/net/ipv4/conf/all/arp_ignore 
# echo 2 >/proc/sys/net/ipv4/conf/all/arp_announce 
# echo 2 >/proc/sys/net/ipv4/conf/eth1/arp_announce 
# ifconfig eth0down
# ifconfig lo:0192.168.0.150 netmask 255.255.255.255 broadcast 192.168.0.150 up
# ifconfig 
 
lo:0      Link encap:Local Loopback  
          inet addr:192.168.0.150  Mask:255.255.255.255
          UP LOOPBACK RUNNING  MTU:16436 Metric:1
 
# route add -host192.168.0.150 dev lo:0

另外一台WEB节点相同配置。

后端服务器准备完毕后，开始配置keepalived。

 

# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1{
    state MASTER
    interface eth1
    virtual_router_id 132
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 111111
    }
    virtual_ipaddress {
        192.168.0.150
    }
}
 
virtual_server192.168.0.150 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
    protocol TCP
 
    real_server 192.168.0.120 80 {
        weight 1
        HTTP_GET {
            url {
              path /
       status_code 200
            }
            connect_timeout 2
            nb_get_retry 2
            delay_before_retry 1
        }
    }
    real_server 192.168.0.122 80 {
        weight 1
        HTTP_GET {
            url {
              path /
                status_code 200
            }
            connect_timeout 2
            nb_get_retry 2
            delay_before_retry 1
        }
    }
}

访问测试：

当把主节点的keepalived停掉后，查看虚拟IP是否转移以及ipvsadm规则。

# ip addr show |grep eth1
3: eth1: mtu 1500 qdisc pfifo_fast state UP qlen1000
    inet 192.168.0.111/24 brd 192.168.0.255scope global eth1
    inet 192.168.0.150/32 scope global eth1
 
# ipvsadm -L -n
IP Virtual Serverversion 1.2.1 (size=4096)
ProtLocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.150:80 rr
  -> 192.168.0.120:80             Route   1     0          1         
  -> 192.168.0.121:80             Route   1     0          1

   

虚拟IP顺利转移，也可以看到ipvsadm的规则了。

 

定义一个sorryserver 为了后端节点全部故障后用来响应的。

在keepalived.conf中添加一条。

sorry_server192.168.0.110 80

下面把WEB服务器的两个节点全部停掉，测试。

测试完成。