Keepalived原理与实战精讲

Keepalived原理与实战精讲
gotop&FinalBSD

什么是Keepalived呢，keepalived观其名可知，保持存活，在网络里面就是保持在线了，也就是所谓的高可用或热备，用来防止单点故障(单点故障是指一旦某一点出现故障就会导致整个系统架构的不可用)的发生，那说到keepalived时不得不说的一个协议就是VRRP协议，可以说这个协议就是keepalived实现的基础，那么首先我们来看看VRRP协议

注：搞运维的要有足够的耐心哦，不理解协议就很难透彻的掌握keepalived的了

一，VRRP协议

VRRP协议
学过网络的朋友都知道，网络在设计的时候必须考虑到冗余容灾，包括线路冗余，设备冗余等，防止网络存在单点故障，那在路由器或三层交换机处实现冗余就显得尤为重要，在网络里面有个协议就是来做这事的，这个协议就是VRRP协议，Keepalived就是巧用VRRP协议来实现高可用性(HA)的

VRRP协议有一篇文章写的非常好，大家可以直接看这里(记得认真看看哦，后面基本都已这个为基础的了)
帖子地址： http://bbs.ywlm.net/thread-790-1-1.html
只需要把服务器当作路由器即可！

在《 VRRP协议 》里讲到了虚拟路由器的ID也就是VRID在这里比较重要

keepalived完全遵守VRRP协议，包括竞选机制等等

二，Keepalived原理

Keepalived原理
keepalived也是模块化设计，不同模块复杂不同的功能，下面是keepalived的组件
core check vrrp libipfwc libipvs-2.4 libipvs-2.6

core：是keepalived的核心，复杂主进程的启动和维护，全局配置文件的加载解析等
check：负责healthchecker(健康检查)，包括了各种健康检查方式，以及对应的配置的解析包括LVS的配置解析
vrrp：VRRPD子进程，VRRPD子进程就是来实现VRRP协议的
libipfwc：iptables(ipchains)库，配置LVS会用到
libipvs*：配置LVS会用到
注意，keepalived和LVS完全是两码事，只不过他们各负其责相互配合而已

keepalived启动后会有三个进程
父进程：内存管理，子进程管理等等
子进程：VRRP子进程
子进程：healthchecker子进程

有图可知，两个子进程都被系统WatchDog看管，两个子进程各自复杂自己的事，healthchecker子进程复杂检查各自服务器的健康程度，例如HTTP，LVS等等，如果healthchecker子进程检查到MASTER上服务不可用了，就会通知本机上的兄弟VRRP子进程，让他删除通告，并且去掉虚拟IP，转换为BACKUP状态

三，Keepalived配置文件详解

keepalived配置详解
keepalived有三类配置区域(姑且就叫区域吧)，注意不是三种配置文件，是一个配置文件里面三种不同类别的配置区域

\u001C全局配置(Global Configuration)
VRRPD配置
LVS配置

一，全局配置
全局配置又包括两个子配置：
全局定义(global definition)
静态路由配置(static ipaddress/routes)

1，全局定义(global definition)配置范例

1. global_defs
   
2. {
   
3. notification_email
   
4. {
   
5. [email protected]
   
6. }
   
7. notification_email_from [email protected]
   
8. smtp_server 127.0.0.1
   
9. stmp_connect_timeout 30
   
10. router_id node1
    
11. }

复制代码

全局配置解析
global_defs全局配置标识，表面这个区域{}是全局配置

1. notification_email
   
2. 
   
3. {
   
4. 
   
5. [email protected]
   
6. [email protected]
   
7. 
   
8. }

复制代码

表示keepalived在发生诸如切换操作时需要发送email通知，以及email发送给哪些邮件地址，邮件地址可以多个，每行一个

notification_email_from  [email protected]
表示发送通知邮件时邮件源地址是谁

smtp_server 127.0.0.1
表示发送email时使用的smtp服务器地址，这里可以用本地的sendmail来实现

smtp_connect_timeout 30
连接smtp连接超时时间

router_id node1
机器标识

2，静态地址和路由配置范例

1. static_ipaddress
   
2. {
   
3. 192.168.1.1/24 brd + dev eth0 scope global
   
4. 192.168.1.2/24 brd + dev eth1 scope global
   
5. }
   
6. static_routes
   
7. {
   
8. src $SRC_IP to $DST_IP dev $SRC_DEVICE
   
9. src $SRC_IP to $DST_IP via $GW dev $SRC_DEVICE
   
10. }

复制代码

这里实际上和系统里面命令配置IP地址和路由一样例如：
192.168.1.1/24 brd + dev eth0 scope global 相当于: ip addr add 192.168.1.1/24 brd + dev eth0 scope global
就是给eth0配置IP地址
路由同理
一般这个区域不需要配置
这里实际上就是给服务器配置真实的IP地址和路由的，在复杂的环境下可能需要配置，一般不会用这个来配置，我们可以直接用vi /etc/sysconfig/network-script/ifcfg-eth1来配置，切记这里可不是VIP哦，不要搞混淆了，切记切记！

二，VRRPD配置
VRRPD配置包括三个类
VRRP同步组(synchroization group)
VRRP实例(VRRP Instance) VRRP脚本

1，VRRP同步组(synchroization group)配置范例

1. vrrp_sync_group VG_1 {
   
2. group {
   
3. http
   
4. mysql
   
5. }
   
6. notify_master /path/to/to_master.sh
   
7. notify_backup /path_to/to_backup.sh
   
8. notify_fault "/path/fault.sh VG_1"
   
9. notify /path/to/notify.sh
   
10. smtp_alert
    
11. }

复制代码

其中：

1. group {
   
2. http
   
3. mysql
   
4. }

复制代码

http和mysql是实例名和下面的实例名一致

1. notify_master /path/to/to_master.sh：表示当切换到master状态时，要执行的脚本
   
2. 
   
3. notify_backup /path_to/to_backup.sh：表示当切换到backup状态时，要执行的脚本
   
4. 
   
5. notify_fault "/path/fault.sh VG_1"

复制代码

notify /path/to/notify.sh：

smtp alter表示切换时给global defs中定义的邮件地址发送右键通知

2，VRRP实例(instance)配置范例

1. vrrp_instance http {
   
2. state MASTER
   
3. interface eth0
   
4. dont_track_primary
   
5. track_interface {
   
6. eth0
   
7. eth1
   
8. }
   
9. mcast_src_ip <IPADDR>
   
10. garp_master_delay 10
    
11. virtual_router_id 51
    
12. priority 100
    
13. advert_int 1
    
14. authentication {
    
15. auth_type PASS
    
16. autp_pass 1234
    
17. }
    
18. virtual_ipaddress {
    
19. #<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPT> label <LABEL>
    
20. 192.168.200.17/24 dev eth1
    
21. 192.168.200.18/24 dev eth2 label eth2:1
    
22. }
    
23. virtual_routes {
    
24. # src <IPADDR> [to] <IPADDR>/<MASK> via|gw <IPADDR> dev <STRING> scope <SCOPE> tab
    
25. src 192.168.100.1 to 192.168.109.0/24 via 192.168.200.254 dev eth1
    
26. 192.168.110.0/24 via 192.168.200.254 dev eth1
    
27. 192.168.111.0/24 dev eth2
    
28. 192.168.112.0/24 via 192.168.100.254
    
29. }
    
30. nopreempt
    
31. preemtp_delay 300
    
32. debug
    
33. }

复制代码

state：state指定instance(Initial)的初始状态，就是说在配置好后，这台服务器的初始状态就是这里指定的，但这里指定的不算，还是得要通过竞选通过优先级来确定，里如果这里设置为master，但如若他的优先级不及另外一台，那么这台在发送通告时，会发送自己的优先级，另外一台发现优先级不如自己的高，那么他会就回抢占为master

interface：实例绑定的网卡，因为在配置虚拟IP的时候必须是在已有的网卡上添加的

dont track primary：忽略VRRP的interface错误

track interface：跟踪接口，设置额外的监控，里面任意一块网卡出现问题，都会进入故障(FAULT)状态，例如，用nginx做均衡器的时候，内网必须正常工作，如果内网出问题了，这个均衡器也就无法运作了，所以必须对内外网同时做健康检查

mcast src ip：发送多播数据包时的源IP地址，这里注意了，这里实际上就是在那个地址上发送VRRP通告，这个非常重要，一定要选择稳定的网卡端口来发送，这里相当于heartbeat的心跳端口，如果没有设置那么就用默认的绑定的网卡的IP，也就是interface指定的IP地址

garp master delay：在切换到master状态后，延迟进行免费的ARP(gratuitous ARP)请求

virtual router id：这里设置VRID，这里非常重要，相同的VRID为一个组，他将决定多播的MAC地址

priority 100：设置本节点的优先级，优先级高的为master

advert int：检查间隔，默认为1秒

virtual ipaddress：这里设置的就是VIP，也就是虚拟IP地址，他随着state的变化而增加删除，当state为master的时候就添加，当state为backup的时候删除，这里主要是有优先级来决定的，和state设置的值没有多大关系，这里可以设置多个IP地址

virtual routes：原理和virtual ipaddress一样，只不过这里是增加和删除路由

lvs sync daemon interface：lvs syncd绑定的网卡

authentication：这里设置认证

auth type：认证方式，可以是PASS或AH两种认证方式

auth pass：认证密码

nopreempt：设置不抢占，这里只能设置在state为backup的节点上，而且这个节点的优先级必须别另外的高

preempt delay：抢占延迟

debug：debug级别

notify master：和sync group这里设置的含义一样，可以单独设置，例如不同的实例通知不同的管理人员，http实例发给网站管理员，mysql的就发邮件给DBA

3，VRRP脚本

1. vrrp_script check_running {
   
2. script "/usr/local/bin/check_running"
   
3. interval 10
   
4. weight 10
   
5. }
   
6. 
   
7. vrrp_instance http {
   
8. state BACKUP
   
9. smtp_alert
   
10. interface eth0
    
11. virtual_router_id 101
    
12. priority 90
    
13. advert_int 3
    
14. authentication {
    
15. auth_type PASS
    
16. auth_pass whatever
    
17. }
    
18. virtual_ipaddress {
    
19. 1.1.1.1
    
20. }
    
21. track_script {
    
22. check_running weight 20
    
23. }
    
24. }

复制代码

首先在vrrp_script区域定义脚本名字和脚本执行的间隔和脚本执行的优先级变更
vrrp_script check_running {

script "/usr/local/bin/check_running"

interval 10 #脚本执行间隔

weight 10 #脚本结果导致的优先级变更：10表示优先级+10；-10则表示优先级-10

}

然后在实例(vrrp_instance)里面引用，有点类似脚本里面的函数引用一样：先定义，后引用函数名
track_script {
check_running weight 20
}

注意：VRRP脚本(vrrp_script)和VRRP实例(vrrp_instance)属于同一个级别

LVS配置

如果你没有配置LVS+keepalived那么无需配置这段区域，里如果你用的是nginx来代替LVS，这无限配置这款，这里的LVS配置是专门为keepalived+LVS集成准备的。
注意了，这里LVS配置并不是指真的安装LVS然后用ipvsadm来配置他，而是用keepalived的配置文件来代替ipvsadm来配置LVS，这样会方便很多，一个配置文件搞定这些，维护方便，配置方便是也！

这里LVS配置也有两个配置
一个是虚拟主机组配置
一个是虚拟主机配置

1，虚拟主机组配置文件详解
这个配置是可选的，根据需求来配置吧，这里配置主要是为了让一台realserver上的某个服务可以属于多个Virtual Server，并且只做一次健康检查

virtual_server_group <STRING> {
# VIP port
< IPADDR> <PORT>
< IPADDR> <PORT>
fwmark <INT>
}

2，虚拟主机配置

virtual server可以以下面三种的任意一种来配置

1. 1. virtual server IP port
   
2. 2. virtual server fwmark int
   
3. 3. virtual server group string

复制代码

下面以第一种比较常用的方式来配详细解说一下

virtual_server 192.168.1.2 80 { #设置一个virtual server: VIP:Vport
delay_loop 3 # service polling的delay时间，即服务轮询的时间间隔

lb_algo rr|wrr|lc|wlc|lblc|sh|dh #LVS调度算法
lb_kind NAT|DR|TUN #LVS集群模式 
persistence_timeout 120 #会话保持时间（秒为单位），即以用户在120秒内被分配到同一个后端realserver
persistence_granularity <NETMASK> #LVS会话保持粒度，ipvsadm中的-M参数，默认是0xffffffff，即每个客户端都做会话保持
protocol TCP #健康检查用的是TCP还是UDP
ha_suspend #suspendhealthchecker’s activity
virtualhost <string> #HTTP_GET做健康检查时，检查的web服务器的虚拟主机（即host：头）

sorry_server <IPADDR> <PORT> #备用机，就是当所有后端realserver节点都不可用时，就用这里设置的，也就是临时把所有的请求都发送到这里啦

real_server <IPADDR> <PORT> #后端真实节点主机的权重等设置，主要，后端有几台这里就要设置几个
{
weight 1 #给每台的权重，0表示失效(不知给他转发请求知道他恢复正常)，默认是1
inhibit_on_failure #表示在节点失败后，把他权重设置成0，而不是冲IPVS中删除

notify_up <STRING> | <QUOTED-STRING> #检查服务器正常(UP)后，要执行的脚本
notify_down <STRING> | <QUOTED-STRING> #检查服务器失败(down)后，要执行的脚本

HTTP_GET #健康检查方式
{
url { #要坚持的URL，可以有多个
path / #具体路径
digest <STRING> 
status_code 200 #返回状态码
}
connect_port 80 #监控检查的端口

bindto <IPADD> #健康检查的IP地址
connect_timeout 3 #连接超时时间
nb_get_retry 3 #重连次数
delay_before_retry 2 #重连间隔
} # END OF HTTP_GET|SSL_GET


#下面是常用的健康检查方式，健康检查方式一共有HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK这些
#TCP方式
TCP_CHECK {
connect_port 80
bindto 192.168.1.1
connect_timeout 4
} # TCP_CHECK

# SMTP方式，这个可以用来给邮件服务器做集群
SMTP_CHECK
host {
connect_ip <IP ADDRESS>
connect_port <PORT> #默认检查25端口
14 KEEPALIVED
bindto <IP ADDRESS>
}
connect_timeout <INTEGER>
retry <INTEGER>
delay_before_retry <INTEGER>
# "smtp HELO"?|·-\u001Bë꧌à\u001B"
helo_name <STRING>|<QUOTED-STRING>
} #SMTP_CHECK

#MISC方式，这个可以用来检查很多服务器只需要自己会些脚本即可
MISC_CHECK
{
misc_path <STRING>|<QUOTED-STRING> #外部程序或脚本
misc_timeout <INT> #脚本或程序执行超时时间

misc_dynamic #这个就很好用了，可以非常精确的来调整权重，是后端每天服务器的压力都能均衡调配，这个主要是通过执行的程序或脚本返回的状态代码来动态调整weight值，使权重根据真实的后端压力来适当调整，不过这需要有过硬的脚本功夫才行哦
#返回0：健康检查没问题，不修改权重
#返回1：健康检查失败，权重设置为0
#返回2-255：健康检查没问题，但是权重却要根据返回代码修改为返回码-2，例如如果程序或脚本执行后返回的代码为200，#那么权重这回被修改为 200-2
}
} # Realserver
} # Virtual Server

配置文件到此就讲完了，下面是一份未加备注的完整配置文件

1. global_defs
   
2. {
   
3. notification_email
   
4. {
   
5. [email protected]
   
6. }
   
7. notification_email_from [email protected]
   
8. smtp_server 127.0.0.1
   
9. stmp_connect_timeout 30
   
10. router_id node1
    
11. }
    
12. notification_email
    
13. {
    
14. [email protected]
    
15. [email protected]
    
16. }
    
17. 
    
18. static_ipaddress
    
19. {
    
20. 192.168.1.1/24 brd + dev eth0 scope global
    
21. 192.168.1.2/24 brd + dev eth1 scope global
    
22. }
    
23. static_routes
    
24. {
    
25. src $SRC_IP to $DST_IP dev $SRC_DEVICE
    
26. src $SRC_IP to $DST_IP via $GW dev $SRC_DEVICE
    
27. }
    
28. 
    
29. vrrp_sync_group VG_1 {
    
30. group {
    
31. http
    
32. mysql
    
33. }
    
34. notify_master /path/to/to_master.sh
    
35. notify_backup /path_to/to_backup.sh
    
36. notify_fault "/path/fault.sh VG_1"
    
37. notify /path/to/notify.sh
    
38. smtp_alert
    
39. }
    
40. group {
    
41. http
    
42. mysql
    
43. }
    
44. 
    
45. 
    
46. vrrp_script check_running {
    
47. script "/usr/local/bin/check_running"
    
48. interval 10
    
49. weight 10
    
50. }
    
51. 
    
52. 
    
53. vrrp_instance http {
    
54. state MASTER
    
55. interface eth0
    
56. dont_track_primary
    
57. track_interface {
    
58. eth0
    
59. eth1
    
60. }
    
61. mcast_src_ip <IPADDR>
    
62. garp_master_delay 10
    
63. virtual_router_id 51
    
64. priority 100
    
65. advert_int 1
    
66. authentication {
    
67. auth_type PASS
    
68. autp_pass 1234
    
69. }
    
70. virtual_ipaddress {
    
71. #<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPT> label <LABEL>
    
72. 192.168.200.17/24 dev eth1
    
73. 192.168.200.18/24 dev eth2 label eth2:1
    
74. }
    
75. virtual_routes {
    
76. # src <IPADDR> [to] <IPADDR>/<MASK> via|gw <IPADDR> dev <STRING> scope <SCOPE> tab
    
77. src 192.168.100.1 to 192.168.109.0/24 via 192.168.200.254 dev eth1
    
78. 192.168.110.0/24 via 192.168.200.254 dev eth1
    
79. 192.168.111.0/24 dev eth2
    
80. 192.168.112.0/24 via 192.168.100.254
    
81. }
    
82. track_script {
    
83. check_running weight 20
    
84. }
    
85. 
    
86. nopreempt
    
87. preemtp_delay 300
    
88. debug
    
89. }
    
90. 
    
91. virtual_server_group <STRING> {
    
92. # VIP port
    
93. <IPADDR> <PORT>
    
94. <IPADDR> <PORT>
    
95. fwmark <INT>
    
96. }
    
97. 
    
98. virtual_server 192.168.1.2 80 {
    
99. delay_loop 3
    
100. 
     
101. lb_algo rr|wrr|lc|wlc|lblc|sh|dh
     
102. lb_kind NAT|DR|TUN
     
103. persistence_timeout 120
     
104. persistence_granularity <NETMASK>
     
105. protocol TCP
     
106. ha_suspend
     
107. virtualhost <string>
     
108. 
     
109. sorry_server <IPADDR> <PORT>
     
110. 
     
111. real_server <IPADDR> <PORT>
     
112. {
     
113. weight 1
     
114. inhibit_on_failure 
     
115. notify_up <STRING> | <QUOTED-STRING>
     
116. notify_down <STRING> | <QUOTED-STRING>
     
117. 
     
118. #HTTP_GET方式
     
119. HTTP_GET | SSL_GET
     
120. {
     
121. url { 
     
122. path / 
     
123. digest <STRING> 
     
124. status_code 200
     
125. }
     
126. connect_port 80 
     
127. 
     
128. bindto <IPADD>
     
129. connect_timeout 3
     
130. nb_get_retry 3
     
131. delay_before_retry 2
     
132. } 
     
133. }
     
134. }

复制代码

注意，这里仅仅是罗列，并不是可用的配置文件。里面需要根据自己的时间情况稍加配置才能用

在下面我会根据实际的需求给出我平时的配置案例，在二楼三楼四楼分别给出三个案例

转自 http://hancang2000.blog.sohu.com/252054749.html