ha(双机热备)开发综述
Ha（热备）:
一台为主服务器（MASTER），一台为备份服务器（BACKUP），但是对外表现为一个虚拟IP，主服务器会发送特定的消息给备份服务器，当备份服务器收不到这个消息的时候，即主服务器宕机的时候， 备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。
安装开源软件：
以下软件的安装通过编写脚本build.sh来实现。
Arping：是一个 ARP 级别的 ping 工具，可用来直接 ping MAC 地址，以及找出那些 ip 地址被哪些电脑所使用了。
libnet：libnet提供的函数接口主要实现和封装了数据包的构造和发送过程。
libpcap：libpcap提供的函数接口主要实现和封装了与数据包截取有关的过程。
openssl：openssl是一个安全套接字层密码库，囊括主要的密码算法、常用的密钥和证书封装管理功能及SSl协议，并提供丰富的应用程序供程序测试和其他目的使用。
keepalived(主要 可实现热备服务和负载均衡)：keepalived的作用是检测服务器的状态，如果拥有一台web服务器宕机，或者出现故障，keepalived将检测到，并将有故障的服务器从系统中提出，同时使用其他服务器代替该服务器工作，当服务器正常后keepalived自动将服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障服务器。原理：检查服务群的iP和端口是否联通，若不连通则报告并替换，还有就是根据用户的一些设定来鉴别服务群中的机器是否出现问题。
建立配置文件：hatest.conf
touch hatest.conf主机配置文件内容：
global_defs {
router_id TEST_HA
}
vrrp_sync_group VG_1 {
group {
test_ha
}
}
vrrp_script check_local {
interval 2
weight 2
}
vrrp_instance test_ha {
state MASTER
interface eth2 #绑定的网口
virtual_router_id 71
priority 100 #优先级，主机要比备机高
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
1.1.1.1 #虚拟IP
}
}
备机配置文件内容：
global_defs {
router_id TESE_HA
}
vrrp_sync_group VG_1 {
group {
test_ha
}
}
vrrp_script check_local {
interval 2
weight 2
}
vrrp_instance test_ha {
state BACKUP
interface eth2 #绑定的网口
virtual_router_id 71
priority 98 #优先级，主机要比备机高些
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
1.1.1.1 #虚拟IP
}
}开启主服务：
例如配置文件hatest.conf的路径是/home/conf/hatest.conf，执行文件keepalived的路径是/home/bin/keepalived，执行以下：
/home/bin/keepalived -f /home/conf/hatest.confrm -fR /var/lock/hakeepalived-btouch /var/lock/hakeepalived-m开启备机服务：
例如配置文件hatest.conf的路径是/home/conf/hatest.conf，执行文件keepalived的路径是/home/bin/keepalived，执行以下：
/home/bin/keepalived -f /home/conf/hatest.confrm -fR /var/lock/hakeepalived-mtouch /var/lock/hakeepalived-b关闭服务：
1，获取/var/run/keepalived.pid中记录的pid
2，kill -9 pid
3，删除/var/run/keepalived.pid文件
4，删除/var/lock/hakeepalived-m或者/var/lock/hakeepalived-b文件
状态查询：
int ha_status()
{
if(!access("/var/lock/hakeepalived-m",0))
printf("ha MASTER server is running!\n");
else if(!access("/var/lock/hakeepalived-b",0))
printf("ha BACKUP server is running!\n");
else
printf("ha server is not running\n");
return 0;
}
日志记录：
ha的日志文件默认写在/var/log/message中，我们可以直接打开来看。
然而我们所写的执行脚本所生成的日志，一般不是它们执行内部产生的一些细节上的日志记录，而是一些启动信息，状态信息等等，
因此我们将它写到一个其他目录下的一个日志文件。以便于区分。
下面为转载的一篇文章。
########################################################
########################################################
通常说的双机热备是指两台机器都在运行，但并不是两台机器都同时在提供服务。
当提供服务的一台出现故障的时候，另外一台会马上自动接管并且提供服务，而且切换的时间非常短。
下面来以keepalived结合tomcat来实现一个web服务器的双机热备。
keepalived的工作原理是VRRP（Virtual Router Redundancy Protocol）虚拟路由冗余协议。
在VRRP中有两组重要的概念：VRRP路由器和虚拟路由器，主控路由器和备份路由器。
VRRP路由器是指运行VRRP的路由器，是物理实体，虚拟路由器是指VRRP协议创建的，是逻辑概念。一组VRRP路由器协同工作，共同构成一台虚拟路由器。 Vrrp中存在着一种选举机制，用以选出提供服务的路由即主控路由，其他的则成了备份路由。当主控路由失效后，备份路由中会重新选举出一个主控路由，来继续工作，来保障不间断服务。
我们在本文中的测试环境如下
两台物理服务器和一个虚拟服务器(vip):
master：redhat 2.6.18-53.el5 192.168.8.4
backup: redhat 2.6.18-53.el5 192.168.8.6
vip： 192.168.8.100
测试环境的网络topology图如下:
节点A 192.168.8.4 (主节点), 节点B 192.168.8.6(备用节点)，虚拟IP(对外提供服务的IP 192.168.8.100)
在这种模式下，虚拟IP在某时刻只能属于某一个节点，另一个节点作为备用节点存在。
当主节点不可用时，备用节点接管虚拟IP（即虚拟IP漂移至节点B），提供正常服务。
keepalived的原理可以这样简单理解:
keepalived安装在两台物理服务器上，并相互监控对方是否在正常运行。
当节点A正常的时候:节点A上的keepalived会将下面的信息广播出去:
192.168.8.100 这个IP对应的MAC地址为节点A网卡的MAC地址
图中的其它电脑如客户端和NodeB会更新自己的ARP表，对应192.168.8.100的MAC地址=节点A网卡的MAC地址。
当节点A发生故障的时候，节点B上的keepalived会检测到，并且将下面的信息广播出去:
192.168.8.100 这个IP对应的MAC地址为节点B网卡的MAC地址
图中的其它电脑如客户端会更新自己的ARP表，对应192.168.8.100的MAC地址=节点B网卡的MAC地址。
1,在主备机器上安装keepalived，
步骤如下:下载keepalived-1.1.15.tar.gz，然后解压安装
#tar zxvf keepalived-1.1.15.tar.gz
#cd keepalived-1.1.15
#./configure
#make
#make install
2,配置keepalived
配置中的state MASTER决定了节点为主节点
priority决定了优先级，比如在有多个备用节点的时候，主节点故障后优先级值大的接管。
主节点的配置如下:
- global_defs {
- router_id NodeA
- }
- vrrp_instance VI_1 {
- state MASTER #设置为主服务器
- interface eth0 #监测网络接口
- virtual_router_id 51 #主、备必须一样
- priority 100 #(主、备机取不同的优先级，主机值较大，备份机值较小,值越大优先级越高)
- advert_int 1 #VRRP Multicast广播周期秒数
- authentication {
- auth_type PASS #VRRP认证方式，主备必须一致
- auth_pass 1111 #(密码)
- }
- virtual_ipaddress {
- 192.168.8.100/24 #VRRP HA虚拟地址
- }
- global_defs {
- router_id NodeB
- }
- vrrp_instance VI_1 {
- state BACKUP #设置为主服务器
- interface eth0 #监测网络接口
- virtual_router_id 51 #主、备必须一样
- priority 90 #(主、备机取不同的优先级，主机值较大，备份机值较小,值越大优先级越高)
- advert_int 1 #VRRP Multicast广播周期秒数
- authentication {
- auth_type PASS #VRRP认证方式，主备必须一致
- auth_pass 1111 #(密码)
- }
- virtual_ipaddress {
- 192.168.8.100/24 #VRRP HA虚拟地址
- }
keepalived -D -f /usr/local/etc/keepalived/keepalived.conf
查看log消息:
tail -f /var/log/messages
启动主节点A后的日志为:会广播ARP消息
- [root@srv4 ~]# tail -f /var/log/messages
- Sep 20 01:45:29 srv4 Keepalived_vrrp: Configuration is using : 34546 Bytes
- Sep 20 01:45:29 srv4 Keepalived_vrrp: VRRP sockpool: [ifindex(2), proto(112), fd(8,9)]
- Sep 20 01:45:30 srv4 Keepalived_vrrp: VRRP_Instance(VI_1) Transition to MASTER STATE
- Sep 20 01:45:31 srv4 Keepalived_vrrp: VRRP_Instance(VI_1) Entering MASTER STATE
- Sep 20 01:45:31 srv4 Keepalived_vrrp: VRRP_Instance(VI_1) setting protocol VIPs.
- Sep 20 01:45:31 srv4 Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.8.100
- Sep 20 01:45:31 srv4 Keepalived_vrrp: Netlink reflector reports IP 192.168.8.100 added
- Sep 20 01:45:31 srv4 Keepalived_healthcheckers: Netlink reflector reports IP 192.168.8.100 added
- Sep 20 01:45:31 srv4 avahi-daemon[4029]: Registering new address record for 192.168.8.100 on eth0.
- Sep 20 01:45:36 srv4 Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.8.100
- [root@srv4 bin]# ip a
- 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue
- link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
- inet 127.0.0.1/8 scope host lo
- inet6 ::1/128 scope host
- valid_lft forever preferred_lft forever
- 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000
- link/ether 00:0c:29:50:2d:9d brd ff:ff:ff:ff:ff:ff
- inet 192.168.8.4/24 brd 192.168.8.255 scope global eth0
- inet 192.168.8.100/24 scope global secondary eth0
- inet6 fe80::20c:29ff:fe50:2d9d/64 scope link
- valid_lft forever preferred_lft forever
- Sep 20 01:47:31 hadoopsrv Keepalived_vrrp: Configuration is using : 34262 Bytes
- Sep 20 01:47:31 hadoopsrv Keepalived_vrrp: VRRP_Instance(VI_1) Entering BACKUP STATE
- Sep 20 01:47:31 hadoopsrv Keepalived_vrrp: VRRP sockpool: [ifindex(2), proto(112), fd(7,8)]
- Sep 20 01:47:31 hadoopsrv Keepalived: Starting VRRP child process, pid=20567
4，在两台机器上安装tomcat，安装步骤省略
安装完成后在节点A的机器上创建一个html文件内容如下
- this is the test page
- <br>
- from server 192.168.8.4
http://192.168.8.4:8080/test/test.html
安装完成后在节点B的机器上创建一个html文件内容如下
- this is the test page
- <br>
- from server 192.168.8.6
http://192.168.8.6:8080/test/test.html
在主节点，节点A正常的时候通过下面的url访问
192.168.8.100:8080/test/test.html
返回的内容应该为主节点上的html
- this is the test page
- <br>
- from server 192.168.8.4
通过下面的url访问
192.168.8.100:8080/test/test.html
返回的内容应该为备用节点上的内容
- this is the test page
- <br>
- from server 192.168.8.6
- Sep 20 01:55:44 hadoopsrv Keepalived_vrrp: VRRP_Instance(VI_1) Transition to MASTER STATE
- Sep 20 01:55:45 hadoopsrv Keepalived_vrrp: VRRP_Instance(VI_1) Entering MASTER STATE
- Sep 20 01:55:45 hadoopsrv Keepalived_vrrp: VRRP_Instance(VI_1) setting protocol VIPs.
- Sep 20 01:55:45 hadoopsrv Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.8.100
- Sep 20 01:55:45 hadoopsrv avahi-daemon[3769]: Registering new address record for 192.168.8.100 on eth0.
- Sep 20 01:55:50 hadoopsrv Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.8.100
本文的目的主要是演示keepalived实现双机热备的功能和过程。
对于应用本身(tomcat)发生错误，以及"脑裂"等问题是不能解决的。
#################################################################
#################################################################
原地址：点击打开链接
完！！