HA 高可用集群

HA 高可用集群项目实践 时    间：2009年4月 姓    名：赵舜东

实验目的：通过实验深入理解HA+LVS集群的原理，并可以熟练配置 实验环境：Red Hat Enterprise Linux Server release 5.3 实验前提：该实验是建立在LVS的基础上，必须在弄懂LVS的前提下，才能做本实验，而且因为实际工作中的LVS多为DR方式，所以实验前保证，实验环境是做LVS-DR时的实验环境。 实验内容： 一、环境的配置 二、软件的安装 三、服务的配置 四、集群的测试 　 实验内容：        一、 环境的配置   192.168.0.0／255.255.255.0用来模拟公网IP的一个网段   （一）Director 和备份Director的环境设置   192.168.0.120 [root@unixhot ~]# hostname node1.unixhot.com [root@unixhot ~]# vim /etc/sysconfig/network [root@unixhot ~]# vim /etc/hosts HOSTNAME=node1.unixhot.com 192.168.0.12 node1.unixhot.com node1 192.168.0.120 node2.unixhot.com node2   2.备份的director192.168.0.120的配置同上，把主机名设置为node2 （注意，主机名必须设置，并且能通过hosts文件解析）   （二）真实机的配置   1.      同LVS集群，关闭arp 2.      同LVS集群，绑定VIP到lo本地回环上 3.      同LVS集群，设置默认的网关为DGW     一、             软件的安装   （以下是安装heartbeat所需依赖的包，可能根据系统安装时选择的软件包不同，所依赖的包也会不同，这里要在主从两台Director上安装） heartbeat-2.1.3-3.el5.centos.i386.rpm heartbeat-devel-2.1.3-3.el5.centos.i386.rpm heartbeat-gui-2.1.3-3.el5.centos.i386.rpm heartbeat-ldirectord-2.1.3-3.el5.centos.i386.rpm heartbeat-pils-2.1.3-3.el5.centos.i386.rpm heartbeat-stonith-2.1.3-3.el5.centos.i386.rpm perl-Convert-ASN1-0.20-1.1.noarch.rpm perl-Crypt-SSLeay-0.51-11.el5.i386.rpm perl-Data-HexDump-0.02-1.2.el5.rf.noarch.rpm perl-Date-Calc-5.4-1.2.2.1.i386.rpm perl-IO-Socket-INET6-2.51-2.fc6.noarch.rpm perl-IO-Socket-SSL-1.01-1.fc6.noarch.rpm perl-LDAP-0.33-3.fc6.noarch.rpm perl-libwww-perl-5.805-1.1.1.noarch.rpm perl-libxml-perl-0.08-1.2.1.noarch.rpm perl-Mail-POP3Client-2.18-1.el5.rf.noarch.rpm perl-MailTools-2.02-1.el5.rf.noarch.rpm perl-Net-DNS-0.59-3.el5.i386.rpm perl-Net-IMAP-Simple-1.17-1.el5.rf.noarch.rpm perl-Net-IMAP-Simple-SSL-1.3-1.el5.rf.noarch.rpm perl-Net-SSLeay-1.30-4.fc6.i386.rpm perl-RadiusPerl-0.13-1.el5.rf.noarch.rpm perl-TimeDate-1.16-5.el5.noarch.rpm perl-XML-NamespaceSupport-1.09-1.2.1.noarch.rpm perl-XML-Parser-2.34-6.1.2.2.1.i386.rpm perl-XML-SAX-0.14-5.noarch.rpm 　         三、服务的配置   安装成功后会创建/etc/ha.d 目录，但默认情况下该目录里没有配置文件。 [root@unixhot ~]# cp /usr/share/doc/heartbeat-ldirectord-2.1.3/ldirectord.cf  /etc/ha.d/ [root@unixhot ~]# cp /usr/share/doc/heartbeat-2.1.3/authkeys                /etc/ha.d/ [root@unixhot ~]# cp /usr/share/doc/heartbeat-2.1.3/haresources             /etc/ha.d/ [root@unixhot ~]# cp /usr/share/doc/heartbeat-2.1.3/ha.cf                    /etc/ha.d/   （一）ldirectord 用来配置ipvsadm，并通过一个测试页，监控真实机的web服务情况，如果有真实机的服务停止了，就把它的权重设置为零，这样director就不会 分发请求给该真实机，如果所有的真实机都down了，就会在director上打开自己的web服务器，并提示系统正在维护中。 1. [root@unixhot ~]# vim /etc/ha.d/ldirectord.cf # Global Directives checktimeout=3   # 检查的超时时间，如果3秒钟还监听不到心跳说明对方已down checkinterval=1   # 检查的间隔时间，每间隔1秒钟，测试心跳 fallback=127.0.0.1:80  # 如果所有的真实机全部down，director就会把自己的web服务打开 autoreload=yes    logfile="/var/log/ldirectord.log"  #记录日志 logfile="local0"  #设置日志对象 emailalert="[email protected]"  #设置出现故障时的邮件提醒 emailalertfreq=3600  #邮件警告时间间隔，就是如果故障没有派出，每隔3600秒发送一封邮件 emailalertstatus=all  # 设置邮件格式为最详细的格式 quiescent=yes  # 如果真实机down了，把它的权重设置为0   # Sample for an http virtual service virtual=192.168.0.128:80  设置VIP  （注意在这里VIP要自己绑定到director上，但后面做heartbeat的时候就不用自己绑定了，会自动绑定）         real=192.168.0.121:80 gate  weight 20   #设置真实机 并设置权重         real=192.168.0.122:80 gate  weight 30         fallback=127.0.0.1:80 gate   #设置所有真实机down后，开启自己的web服务         service=http            #测试的服务         request="test.html"    #测试的页面         receive="Test Page"    #测试的内容         #virtualhost=some.domain.com.au         scheduler=wrr    #调度算法         #persistent=600         #netmask=255.255.255.255         protocol=tcp         checktype=negotiate         checkport=80         #request="index.html"         #receive="Test Page"         #virtualhost=www.x.y.z 　 2.[root@unixhot ~]# chkconfig —add ldirectord  （添加到启动管理，默认是没有自动添加） 3.[root@unixhot ~]# chkconfig —list  |  grep directord ldirectord      0:off   1:off   2:off   3:on    4:off   5:on    6:off 3.[root@unixhot ~]# ipvsadm -Ln  （发现并没有任何信息） IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn 4.[root@unixhot ~]# service ldirectord start  （启动ldirectord） 5.[root@unixhot ~]# ipvsadm -Ln   （发现ipvsadm有配置了，可是权重都是零，也就是不可用，因为我们的test.html文件还没创建，ldirectord无法获取正常的页面自然就会把权重值设置为0） IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn TCP  192.168.0.12:80 wrr   -> 192.168.0.122:80             Route   0      0          0           -> 192.168.0.121:80             Route   0      0          0           -> 127.0.0.1:80                  Local   1      0          0         6.[root@unixhot ~]# ssh 192.168.0.121  （设置测试页） [root@node1 ~]# echo "Test Page" > /var/www/html/test.html 7.[root@unixhot ~]# ssh 192.168.0.122 [root@node2 ~]# echo "Test Page" > /var/www/html/test.html 8.设置完毕测试页重启服务 [root@unixhot ~]# service ldirectord restart Restarting ldirectord... success 9.[root@unixhot ~]# ipvsadm -Ln   （发现已经可以正常工作了） IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn TCP  192.168.0.12:80 wrr   -> 192.168.0.122:80             Route   30     0          0           -> 192.168.0.121:80             Route   20     0          0           （二）heartbeat heartbeat 软件用来做双机热备，两台服务器通过心跳线进行通信，并设置仲裁机制，每隔一定的时间彼此通信，如果主服务器发现自己ping 不通仲裁的计算机，就告诉从服务器，进行服务的切换，如果从服务器发现主服务器没了心跳信号，而自己能ping通仲裁的计算机，也会把服务切换过来。 [root@unixhot ~]# cp /usr/share/doc/heartbeat-2.1.3/authkeys    /etc/ha.d 该配置文件用来设置两台服务器用来做心跳测试时，数据加密的方式 [root@unixhot ~]# cp /usr/share/doc/heartbeat-2.1.3/ha.cf        /etc/ha.d/ 主配置文件 [root@unixhot ~]# cp /usr/share/doc/heartbeat-2.1.3/haresources /etc/ha.d/ 用来设置进行资源切换时，都需要切换哪些资源   1.[root@unixhot ~]# vim /etc/ha.d/haresources node1.unixhot.com    IPaddr::192.168.0.128/24/eth0 ldirectord   2.[root@unixhot ~]# vim /etc/ha.d/authkeys auth 3 #1 crc #2 sha1 HI! 3 md5 Hello! [root@unixhot ~]# chmod 400 /etc/ha.d/authkeys （注意此处修改权限，不然会报错）   3.[root@unixhot ~]# vim /etc/ha.d/ha.cf keepalive 2     #检查心跳间隔时间 deadtime 30    #多长时间对方没有心跳说明对方死亡 warntime 10    #警告时间 initdead 120    #初始化的时候，多长时间以后开始监听心跳 udpport 694    #设置心跳端口 #baud    19200 心跳监控使用串口方式  波特率为19200 #serial /dev/ttyS0      # Linux  设置串口 ＃mcast eth0 225.0.0.1 694 1 0  多播方式 ucast eth0 192.168.0.120    #使用单播方式 auto_failback on             #主的服务器恢复以后再切换回来 node    node1.unixhot.com  #节点 主的放上面 node    node2.unixhot.com      #从的放下面 ping 10.10.10.254  #仲裁 可以设置DGW，在这里随便找了一台局域网中可以ping通的主机 #ping_group group1 10.10.10.254 10.10.10.253  可以设置仲裁组 #hbaping fc-card-name  设置FC的网卡名 respawn hacluster /usr/lib/heartbeat/ipfail    更新arp  一般运行5次   4.复制配置文件到从服务器192.168.0.120 [root@unixhot ~]# scp /etc/hosts [email protected]:/etc/hosts [root@unixhot ~]# scp /etc/ha.d/authkeys 192.168.0.120:/etc/ha.d/ [root@unixhot ~]# scp /etc/ha.d/ha.cf 192.168.0.120:/etc/ha.d/ [root@unixhot ~]# scp /etc/ha.d/haresources 192.168.0.120:/etc/ha.d/ [root@unixhot ~]# scp /etc/ha.d/ldirectord.cf 192.168.0.120:/etc/ha.d/   5.[root@unixhot ~]# ssh 192.168.0.120 [email protected]'s password: Last login: Tue Apr 28 23:41:09 2009 [root@director ~]# vim /etc/ha.d/ha.cf ucast eth0 192.168.0.12  （修改为192.168.0.12）        四、集群的测试       （一）在主服务器测试，看服务是否正常   [root@node1 ~]# /etc/init.d/heartbeat start   （在主服务器上启动服务） [root@node2 ~]# /etc/init.d/heartbeat start   （在从服务器中启动服务） 在192.168.0.12（主服务器）上测试 [root@node1 ~]# ipvsadm -Ln  （发现运行正常） IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn TCP  192.168.0.128:80 wrr   -> 192.168.0.122:80             Route   30     0          0           -> 192.168.0.121:80             Route   20     0          0         [root@node1 ~]# ifconfig eth0      Link encap:Ethernet  HWaddr 00:B0:C4:01:2A:0C            inet addr:192.168.0.12  Bcast:192.168.0.255  Mask:255.255.255.0           inet6 addr: fe80::2b0:c4ff:fe01:2a0c/64 Scope:Link           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1           RX packets:12249 errors:1 dropped:0 overruns:1 frame:0           TX packets:3520 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:1000           RX bytes:1638888 (1.5 MiB)  TX bytes:384236 (375.2 KiB)           Interrupt:225 Base address:0x4c00   eth0:0    Link encap:Ethernet  HWaddr 00:B0:C4:01:2A:0C   （发现VIP自动绑定上了）           inet addr:192.168.0.128  Bcast:192.168.0.255  Mask:255.255.255.0           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1           Interrupt:225 Base address:0x4c00   （二）下面我们把192.168.0.12和仲裁192.168.0.16的网络截断，看服务是否会自动切换到192.168.0.120   [root@node1 ~]# iptables -t filter -A INPUT -s 192.168.0.16 -j DROP [root@node1 ~]# ssh 192.168.0.120 [root@node2 ~]# ipvsadm -Ln  （发现所有的资源全部都切换了回来） IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn TCP  192.168.0.128:80 wrr   -> 192.168.0.122:80             Route   30     0          0           -> 192.168.0.121:80             Route   20     0          0         [root@node2 ~]# ifconfig eth0      Link encap:Ethernet  HWaddr 00:0C:29:EE:44:8D            inet addr:192.168.0.120  Bcast:192.168.0.255  Mask:255.255.255.0           inet6 addr: fe80::20c:29ff:feee:448d/64 Scope:Link           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1           RX packets:29626 errors:0 dropped:0 overruns:0 frame:0           TX packets:2300 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:1000           RX bytes:3710954 (3.5 MiB)  TX bytes:372394 (363.6 KiB)           Interrupt:169 Base address:0x2000   eth0:0    Link encap:Ethernet  HWaddr 00:0C:29:EE:44:8D            inet addr:192.168.0.128  Bcast:192.168.0.255  Mask:255.255.255.0           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1           Interrupt:169 Base address:0x2000   lo        Link encap:Local Loopback            inet addr:127.0.0.1  Mask:255.0.0.0           inet6 addr: ::1/128 Scope:Host           UP LOOPBACK RUNNING  MTU:16436  Metric:1           RX packets:438 errors:0 dropped:0 overruns:0 frame:0           TX packets:438 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:0           RX bytes:35036 (34.2 KiB)  TX bytes:35036 (34.2 KiB)   （三）下面把主服务器和仲裁的网络打开，看是否服务又会自动切换回来。   [root@node1 ~]# iptables -F [root@node1 ~]# ipvsadm -Ln  （发现所有的资源又切换回来了） IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn TCP  192.168.0.128:80 wrr   -> 192.168.0.122:80             Route   30     0          0           -> 192.168.0.121:80             Route   20     0          0         [root@node1 ~]# ifconfig eth0      Link encap:Ethernet  HWaddr 00:B0:C4:01:2A:0C            inet addr:192.168.0.12  Bcast:192.168.0.255  Mask:255.255.255.0           inet6 addr: fe80::2b0:c4ff:fe01:2a0c/64 Scope:Link           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1           RX packets:18649 errors:1 dropped:0 overruns:1 frame:0           TX packets:9346 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:1000           RX bytes:2518641 (2.4 MiB)  TX bytes:1020634 (996.7 KiB)           Interrupt:225 Base address:0x4c00   eth0:0    Link encap:Ethernet  HWaddr 00:B0:C4:01:2A:0C            inet addr:192.168.0.128  Bcast:192.168.0.255  Mask:255.255.255.0           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1           Interrupt:225 Base address:0x4c00   lo        Link encap:Local Loopback            inet addr:127.0.0.1  Mask:255.0.0.0           inet6 addr: ::1/128 Scope:Host           UP LOOPBACK RUNNING  MTU:16436  Metric:1           RX packets:10471 errors:0 dropped:0 overruns:0 frame:0           TX packets:10471 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:0           RX bytes:4990366 (4.7 MiB)  TX bytes:4990366 (4.7 MiB)