linux高可用性文件服务器群集之DRBD+NFS+Heartbeat
一，搭建实验环境
Vmware8.0.11
node1.liuwei.com： eth0：192.168.101.100 host-only
添加 sdb1 1G 心跳线: eth1：192.168.2.1 VMnet2
node2.liuwei.com: eth0: 192.168.101.200 host-only
添加 sdb1 1G 心跳线：eth1:192.168.2.2 VMnet2
Heartbeat虚拟IP： 192.168.101.254
在 /root 有 drbd83-8.3.8-1.el5.centos.i386.rpm
kmod-drbd83-8.3.8-1.el5.centos.i686.rpm
二， 设置两台服务器的网卡信息、hosts、主机名，时钟同步及sdb硬盘初始化并使相互ping通
1.setup
NETWORKING=yes
NETWORKING_IPV6=yes
HOSTNAME=node1.liuwei.com
4.service network restart
5. hwclock -s
6.fdisk /dev/sdb
n p 1 +1000M w
7. partprobe /dev/sdb
三.配置DRBD
1.cd /root
rpm -ivh drbd83-8.3.8-1.el5.centos.i386.rpm
rpm -ivh kmod-drbd83-8.3.8-1.el5.centos.i686.rpm
global {
usage-count yes;
# minor-count dialog-refresh disable-ip-verification
}
common {
protocol C;
startup {
wfc-timeout 120;
degr-wfc-timeout 120;
}
disk {
on-io-error detach;
fencing resource-only; }
net {
cram-hmac-alg "sha1";
shared-secret "liuwei";
}
syncer {
rate 100M;
}
}
4. vim web.res
resource web {
on node1.liuwei.com {
device /dev/drbd0;
disk /dev/sdb1;
address 192.168.101.100:7789;
meta-disk internal;
}
on node2.liuwei.com {
device /dev/drbd0;
disk /dev/sdb1;
address 192.168.101.200:7789;
meta-disk internal; }
}
5. vim /etc/drbd.conf
include "drbd.d/global_common.conf";
include "drbd.d/*.res";
6. drbdadm create-md web
7. service drbd start
二、 设置NFS及相关资源
启动portmap和nfs服务，并设置开机启动，
#service portmap start
#service nfs start
#chkconfig --level 345 portmap on
#chkconfig --level 345 nfs on
在node1上格式化drbd0设备，并挂载在/nfs目录
[root@node1 ~]# mkdir /nfs
现在可以把node1上的DRBD设备挂载到/nfs目录上进行使用。备机的DRBD设备无法被挂载，因为它是用来接收主机数据的，由DRBD负责操作。
[root@node1 ~]# mount /dev/drbd0 /nfs
在/etc/exports 上将/nfs目录共享出去，并reload
[root@node1 ~]exportfs –r
如果不使用heartbeat的情况下，DRBD只能手工切换主从关系
现在修改heartbeat的配置文件，使DRBD可以通过heartbeat自动切换
[root@node1 ~]# vim /etc/ha.d/haresources
node1 192.168.101.254 drbddisk::drbdtest Filesystem::/dev/drbd0::/nfs::ext3 drbd portmap nfs
注释：上面那行
node1 定义node1为heartbeat的主机
192.168.101.254 定义对外服务的IP地址，这个IP自动在主从机之间切换
drbddisk::drbdtest 定义使用的drbd资源
Filesystem::/dev/drbd0::/nfs::ext3 定义挂载文件系统
drbd portmap nfs 定义其他需要切换的服务（用空格隔开）
三、 安装并配置heartbeat
1、 先创建heartbeat需要的用户
groupadd haclient
useradd hacluster -g haclient
2、安装heartbeat前，需要先安装libnet包。
tar zxvf heartbeat-2.1.3.tar.gz
rpm –ivh libnet-1.1.2.1-2.2.el5.rf.i386.rpm
cd heartbeat-2.0.7
./configure
make
make install
两台机器都要安装，操作一样。
3、查找下ha.cf等三个配置文件的位置,然后将他们拷贝到/usr/local/etc/ha.d/目录中
[root@node1 heartbeat-2.0.7]# find / -name ha.cf
/usr/local/share/doc/heartbeat-2.0.7/ha.cf
/root/heartbeat-2.0.7/doc/ha.cf
[root@node1 heartbeat-2.0.7]#cp /usr/local/share/doc/heartbeat-2.0.7/ha.cf /usr/local/etc/ha.d/ha.cf
[root@server1 heartbeat-2.0.7]# cp /usr/local/share/doc/heartbeat-2.0.7/haresources /usr/local/etc/ha.d/haresources
[root@node1 heartbeat-2.0.7]# cp /usr/local/share/doc/heartbeat-2.0.7/authkeys /usr/local/etc/ha.d/authkeys
4、修改配置文件如下：
1）ha.cf配置内容：
------------------------------------------------------------------------------------------------------------
logfile /var/log/ha-log
keepalive 2
deadtime 30
warntime 10
initdead 120
udpport 694
bcast eth1
ucast eth1 192.168.2.1 。
auto_failback on
node node1
node node2
ping_group group1 192.168.101.254
respawn hacluster /usr/lib/heartbeat/ipfail
apiauth ipfail gid=haclient uid=hacluster
------------------------------------------------------------------------------------------------------------------
2）haresources配置内容;
node1 192.168.101.100 drbddisk::drbdtest Filesystem::/dev/drbd0::/nfs::ext3 drbd portmap nfs
3)authkeys的配置内容：
auth 1
1 crc
#2 sha1 HI!
#3 md5 Hello!
node1和node2的配置是一样的，除了在node2的ha.cf中将ucast的IP修改为192.168.2.2。
设置haresources文件的权限为600。
启动heartbeat ，却发现错误，原因在于我们的配置文件里的ipfail文件位置不对，我们可以寻找下。
[root@node2 ha.d]# cd /usr/lib/
[root@node2 ha.d]# find / -name ipfail
/usr/local/lib/heartbeat/ipfail
/root/heartbeat-2.0.7/contrib/ipfail
/root/heartbeat-2.0.7/contrib/ipfail/ipfail
/root/heartbeat-2.0.7/contrib/ipfail/.libs/ipfail
我们将ha.cf的配置内容修改为/usr/local/lib/heartbeat/ipfail
此时启动heartbeat服务，发现过了一会，我们的虚拟IP 就ping不通了，查看日志
发现时drbddisk的资源找不到，我们将drbddisk拷贝一份到/usr/local/etc/ha.d/resource.d,
[root@node2 ~]# cp /etc/ha.d/resource.d/drbddisk /usr/local/etc/ha.d/resource.d/drbddisk
分别在node1和node2上执行。
然后再次启动heartbeat，此时就没问题了。
确定heartbeat和DRBD开机自启动
确定需要由heartbeat切换的服务，开机不自启动（由heartbeat来启用相关的服务）
四、测试
本文出自 “碧云天” 博客，转载请与作者联系！