DRBD+Heartbeat+NFS

DRBD+Heartbeat+NFS实验笔记
2011-06-19 23:27:05
标签：heartbeat drbd 休闲 nfs 职场

drbd下载    wget http://oss.linbit.com/drbd/8.4/drbd-8.4.1.tar.gz
heartbeat下载 wget http://www.ultramonkey.org/download/heartbeat/2.1.3/heartbeat-2.1.3.tar.gz

 
环境：
 
Vmware6.5
 
Server1： eth0：192.168.1.201 sdb1 10G 心跳线: eth1： 10.10.10.131
 
Server2 eth0:192.168.1.202 sdb1 10G 心跳线：eth1:10.10.10.132
 
Heartbeat虚拟IP： 192.168.1.200
 
步骤：
 
一、 设置两台服务器的网卡信息、hosts、主机名等基本信息及sdb硬盘初始化。
 
此处我们只看看/etc/hots文件设置
 

二、安装并设置drbd
 
1）安装drbd
 
#tar -zxvf drbd-8.3.10.tar.gz
 
#cd drbd-8.3.10
 
#./configure --prefix=/ --with-km
 
#make
 
#make install
 
#chkconfig --add drbd
 
#chkconfig drbd on
 
2）DRBD的配置文件位于/etc/drbd.conf
 
--------------------------------------------------------
 
[root@drbd1 ~]#cat /etc/drbd.conf
 
#
 
# drbd.conf
 
#
 
# create by [email protected] at 2010-08-12
 
global {
 
usage-count no;
 
}
 
common {
 
syncer { rate 200M; }
 
}
 
resource drbdtest {
 
protocol C;
 
handlers {
 
pri-on-incon-degr "echo o > /proc/sysrq-trigger ; halt -f";
 
pri-lost-after-sb "echo o > /proc/sysrq-trigger ; halt -f";
 
local-io-error "echo o > /proc/sysrq-trigger ; halt -f";
 
fence-peer "/usr/lib64/heartbeat/drbd-peer-outdater -t 5";
 
pri-lost "echo pri-lost. Have a look at the log files. | mail -s 'DRBD Alert' root";
 
split-brain "/usr/lib/drbd/notify-split-brain.sh root";
 
out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";
 
}
 
net {
 
cram-hmac-alg "sha1";
 
shared-secret "mydrbdtest";
 
}
 
disk {
 
on-io-error detach;
 
fencing resource-only;
 
}
 
startup {
 
wfc-timeout 120;
 
degr-wfc-timeout 120;
 
}
 
device /dev/drbd0;
 
on server1{
 
disk /dev/sdb1;
 
address 192.168.1.201:7788;
 
meta-disk internal;
 
}
 
on server2 {
 
disk /dev/sdb1;
 
address 192.168.1.202:7788;
 
meta-disk internal; }
 
}
 
将上面这个drbd.conf文件分别复制到两台主机的/etc目录下。
 
----------------------------------------------------------------
 
3）创建drbd块设备
 
[root@server1 drbd-8.3.10]# drbdadm create-md drbdtest
 
Writing meta data...
 
initializing activity log
 
NOT initialized bitmap
 
New drbd meta data block successfully created.
 
在两台主机上执行同样的命令
 
4）启动drbd服务
 
#service drbd start 或 /etc/init.d/drbd start
 
此时drbd状态还是secondary/secondary，我们要把192.168.1.201设置为主服务器
 
[root@server1 ~]# drbdsetup /dev/drbd0 primary -o
 
再次查看drbd状态，
 
[root@server1 ~]# cat /proc/drbd
 
version: 8.3.10 (api:88/proto:86-96)
 
GIT-hash: 5c0b0469666682443d4785d90a2c603378f9017b build by root@server1, 2011-06-10 00:16:16
 
0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r-----
 
ns:1095660 nr:0 dw:0 dr:1103744 al:0 bm:66 lo:1 pe:6 ua:64 ap:0 ep:1 wo:b oos:9387112
 
[=>..................] sync'ed: 10.6% (9164/10236)M
 
finish: 0:07:51 speed: 19,884 (18,248) K/sec
 
看到已经同步，并开始传送数据，稍等一会再次查看磁盘状态都是”实时”，表示数据同步完成了。
 
二、 设置NFS及相关资源
 
启动portmap和nfs服务，并设置开机启动，
 
#service portmap start
 
#service nfs start
 
#chkconfig --level 345 portmap on
 
#chkconfig --level 345 nfs on
 
在server1上格式化drbd0设备，并挂载在/nfs目录
 
[root@server1 ~]# mkfs.ext3 /dev/drbd0
 
[root@server1 ~]# mkdir /nfs
 
现在可以把server1上的DRBD设备挂载到/nfs目录上进行使用。备机的DRBD设备无法被挂载，因为它是用来接收主机数据的，由DRBD负责操作。
 
[root@server1 ~]# mount /dev/drbd0 /nfs
 
在/etc/exports 上将/nfs目录共享出去，并reload
 
[root@server1 ~]exportfs –r
 
如果不使用heartbeat的情况下，DRBD只能手工切换主从关系
 
现在修改heartbeat的配置文件，使DRBD可以通过heartbeat自动切换
 
[root@server1 ~]# vi /etc/ha.d/haresources
 
Server1 192.168.1.201 drbddisk::drbdtest Filesystem::/dev/drbd0::/nfs::ext3 drbd portmap nfs
 
注释：上面那行
 
Server1 定义Server1为heartbeat的主机
 
192.168.1.201 定义对外服务的IP地址，这个IP自动在主从机之间切换
 
drbddisk::drbdtest 定义使用的drbd资源
 
Filesystem::/dev/drbd0::/nfs::ext3 定义挂载文件系统
 
drbd portmap nfs 定义其他需要切换的服务（用空格隔开）
 
三、 安装并配置heartbeat
 
1、 先创建heartbeat需要的用户
 
groupadd haclient
 
useradd hacluster -g haclient
 
2、安装heartbeat前，需要先安装libnet包。
 
tar zxvf heartbeat-2.1.3.tar.gz
 
rpm –ivh libnet-1.1.2.1-2.2.el5.rf.i386.rpm
 
cd heartbeat-2.0.7
 
./configure
 
make
 
make install
 
两台机器都要安装，操作一样。
 
3、查找下ha.cf等三个配置文件的位置,然后将他们拷贝到/usr/local/etc/ha.d/目录中
 
[root@server1 heartbeat-2.0.7]# find / -name ha.cf
 
/usr/local/share/doc/heartbeat-2.0.7/ha.cf
 
/root/heartbeat-2.0.7/doc/ha.cf
 
[root@server1 heartbeat-2.0.7]#cp /usr/local/share/doc/heartbeat-2.0.7/ha.cf /usr/local/etc/ha.d/ha.cf
 
[root@server1 heartbeat-2.0.7]# cp /usr/local/share/doc/heartbeat-2.0.7/haresources /usr/local/etc/ha.d/haresources
 
[root@server1 heartbeat-2.0.7]# cp /usr/local/share/doc/heartbeat-2.0.7/authkeys /usr/local/etc/ha.d/authkeys
 
4、修改配置文件如下：
 
1）ha.cf配置内容：
 
------------------------------------------------------------------------------------------------------------
 
logfile /var/log/ha-log
 
keepalive 2
 
deadtime 30
 
warntime 10
 
initdead 120
 
udpport 694
 
bcast eth1
 
ucast eth1 10.10.10.132 。
 
auto_failback on
 
node server1
 
node server2
 
ping_group group1 192.168.1.1 221.5.88.88
 
respawn hacluster /usr/lib/heartbeat/ipfail
 
apiauth ipfail gid=haclient uid=hacluster
 
------------------------------------------------------------------------------------------------------------------
 
2）haresources配置内容;
 
server1 192.168.1.200 drbddisk::drbdtest Filesystem::/dev/drbd0::/nfs::ext3 drbd portmap nfs
 
3)authkeys的配置内容：
 
auth 1
 
1 crc
 
#2 sha1 HI!
 
#3 md5 Hello!
 
Server1和server2的配置是一样的，除了在server2的ha.cf中将ucast的IP修改为10.10.10.131。
 
设置haresources文件的权限为600。
 
启动heartbeat ，却发现错误，原因在于我们的配置文件里的ipfail文件位置不对，我们可以寻找下。
 
[root@server2 ha.d]# cd /usr/lib/
 
[root@server2 ha.d]# find / -name ipfail
 
/usr/local/lib/heartbeat/ipfail
 
/root/heartbeat-2.0.7/contrib/ipfail
 
/root/heartbeat-2.0.7/contrib/ipfail/ipfail
 
/root/heartbeat-2.0.7/contrib/ipfail/.libs/ipfail
 
我们将ha.cf的配置内容修改为/usr/local/lib/heartbeat/ipfail
 
此时启动heartbeat服务，发现过了一会，我们的虚拟IP 就ping不通了，查看日志
 
发现时drbddisk的资源找不到，我们将drbddisk拷贝一份到/usr/local/etc/ha.d/resource.d,
 
[root@serrver2 ~]# cp /etc/ha.d/resource.d/drbddisk /usr/local/etc/ha.d/resource.d/drbddisk
 
分别在server1和server2上执行。
 
然后再次启动heartbeat，此时就没问题了。
 
确定heartbeat和DRBD开机自启动
 
确定需要由heartbeat切换的服务，开机不自启动（由heartbeat来启用相关的服务）
 
四、测试