DRBD+heartbeat+nfs环境部署

 一、DRBD简介

    分布式复制块设备（DRBD 技术）是一种基于软件的，无共享，复制的存储解决方案，在服务器之间的对块设备（硬盘，分区，逻辑卷等）进行镜像

   DRBD 镜像数据的特点：

 实时性：当应用对磁盘的数据进行修改时，复制立即发生。

 透明性：应用程序的数据存储在镜像设备上是独立和透明的，数据可存储在不同的服务器

上。

 同步镜像和异步镜像：同步镜像，当本地发申请进行写操作进行时，同步写到两台服务器

上。异步镜像，当本地写申请已经完成对本地的写操作时，开始对对应的服务器进行写操作

二、要求及拓扑

  本实验部署drbd+heartbeat+nfs环境，建立一个高可用（HA）的文件系统服务器集群，通过DRBD保证了服务器数据的完整性和一致性。在高可用(HA)中使用DRBD功能，可以代替使用一个共享盘阵。因为数据同时存在于本地主服务器和备份服务器上。切换时，远程主机只要使用它上面的那份备份数据，就可以继续提供主服务器上相同的服务，并且client用户对主服务器的故障无感知。

三、实验环境

系统：VMware redhat-5.4

master  node1.abc.com    192.168.2.1    eth1 192.168.3.1

slave  node2.abc.com    192.168.2.2     eth1 192.168.3.2 

虚拟ip:192.168.2.100

两台服务器新加一块硬盘/dev/sdb，创建/dev/sdb1分区互为镜像

注意创建分区时，大小要一致，若不一致，以小的为准

//时间相同，读取主板时间作为当前时间

# hwclock  -s  

//两个服务器的hosts文件修改，可以正常解析ip与主机名

# echo "192.168.2.1  node1.abc.com" >> /etc/hosts

# echo "192.168.2.2  node1.abc.com" >> /etc/hosts

四、DRBD配置

在node1和node2做以下操作：（在node1在操作，然后可通过scp命令实现相关文件拷贝到node2上）

1、安装drbd

#rpm -ivh drbd83-8.3.8-1.el5.centos.i386.rpm

# rpm -ivh kmod-drbd83-8.3.8-1.el5.centos.i686.rpm

# modprobe  drbd      //加载drbd模块

# lsmod  |grep drbd    //查看模块加载情况

2、主要目录及命令

/etc/drbd.conf 配置文件

/etc/rc.d/init.d/drbd 配置脚本

/etc/drbd.d/  主目录

/sbin/drbdadm 高级别管理工具

/sbin/drbdmeta 低级别管理工具

/sbin/drbdsetup 低级别管理工具

/usr/sbin/drbd-overview 查看工具

注： rpm  -ql   drbd83 查看

3、修改配置文件

#vim /etc/drbd.conf

# You can find an example in  /usr/share/doc/drbd.../drbd.conf.example

include "drbd.d/global_common.conf";

include "drbd.d/*.res";

~                                                                            

~                                                                                        

:r /usr/share/doc/drbd83-8.3.8/drbd.conf     //末行模式下执行读命令来加载

#cp /etc/drbd.d/global_common.conf   /etc/drbd.d/global_common.conf.bak

# vim /etc/drbd.d/global_common.conf    （替换掉原来的内容）

global {

        usage-count yes;

        # minor-count dialog-refresh disable-ip-verification

}

common {

        protocol C;  

        startup {    //启动延时配置

                wfc-timeout  120;

                degr-wfc-timeout 120;

         }

        disk {

                  on-io-error detach;

                  fencing resource-only;

          }

        net {

                cram-hmac-alg "sha1";

                shared-secret  "mydrbdlab";

         }

        syncer {

                  rate  100M;

         }

     }

# vim /etc/drbd.d/web.res    //定义资源 

resource  web {               //资源名称

        on node1.abc.com {

        device   /dev/drbd0;

        disk    /dev/sdb1;

        address  192.168.2.1:7789;

        meta-disk       internal;

        }  

        on node2.abc.com {

        device   /dev/drbd0;

        disk    /dev/sdb1;

        address  192.168.2.2:7789;

        meta-disk       internal;

        }   

}

4、初始化，启动服务 

#drbdadm   create-md web

# service drbd start   &&chkconfig drbd on   //并设为开机启动

5、指定主节点

#drbdadm   -- --overwrite-data-of-peer primary web   （在自定义主节点上执行）

   不加 “-- --overwrite-data-of-peer”

   错误：

   0: State change failed: (-2) Need access to UpToDate data

   Command 'drbdsetup 0 primary' terminated with exit code 17

  日志信息：block drbd0: State change failed: Need access to UpToDate data

6、创建目录，实现挂载(在主节点上执行)

#mkdir /data

#mkfs -t ext3 /dev/drbd0 //格式化

#mount /dev/drbd0  /data

7、查看drbd状态

#drbd-overview   （#service drbd status）

主节点node1

备份节点nod2

五、nfs配置

两台服务器配置相同，可通过scp拷贝

1、修改nfs的共享菜单

# echo "/data  192.168.2.0/24(rw,sync,no_root_squash)" > /etc/exports

2、启动服务

# service nfs start && chkconfig nfs on

 

3、修改nfs启动脚本。

   /etc/init.d/nfs中的stop部分killproc 

   脚本nfsd  -2  修改为 -9

116   stop)

117         # Stop daemons.

118         echo -n $"Shutting down NFS mountd: "

119         killproc rpc.mountd

120         echo

121         echo -n $"Shutting down NFS daemon: "

122         killproc nfsd -9

六、heartbeat配置

在node1和node2做如下操作

1、安装

heartbeat-2.1.4-11.el5.i386.rpm

heartbeat-pils-2.1.4-10.el5.i386.rpm

heartbeat-stonith-2.1.4-11.el5.i386.rpm

依赖包：

libnet-1.1.4-3.el5.i386.rpm

perl-MailTools-1.77-1.el5.noarch.rpm

注：下载地址http://vault.centos.org/5.4/extras

2、拷贝配置文档 

# cd /usr/share/doc/heartbeat-2.1.4/

# cp authkeys  ha.cf  haresources  /etc/ha.d/

3、修改配置文档

1）、ha.cf配置(做如下添加)

bcast eth1

node node1.abc.com

node node2.abc.com

2）、haresources资源文件

#echo “node1.abc.com  192.168.2.100/24/eth0 drbddisk::web  Filesystem::/dev/drbd0::/d

ata::ext3 killnfsd”  >> /etc/ha.d/haresoures

3）、验证authkeys

#vim authkeys

auth 3

3 md5 hello

  #chmod 600  authkeys  设置权限值为600

4）、killnfsd服务控制脚本配置

 #echo “killall -9 nfsd; /etc/init.d/nfs restart; exit 0”  >>/etc/ha.d/resource.d/killnfsd

 #chmod 755 /etc/ha.d/resource.d/killnfsd  //添加可执行权限

4、开启Heartbeat服务

#service heartbeat start && chkconfig heartbeat on

七、测试

1、创建挂载

#mkdir  /mnt/data

#mount 192.168.2.100:/data  /mnt/data

2、编写shell，间隔1s创建一次空文件xxx

# vim /mnt/data/test.sh

while true

do echo  ----\> trying touch xxx:$(date)

        touch   xxx

   echo  \<---- done touch xxx: $(date)

   echo

   sleep 1

done

3、将主节点node1的heartbeat服务停止，则备份节点node2接管服务

#service heartbeat stop    //node1接点

注：以上实现的drbd的单主模式， 任何资源在任何特定的时间，集群中只存在一个主节点。 正是因为这样在集群中只能有一个节点可以随时操作数据，这种模式可用在任何的文件系统上（EXT3、EXT4、XFS等等）。