DRBD+heartbeat+nfs

DRBD+heartbeat+nfs

 

说明：DRBD实现存储同步，只有主存储角色才能实现读写、挂载和可执行。

      Heartbeat实现存储的高可用性和DRBD的资源管理，自动转换DRBD主备角色。

      Nfs实现文件共享，把磁盘共享出来让客户端访问。

Node1.sh.com： eth0  192.168.10.100

               eth1  192.168.2.101  (心跳线地址)

Node2.sh.com   eth0   192.168.10.101

               eth1  192.168.2.100  (心跳线地址)

虚拟地址（vip） 192.168.10.200   

客户端          192.168.10.110

一、DRBD的配置

1.两节点的主机名要能相互解析，在这里通过修改hosts文件实现，且保证两hosts文件一致

[root@node1 ~]# vim /etc/hosts

[root@node1 ~]# scp /etc/hosts  node2.sh.com:/etc/   //把hosts文件复制给node2节点

2.新建磁盘分区  （节点2 node2.sh.com做同样操作，分区要一模一样）

[root@node1 ~]# fdisk /dev/hdb

[root@node1 ~]# partprobe /dev/hdb  //加载显示磁盘分区

[root@node1 ~]# fdisk -l   //查看磁盘分区

3.上传所需rpm包并安装  （节点2同样操作）

[root@node1 ~]# rpm -ivh drbd83-8.3.8-1.el5.centos.i386.rpm

[root@node1 ~]# rpm -ivh kmod-drbd83-8.3.8-1.el5.centos.i686.rpm 

4.配置DRBD---分布式复制块存储设备

[root@node1 drbd.d]# vim /etc/drbd.conf

[root@node1 drbd.d]# cp -p global_common.conf global_common.conf.bak

[root@node1 drbd.d]# vim global_common.conf   //修改为以下内容

global {

        usage-count yes;

        # minor-count dialog-refresh disable-ip-verification

}

common {

        protocol C;

        startup {

                wfc-timeout  120;   

                degr-wfc-timeout 120;

         }

        disk {

                  on-io-error detach;

                  fencing resource-only;

          }

        net {

                cram-hmac-alg "sha1";

                shared-secret  "mydrbdlab";

         }

        syncer {

                         rate  100M;   //同步速率

         }

}

[root@node1 drbd.d]# touch  web.res   //创建资源文件

[root@node1 drbd.d]# vim web.res      //编辑资源文件，如下

resource  web {

        on node1.sh.com {

        device   /dev/drbd0;

        disk    /dev/hdb1;

        address  192.168.10.100:7789;

        meta-disk       internal;

        }   

        on node2.sh.com {

        device   /dev/drbd0;

        disk    /dev/hdb1;

        address  192.168.10.101:7789;

        meta-disk       internal;

        }   

}

[root@node1 drbd.d]# scp global_common.conf   node2.sh.com:/etc/drbd.d/   //把文件拷给节点2，保持数据一致性

[root@node1 drbd.d]# scp web.res   node2.sh.com:/etc/drbd.d/

[root@node1 drbd.d]# scp /etc/drbd.conf  node2.sh.com:/etc/

5.初始化并启动DRBD（两个节点要同时进行）

[root@node1 drbd.d]# drbdadm create-md web  //初始化

[root@node1 drbd.d]# service drbd start

6.查看节点1和节点2drbd状态

[root@node1 drbd.d]# drbdadm -- --overwrite-data-of-peer primary web  //执行该条命令，把节点设为主节点

[root@node2 drbd.d]#  watch  -n 1 'cat /proc/drbd'    //在备份节点上查看同步进程

再次查看节点状态

7.测试drbd

[root@node1 ~]# mkfs -t ext3 -L drbdweb  /dev/drbd0  //格式化分区，—L为卷标，drbdweb为卷标名，节点2做同样操作

[root@node1 ~]# mkdir /mnt/web   //创建挂载点

[root@node1 ~]# mount /dev/drbd0 /mnt/web

[root@node1 ~]# cd /mnt/web 

[root@node1 web]# echo "I am drbd" >./file   //建一测试文件，在node2上查看

[root@node1 ~]# umount /mnt/web  //先卸载

[root@node1 ~]# drbdadm secondary web  //把节点1设为备份

[root@node2 drbd.d]# drbdadm primary web  //把节点2设为主

查看节点1和2身份

[root@node2 drbd.d]# mkdir /mnt/web  //在节点2上创建挂载点

[root@node2 ~]# mount /dev/drbd0 /mnt/web

[root@node2 ~]# cd /mnt/web

 

二、nfs服务器配置  （节点2上同样操作）

[root@node1 ~]# vim /etc/exports   //编辑内容如下

/mnt/web    *(rw,sync)

[root@node1 ~]# service portmap restart

Stopping portmap:                                          [  OK  ]

Starting portmap:                                          [  OK  ]

[root@node1 ~]# chkconfig portmap on

[root@node1 ~]# service nfs start

[root@node1 ~]# chkconfig nfs on

三、heartbeat服务搭建

上传所需文件

[root@node1 ~]# mount /dev/cdrom /mnt/cdrom

[root@node1 ~]# yum -y localinstall heartbeat-2.1.4-9.el5.i386.rpm heartbeat-pils-2.1.4-10.el5.i386.rpm heartbeat-stonith-2.1.4-10.el5.i386.rpm libnet-1.1.4-3.el5.i386.rpm  perl-MailTools-1.77-1.el5.noarch.rpm --nogpgcheck

[root@node1 ~]# cp -p /usr/share/doc/heartbeat-2.1.4/ha.cf  /etc/ha.d/

[root@node1 ~]# cp -p /usr/share/doc/heartbeat-2.1.4/authkeys  /etc/ha.d/

[root@node1 ~]# cp -p /usr/share/doc/heartbeat-2.1.4/haresources  /etc/ha.d/

[root@node1 ~]# cd /etc/ha.d

[root@node1 ha.d]# vim ha.cf   //编辑内容如下

    logfile /var/log/ha-log  //日志文件  

    keepalive 2    //保持时间

deadtime 10    //死亡时间
    warntime 5    //警告时间
    initdead 120   //启动时间
    udpport 694    //使用udp的端口
    bcast eth0     //心跳接口
    auto_failback on  //失败自动退回

ucast eth0 192.168.2.100  //要使用单播，指向节点2心跳地址

node  node1.sh.com

node  node2.sh.com

[root@node1 ha.d]# vim authkeys  //修改验证文件

    auth 1

    1 crc

[root@node1 ha.d]# chmod 600 authkeys

[root@node1 ha.d]# vim haresources  //编辑资源文件

 node1.sh.com IPaddr::192.168.10.200/24/eth0 drbddisk::web Filesystem::/dev/drbd0::/mnt/web::ext3 

[root@node1 ha.d]# scp ha.cf authkeys haresources node2.sh.com:/etc/ha.d/  //把这三个文件复制给节点2

[root@node1 ha.d]# service heartbeat start   //启动heartbeat

查看资源

四、客户端操作

[root@localhost ~]# service portmap start  //必须先启动portmap服务

[root@localhost ~]# service nfs start

[root@localhost ~]# showmount -e 192.168.10.200

Export list for 192.168.10.200:

/mnt/web *

[root@localhost ~]# mount 192.168.10.200:/mnt/web  /mnt/1

查看挂载

[root@localhost ~]# cd /mnt/1

五、模拟节点1失效，查看客户端访问情况

[root@node1 ~]# cd /mnt/web   

[root@node1 web]# touch f{1,2,3}   //创建测试文件

[root@node1 ~]# cd /usr/lib/heartbeat/

[root@node1 heartbeat]# ./hb_standby   //使节点1成为备份

在节点2上查看

在客户端查看