Drbd+heartbeat+Moosefs分布式存储双机冗余搭建

Drbd+heartbeat+Moosefs分布式存储双机冗余搭建

一、软件：

drbd-8.2.1.tar.gz

heartbeat-2.1.3.tar.tar

libnet-1.1.2.1-2.rf.x86_64.rpm

fuse-2.8.3.tar.gz

mfs-1.6.11.tar.gz

服务器：

10.64.5.104 主drbd  mfsmaster

10.64.5.105 备drbd  mfsmaster

10.64.5.106 分布式存储服务器

10.64.5.123 分布式存储服务器

10.64.5.124 Client端服务器

二、DRBD安装：

1、编译：

tar -zxvf drbd-8.2.1.tar.gz

make KDIR=/usr/src/linux

make install

检查是否生成了相应的文件：/etc/drbd.conf ; /etc/init.d/drbd ; 以及./drbd/drbd.ko

加载安装drbd模块

# modprobe drbd

通过lsmod检查是否已经成功

#lsmod |grep drbd

如果有，则表示成功了

2、创建drbd相应的设备

下面就来开始创建相应的drbd相关的设备及相应的配置

配置如下：

2.1、vi /etc/drbd.conf

global { usage-count yes; }

common { syncer { rate 50M; } }

resource r0 {

protocolC;

net {

  after-sb-0pri disconnect;

  rr-conflict disconnect;

 }

  ontest-104 {

      device    /dev/drbd1;

      disk      /dev/sdb1;

      address   10.64.5.104:7898;

      meta-disk  internal;

       }

  ontest-105 {

      device    /dev/drbd1;

      disk      /dev/sdb1;

      address   10.64.5.105:7898;

      meta-disk  internal;

       }

}

2.2、vi /etc/hosts

10.64.5.104    test-104

10.64.5.105    test-105

more /proc/drbd

drbdsetup /dev/drbd1 primary -o

# 是否参加DRBD使用者统计.默认是yes

     global { usage-count yes; }

      # 设置主备节点同步时的网络速率最大值,单位是字节.

     common { syncer { rate 1M; } }

      # 一个DRBD设备(即:/dev/drbdX),叫做一个"资源".里面包含一个DRBD设备的主备节点的

      # 相关信息.

      #

     resource r0 {

          # 使用协议C.表示收到远程主机的写入确认后,则认为写入完成.

          protocol C;

          net {

               # 设置主备机之间通信使用的信息算法.

               cram-hmac-alg sha1;

                shared-secret"FooFunFactory";

          }

          # 每个主机的说明以"on"开头,后面是主机名.在后面的{}中为这个主机的配置.

          on g105-1 {

               # /dev/drbd1使用的磁盘分区是/dev/hdb1

               device    /dev/drbd1;

               disk      /dev/hdb1;

               # 设置DRBD的监听端口,用于与另一台主机通信

               address   10.0.1.2:7898;

               meta-disk  internal;

          }

          on g105-2 {

               device    /dev/drbd1;

               disk      /dev/hdb1;

               address   10.0.2.2:7898;

               meta-disk  internal;

          }

      }

3、命令：

3.1、创建供DRBD记录信息的数据块.分别在两台主机上执行:

drbdadm create-md r0

3.2、启动：

/etc/init.d/drbd start

3.3、查看状态：

cat /proc/drbd

由于DRBD无法判断哪一方为主机,以哪一方的磁盘数据作为标准数据.所以,我们需要初始化，在test-104上执行：

drbdsetup /dev/drbd1 primary -o

3.4、主备机切换：

test-104：

drbdadm secondary r0

test-105：

drbdadm primary r0

3.5、格式化drbd分区并挂载：

mke2fs /dev/drbd1

(1)、现在可以把主test-104上的DRBD设备挂载到/opt/test目录上进行使用；

(2)、备机的DRBD设备无法被挂载，因为它是用来接收主机数据的，由DRBD负责操作。

more /proc/drbd

version: 8.2.1(api:86/proto:86-87)

GIT-hash:318925802fc2638479ad090b73d7af45503dd184 build by root@test-105, 2010-01-1117:35:20

1:cs:Connected st:Secondary/Primary ds:UpToDate/UpToDate C r---

   ns:0nr:1645688 dw:1645688 dr:0 al:0 bm:88 lo:0 pe:0 ua:0 ap:0

      resync: used:0/31 hits:29120 misses:88 starving:0 dirty:0 changed:88

      act_log: used:0/127 hits:0 misses:0 starving:0 dirty:0 changed:0

Field       说明值：

cs         连接状态出现的值：

                   o Unconfigured：设备在等待配置。

                   o Unconnected：连接模块时的过渡状态。

                   o WFConnection：设备等待另一测的配置。

                   o WFReportParams：过渡状态，等待新TCP 连接的第一个数据包时。.

                   o SyncingAll：正将主节点的所有模块复制到次级节点上。.

                   o SyncingQuick：通过复制已被更新的模块（因为现在次级节点已经离开了集群）来更新次级节点。

                   o Connected：一切正常。

                   o Timeout：过渡状态。

st         状态（设备的作用）可能的值为：

                   o 本地/远程一级状态

                   o 二级状态

                   o 未知（这不是一种作用）

ns    网络发送模块号码

nr    网络接收模块号码

dw    磁盘写入模块号码

dr    磁盘读取模块号码

of    运行中（过时的）模块号码

pe    待解决的模块号码

ua    未答复的模块号码（最好为0）

[root@manager /]# mount /dev/drbd1 /opt/data

[root@manager /]# df -h

Filesystem           1K-blocks      Used Available Use% Mounted on

/dev/drbd1            9.9G 1001M  8.4G 11% /opt/data

现在把之前备份的/opt/data中的所有内容再恢复回去。

如果不使用heartbeat的情况下，DRBD只能手工切换主从关系

现在修改heartbeat的配置文件，使DRBD可以通过heartbeat自动切换

三、heartbeat安装部署：

两台机器上的公共操作:

(1)、创建用户和用户组：

groupadd -g 800 haclient

useradd -g haclient -u 800 hacluster

(2)、

rpm -ivh libnet-1.1.2.1-2.rf.x86_64.rpm

(3)、

tar -zxvf heartbeat-2.1.3.tar.gz

cd heartbeat-2.1.3

./configure 或者 ./ConfigureMe configure

make && make install

cp doc/ha.cf /etc/ha.d/

cp doc/haresources /etc/ha.d/

cp doc/authkeys /etc/ha.d/

(4)、编辑hertbeat主配置文件ha.cf，2个主机上的内容一样。

以下是需要打开的配置，ha.cf里面有详细说明。

vi /etc/ha.d/ha.cf

debugfile /var/log/ha-debug

logfacility    local0

keepalive 2

deadtime 5

warntime 10

initdead 10

ucast eth0 10.64.5.105    #在两台机器上的内容是不一样的，都是指向对方的ip地址

auto_failback off

node test-104

node test-105

ping 10.64.7.254

respawn hacluster/usr/lib64/heartbeat/ipfail  或者/usr/local/lib64/heartbeat/ipfail

apiauth ipfail gid=haclient uid=hacluster

## ha的日志文件记录位置。如没有该目录，则需要手动添加

logfile /var/log/ha-log #File to write othermessages to

logfacility local0 #这个是设置heartbeat的日志，这里是用的系统日志

##设定心跳(监测)时间时间为2秒

keepalive 2 #多长时间检测一次

warntime 5 #连续多长时间联系不上后开始警告提示

deadtime 20 #连续多长时间联系不上后认为对方挂掉了（单位是妙）

initdead 120 #这里主要是给重启后预留的一段忽略时间段（比如：重启后启动网络等，如果在网络还没有通，keepalive检测肯定通不过，但这时候并不能切换）

#采用bond0的udp广播用来发送心跳信息

#bcast bond0

#采用网卡bond0的udp单播来通知心跳，ip应为对方IP，建议采用单播。当一个网段有多台这样cluster话，则一定要采用单播，否则每组cluster都会看到对方的节点，从而报错。

ucast bond0 172.18.57.154

##使用udp端口694 进行心跳监测

udpport 694

auto_failback off #恢复正常后是否需要再自动切换回来，一般都设为off。

##节点1，必须要与uname -n 指令得到的结果一致。

node alsme_probe3

##节点2

node alssme_probe4

##通过ping 网关来监测心跳是否正常

ping 172.18.158.254

hopfudge 1

deadping 5

#指定和heartbeat一起启动、关闭的进程#respawn hacluster /usr/local/lib64/heartbeat/ipfail

#apiauth ipfail gid=haclient uid=hacluster

#是否采用v2 style模式，在三节点以上时一定要打开

#crm on

(5)、编辑hertbeat认证文件authkeys，2个主机上的内容一样。

vi /etc/ha.d/authkeys

auth 1

1 crc

#3 md5 Hello!

可以选择的是Md5的验证方式,

最后记得将authkeys  权限给为600

chmod 600 /etc/ha.d/authkeys

(6)、编辑haresources，2个主机上的内容一样。

vi /etc/ha.d/haresources

test-104 drbddisk::r0Filesystem::/dev/drbd1::/testdata 10.64.5.130 mfsmaster

第一个字段是主机名，是uname -a得到的

第二个字段作用是当前主机设置为primary

第三个字段作用定义挂载文件系统,将/dev/drbd1 mount到/testdata目录上

第四个字段作用是启动VIP

第五个字段启动mfsmaster进程

(7)、分配权限：

chgrp haclient /sbin/drbdsetup

chmod o-x /sbin/drbdsetup

chmod u+s /sbin/drbdsetup

chgrp haclient /sbin/drbdmeta

chmod o-x /sbin/drbdmeta

chmod u+s /sbin/drbdmeta

（8）、启动heartbeat

/etc/init.d/heartbeat start

四、Moosefs安装部署：

1、安装 Fuse  首先要安装Fuse, Linux从2.6.14版本开始通过FUSE模块支持在用户空间实现文件系统

fuse-2.8.3.tar.gz

./configure

make && make install

编辑 /etc/ld.so.config 加入

include /usr/local/lib

命令行中：

#depmod -a

2、安装元服务器

切忌：用户的uid和gid必须两台主备机一样，否则切换之后，起不来！！！！！！

(1)、创建用户：

groupadd -g 65534 mfs

useradd -u 65534 -g mfs -s /bin/false -d/home/mfs mfs

(2)、

exportKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH

tar -zxvf mfs-1.6.11.tar.gz

./configure --prefix=/opt/data/mfs--with-default-user=mfs --with-default-group=mfs

make && make install

(3)、安装必要文件

cd /opt/data/mfs/etc

touch mfsmaster.cfg

touch mfsexports.cfg

mkdir -p /opt/data/mfs/var/mfs/data

cp /opt/data/mfs/var/mfs/metadata.mfs.empty/opt/data/mfs/var/mfs/data/metadata.mfs----文件必须这么生成！！

chown -R mfs. /opt/data

(4)、配置/opt/data/mfs/etc/mfsmaster.cfg

WORKING_USER = mfs

WORKING_GROUP = mfs

EXPORTS_FILENAME =/opt/data/mfs/etc/mfsexports.cfg

LOCK_FILE = /opt/data/mfs/var/mfsmaster.pid

DATA_PATH = /opt/data/mfs/var/mfs/data

SYSLOG_IDENT = mfsmaster

BACK_LOGS = 50

REPLICATIONS_DELAY_INIT = 300

REPLICATIONS_DELAY_DISCONNECT = 3600

MATOCS_LISTEN_HOST = *

MATOCS_LISTEN_PORT = 9420

MATOCU_LISTEN_HOST = *

MATOCU_LISTEN_PORT = 9421

CHUNKS_LOOP_TIME = 300

CHUNKS_DEL_LIMIT = 100

CHUNKS_REP_LIMIT = 15

(5)、配置输出控制文件/opt/data/mfs/etc/mfsexports.cfg

*                      .           rw

10.64.5.124            /           rw,alldirs,maproot=0

(6)、启动mfs

/opt/data/mfs/sbin/mfsmaster start

(7)、定制hearbeat的启动文件mfsmaster

vi /etc/init.d/mfsmaster

/opt/data/mfs/sbin/mfsmaster start

chmod 755 /etc/init.d/mfsmaster

3、安装chunkserver块服务器：（建议chunkserver使用2-3个副本）

(1)、创建用户：

groupadd -g 65534 mfs

useradd -u 65534 -g mfs -s /bin/false -d/home/mfs mfs

(2)、

exportKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH

tar -zxvf mfs-1.6.11.tar.gz

./configure --prefix=/usr/local/mfs--with-default-user=mfs --with-default-group=mfs --disable-mfsmaster--disable-mfsmount

make && make install

(3)、安装必要文件

cd /usr/local/mfs/etc

touch mfschunkserver.cfg

touch mfshdd.cfg

chown -R mfs. /usr/local/mfs

数据目录：

mkdir /data

mount /dev/sdb1 /data

chown -R mfs. /data

(4)、配置主配置文件mfschunkserver.cfg及共享磁盘配置文件mfshdd.cfg

vi mfschunkserver.cfg

WORKING_USER = mfs

WORKING_GROUP = mfs

DATA_PATH = /usr/local/mfs/var/mfs

LOCK_FILE =/usr/local/mfs/var/mfs/mfschunkserver.pid

SYSLOG_IDENT = mfschunkserver

BACK_LOGS = 50

MASTER_RECONNECTION_DELAY = 30

MASTER_HOST = 10.64.5.130    （两台metaserver的HAip地址）

MASTER_PORT = 9420

MASTER_TIMEOUT = 60

CSSERV_LISTEN_HOST = *

CSSERV_LISTEN_PORT = 9422

CSSERV_TIMEOUT = 60

CSTOCS_TIMEOUT = 60

HDD_CONF_FILENAME = /usr/local/mfs/etc/mfshdd.cfg

vi mfshdd.cfg

/data

#/data2

4、安装Client服务器：

(1)、安装 Fuse  首先要安装Fuse, Linux从2.6.14版本开始通过FUSE模块支持在用户空间实现文件系统

fuse-2.8.3.tar.gz

./configure

make && make install

编辑 /etc/ld.so.config 加入

include /usr/local/lib

命令行中：

#depmod -a

2、安装Client服务器:

(1)、创建用户：

groupadd -g 65534 mfs

useradd -u 65534 -g mfs -s /bin/false -d/home/mfs mfs

(2)、

（1）、vi /etc/profiles         source/etc/profiles

exportKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH

（2）、yum install fuse*  -------经测试，这条必须执行，否则client端根本无法安装mfsmount命令

tar -zxvf mfs-1.6.11.tar.gz

./configure --prefix=/usr/local/mfs--with-default-user=mfs --with-default-group=mfs --disable-mfsmaster--enable-mfsmount

make && make install

(3)、modprobefuse

(4)、创建挂载目录

mkdir -p /opt/test/data

(5)、Client端启动挂载：

/usr/local/mfs/bin/mfsmount -H 10.64.5.130/opt/test/data

五、监控界面：

对mfscgiserv的使用

Mfscgiserv是用python编写的一个web服务器，它的监听端口是9425，

可以利用：

     /opt/data/mfs/sbin/mfscgiserv来启动，用户利用浏览器就可全面监控所有客户挂接，chunkserver及masterserver，客户端的各种操作等等，绝对是个好工具。

在任何一台装有浏览器的机器上都可以查看：

                         http://10.64.5.130：9425