HA高可用集群之drbd详解

一 DRBD

drbd（Distributed Replicated Block Device，分布式复制块设备），实现用网络来镜像的备份整个设备（一般是存储设备）

drbd接受到数据后，把数据写到本地的磁盘中，同时再发送一份到另外一台主机，另外一台主机把数据再存入本地的磁盘内。

在整个传输的过程中，根据数据到达的地方，可以将drdb的复制模式分成3种：

• 协议A：异步复制协议。本地写成功后立即返回，数据放在发送buffer中，可能丢失。

• 协议B：内存同步（半同步）复制协议。本地写成功并将数据发送到对方后立即返回。

• 协议C：同步复制协议。本地和对方写成功确认后返回

drbd用在高可用集群中，为共享存储设备提供冗余，比如：为nfs，smaba，还有mysql的数据目录都可以做分布式存储来提高冗余或者高可用。

drbd的资源规则：

drbd一般情况下，只支持一主一从，这已经足够满足服务的冗余了、

主节点：可读写

从节点：只能被动接受主机传来的数据信息，不能读写，连挂载都不被允许。

drbd做为分布式复制块设备，通常都可以用哪些硬件充当呢：

1、硬盘，或者硬盘中的一个分区

2、RAID设备

3、LVM逻辑卷

drbd有两种实现方法：

1、直接将drdb打补丁进内核中

2、通过用户空间软件实现内核级别的功能（如：netfilter的实现是用用户空间iptables命令实现的）

二 配置drbd概述

DRBD 配置工具

• drbdadm：高级管理工具，管理/etc/drbd.conf，向drbdsetup和drbdmeta发送指令。

• drbdsetup：配置装载进kernel的DRBD模块

• drbdmeta：管理META数据结构

DRBD的主配置文件为/etc/drbd.conf；为了管理的便捷性，目前通常会将些配置文件分成多个部分，且都保存至/etc/drbd.d目录中，主配置文件中仅使用"include"指令将这些配置文件片断整合起来。通常，/etc/drbd.d目录中的配置文件为global_common.conf和所有以.res结尾的文件。其中global_common.conf中主要定义global段和common段，而每一个.res的文件用于定义一个资源。

在配置文件中，global段仅能出现一次，且如果所有的配置信息都保存至同一个配置文件中而不分开为多个文件的话，global段必须位于配置文件的最开始处。目前global段中可以定义的参数仅有minor-count, dialog-refresh, disable-ip-verification和usage-count。

  common段则用于定义被每一个资源默认继承的参数，可以在资源定义中使用的参数都可以在common段中定义。实际应用中，common段并非必须，但建议将多个资源共享的参数定义为common段中的参数以降低配置文件的复杂度。

  resource段则用于定义drbd资源，每个资源通常定义在一个单独的位于/etc/drbd.d目录中的以.res结尾的文件中。资源在定义时必须为其命名，名字可以由非空白的ASCII字符组成。每一个资源段的定义中至少要包含两个host子段，以定义此资源关联至的节点，其它参数均可以从common段或drbd的默认中进行继承而无须定义。

DRBD 资源

• Resource name：可以是除了空白字符的任意的ACSII码字符

• DRBD device：在双方节点上，此DRBD设备的设备文件；一般为/dev/drbdN，其主设备号147

• Disk configuration：在双方节点上，各自提供的存储设备

• Nerwork configuration：双方数据同步时所使用的网络属性

来说说整体是怎么配置的，给个配置步骤，就能看起来逻辑上清晰一点：

1、安装drdb

        drbd-8.4.3-33.el6.x86_64         drbd-kmdl-2.6.32-431.el6-8.4.3-33.el6.x86_64

        安装drbd时，要看自己的内核版本，一定要安装和自己内核一样版本的软件包。

2、配置资源文件

        需要在/etc/drbd.d/global_common.conf中做修改

        将自己建立的磁盘设备加入资源中，命名以 .res结尾（例如：mystore.res）

   当然在配置资源的时候，你应该提前创建好设备。

3、将drbd加入到系统服务chkconfig --add drbd  （如果做HA高可用，就不需要开机自动启动）

4、初始化资源组drbdadm create-md resource_name  （例如：drbdadm create-md mystore）

5、启动服务 service drbd start  （配置完测试，启动服务，drbd也作为一个服务运行的）

6、设置primary主机，并同步数据

     默认情况运行服务后，两个节点都是处于secondary状态，我们需要手动去设置一个节点成为primary状态

     在要设置为Primary的节点上执行如下命令：drbdsetup /dev/drbd0 primary �Co ,也可以在要设置为Primary的节点上使用如下命令来设置主节点： drbdadm -- --overwrite-data-of-peer primary web

7、分区、格式化/dev/drbd*

8、一个节点进行挂载

9、查看状态

三 配置过程

1、安装drbd

[root@station139 ~]# ls
anaconda-ks.cfg               drbd-kmdl-2.6.32-431.el6-8.4.3-33.el6.x86_64.rpm

drbd-kmdl-2.6.32-431.el6-8.4.3-33.el6.x86_64.rpm �C> 这个包安装和kernel版本不同的话会出现出现的错误：

[root@node2 ~]# service drbd start
Starting DRBD resources: Can not load the drbd module.

 [root@station139 ~]# rpm -ivh --nodeps drbd-kmdl-2.6.32-358.el6-8.4.3-33.el6.x86_64.rpm 
warning: drbd-kmdl-2.6.32-358.el6-8.4.3-33.el6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID 66534c2b: NOKEY
Preparing...                ########################################### [100%]
   1:drbd-kmdl-2.6.32-358.el########################################### [100%]
[root@station139 ~]# rpm -ivh drbd-8.4.3-33.el6.x86_64.rpm 
warning: drbd-8.4.3-33.el6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID 66534c2b: NOKEY
Preparing...                ########################################### [100%]
   1:drbd                   ########################################### [100%]

[root@station139 ~]# rpm -q drbd
drbd-8.4.3-33.el6.x86_64

在配置配置文件之前，我们来为我们准备实验的两台主机分别创建磁盘文件；

[root@station139 ~]# fdisk /dev/sda

WARNING: DOS-compatible mode is deprecated. It's strongly recommended to         switch off the mode (command 'c') and change display units to         sectors (command 'u').

Command (m for help): p

Disk /dev/sda: 128.8 GB, 128849018880 bytes
255 heads, 63 sectors/track, 15665 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000902d4

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          26      204800   83  Linux
Partition 1 does not end on cylinder boundary.
/dev/sda2              26        7859    62914560   8e  Linux LVM
/dev/sda3            7859        9164    10489446   8e  Linux LVM

Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
e                    因为只剩下一个主分区了可以建立了，所以我们把最后一个主分区用来做扩展，在扩展分区上创建分区
Selected partition 4
First cylinder (9165-15665, default 9165): 
Using defaultvalue 9165
Last cylinder, +cylinders or +size{K,M,G} (9165-15665, default 15665): 
Using defaultvalue 15665

Command (m for help): n
First cylinder (9165-15665, default 9165): 
Using defaultvalue 9165
Last cylinder, +cylinders or +size{K,M,G} (9165-15665, default 15665): +5G

Command (m for help): P

Disk /dev/sda: 128.8 GB, 128849018880 bytes
255 heads, 63 sectors/track, 15665 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000902d4

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          26      204800   83  Linux
Partition 1 does not end on cylinder boundary.
/dev/sda2              26        7859    62914560   8e  Linux LVM
/dev/sda3            7859        9164    10489446   8e  Linux LVM
/dev/sda4            9165       15665    52219282+   5  Extended
/dev/sda5            9165        9818     5253223+  83  Linux     创建了一个5G的磁盘空间

Command (m for help): W
The partition table has been altered!

Calling ioctl() to re-read partition table.

WARNING: Re-reading the partition table failed with error 16: Device or resource busy.
The kernel still uses the old table. The new table will be used at
the next reboot or after you run partprobe(8) or kpartx(8)
Syncing disks.

      让系统识别我们创建的分区：

error adding partition 3
[root@station139 ~]# kpartx -af /dev/sda
device-mapper: reload ioctl on sda1 failed: Invalid argument
create/reload failed on sda1
device-mapper: reload ioctl on sda2 failed: Invalid argument
create/reload failed on sda2
device-mapper: reload ioctl on sda3 failed: Invalid argument
create/reload failed on sda3
device-mapper: reload ioctl on sda4 failed: Invalid argument
create/reload failed on sda4
device-mapper: reload ioctl on sda5 failed: Invalid argument
create/reload failed on sda5
[root@station139 ~]# partx -a /dev/sda
BLKPG: Device or resource busy
error adding partition 1
BLKPG: Device or resource busy
error adding partition 2
BLKPG: Device or resource busy
error adding partition 3
BLKPG: Device or resource busy
error adding partition 4
BLKPG: Device or resource busy
error adding partition 5

在另外一台主机（node2）上也应该创建一个同本机大小相同的磁盘存储设备。

2、配置配置文件

[root@node1 ~]# cat /etc/drbd.d/global_common.conf   

global {   

    usage-count no; #让linbit公司收集目前drbd的使用情况，yes为参加，我们这里不参加设置为no   

    # minor-count dialog-refresh disable-ip-verification   

}

common {  

    handlers {   

        pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";   

        pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";   

        local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";   

   将上面这三行的注释去掉，启用他们。

        # fence-peer "/usr/lib/drbd/crm-fence-peer.sh";   

        # split-brain "/usr/lib/drbd/notify-split-brain.sh root";   

        # out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";   

        # before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k";   

        # after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;   

    }

    startup {  

        # wfc-timeout degr-wfc-timeout outdated-wfc-timeout wait-after-sb   

    }

    options {  

        # cpu-mask on-no-data-accessible   

    }

    disk {  

        # size max-bio-bvecs on-io-error fencing disk-barrier disk-flushes   

        # disk-drain md-flushes resync-rate resync-after al-extents   

                # c-plan-ahead c-delay-target c-fill-target c-max-rate   

                # c-min-rate disk-timeout   

        on-io-error detach; #同步错误的做法是分离   

    }

    net {  

        # protocol timeout max-epoch-size max-buffers unplug-watermark   

        # connect-int ping-int sndbuf-size rcvbuf-size ko-count   

        # allow-two-primaries cram-hmac-alg shared-secret after-sb-0pri   

        # after-sb-1pri after-sb-2pri always-asbp rr-conflict   

        # ping-timeout data-integrity-alg tcp-cork on-congestion   

        # congestion-fill congestion-extents csums-alg verify-alg   

        # use-rle  

加入如下两行：实现节点之间会话加密，设置算法，和加密的key 

注意： 最后要加分号；
        cram-hmac-alg "sha1"; #设置加密算法sha1   

        shared-secret "mydrbdlab"; #设置加密key   

    }   

           syncer {      需要加入的内容
                       rate 1000M;
                       }

       
}

配置资源

[root@station139 ~]# vim /etc/drbd.d/mystore.res

resource mystore {   资源名mystore应该和配置文件定义的名字是相同的。 
        on node1.corosync.com{     主机名，如果是本机的话，要和“uname �Cn”结果相同，hosts文件中也应该有对应的IP解析。如果是在网络中的话需要/etc/hosts文件中要有主机名和IP地址对应的解析。
        device  /dev/drbd0;          drbd0 为drdb的第一个设备
        disk    /dev/sda5;       所在本地的那个磁盘，也就是磁盘位置   
        address 172.16.249.207:7789;    对应的IP地址和端口号
        meta-disk       internal;    表示资源是在本地
}
        on node2.corosync.com{    这个是另外一台主机，也做同样的设置
        device  /dev/drbd0;
        disk    /dev/sda3;
        address 172.16.249.208:7789;  这个地方配置另外这台主机的IP地址和端口。drbd服务默认端口是 7789；
        meta-disk       internal;
}
}

将配置文件同步到node2

如上的配置文件，是两个主机中的配置应该是相同的，所以可以直接放这两个配置文件复制过去，直接放在另外一个主机的对应的配置文件目录下。

[root@station139 ~]# scp /etc/drbd.d/* node2.corosync.com:/etc/drbd.d/
The authenticity of host 'node2.corosync.com (172.16.249.208)' can't be established.RSA key fingerprint is c7:65:26:ff:5e:11:b9:de:a4:7a:20:9d:a2:28:e4:66.Are you sure you want to continue connecting (yes/no)? yesWarning: Permanently added 'node2.corosync.com,172.16.249.208' (RSA) to the list of known [email protected]'s password: 
global_common.conf                                                           100% 1886     1.8KB/s   00:00    
mystore.res                                                                  100%  247     0.2KB/s   00:00

3、将drbd加入到系统服务chkconfig --add drbd  （如果做HA高可用，就不需要开机自动启动）

因为我们的目的是做高可用集群的，在做高可用集群的时候，务必要关闭开机自动启动，所以我们就不走这条常规的道路了。

4、初始化资源组drbdadm create-md resource_name  （例如：drbdadm create-md mystore）

node1与node2上初始化资源

node1上的初始化

[root@node1 ~]# drbdadm create-md mystore  初始化资源组命令
Writing meta data...
initializing activity log
NOT initializing bitmap
New drbd meta data block successfully created.   初始化成功

node2上的初始化

[root@node2 ~]# drbdadm create-md mystore
  --==  Thank you for participating in the global usage survey  ==--
The server's response is:

you are the 15309th user to install this version
Writing meta data...
initializing activity log
NOT initializing bitmap
New drbd meta data block successfully created.

5、启动服务 service drbd start  （配置完测试，启动服务，drbd也作为一个服务运行的）

 node1：

[root@node1 ~]# rpm -ivh drbd-kmdl-2.6.32-431.el6-8.4.3-33.el6.x86_64.rpm 
warning: drbd-kmdl-2.6.32-431.el6-8.4.3-33.el6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID 66534c2b: NOKEY
Preparing...                ########################################### [100%]
   1:drbd-kmdl-2.6.32-431.el########################################### [100%]
[root@node1 ~]# service drbd start
Starting DRBD resources: [
     create res: mystore
   prepare disk: mystore
    adjust disk: mystore
     adjust net: mystore
]
..........
***************************************************************
 DRBD's startup script waits for the peer node(s) to appear. - In case this node was already a degraded cluster before the   reboot the timeout is 0 seconds. [degr-wfc-timeout] - If the peer was available before the reboot the timeout will   expire after 0 seconds. [wfc-timeout]   (These values are for resource 'mystore'; 0 sec -> wait forever) To abort waiting enter 'yes' [ 236]:

node2：

[root@node2 ~]# service drbd start
Starting DRBD resources: [
     create res: mystore
   prepare disk: mystore
    adjust disk: mystore
     adjust net: mystore
]

查看下drbd运行状态：

[root@node1 ~]# watch -n 1 `cat /proc/drbd`

GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by gardner@, 2013-11-29 12:28:00 0: 
cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r-----
 ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:5252056'

 ds:Inconsistent/Inconsistent  两个都处于非一致状态
ro:Secondary/Secondary  此时还不知道谁是主谁是从

6、设置primary主机，并同步数据

   从上面的信息中可以看出此时两个节点均处于Secondary状态。于是，我们接下来需要将其中一个节点设置为Primary。在要设置为Primary的节点上执行如下命令：# drbdadm primary --force resource（资源名）

注： 也可以在要设置为Primary的节点上使用如下命令来设置主节点：
    # drbdadm -- --overwrite-data-of-peer primary web

打算让哪个节点做为primary就在哪个节点上执行如下命令：

[root@node1 ~]# drbdadm primary --force mystore

再次查看状态，可以发现数据同步过程开始了：

[root@node1 ~]# drbd-overview
  0:mystore/0  SyncSource Primary/Secondary UpToDate/Inconsistent C r---n- 
    [======>.............] sync'ed: 35.4% (3316/5128)M

我们再用watch �Cn 1 `cat /proc/drbd`来查看下有没有认出主从：

line 0: `version: 8.4.3 (api:1/proto:86-101) GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by gardner@, 2013-11-29 
12:28:00 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r---n- ns:1427464
 nr:0 dw:0 dr:1429152 al:0 bm:87 lo:3 pe:3 ua:4 ap:0 ep:1 wo:f oos:3826648 [====>...............] sync'ed: 27.3% (3736/5128)M finish: 0:02:34 speed: 24,788 (24,156) K/sec'

ro:Primary/Secondary  已经有主从了 

ds:UpToDate/Inconsistent  而且有一方已经开始呈现更新状态

更新完成后， drbd-overview 查看：

[root@node1 ~]# drbd-overview
  0:mystore/0  Connected Primary/Secondary UpToDate/UpToDate C r----- 

显示已经分出主从，并且已经更新完了 UpToDate/UpToDate

对主Primary/Secondary模型的drbd服务来讲，在某个时刻只能有一个节点为Primary，因此，要切换两个节点的角色，只能在先将原有的Primary节点设置为Secondary后，才能原来的Secondary节点设置为Primary:

node1：    drbdadm secondary mystore

node2：    drbdadm primary  mystore

7、分区、格式化/dev/drbd*

文件系统的挂载只能在Primary节点进行，因此，也只有在设置了主节点后才能对drbd设备进行格式化

[root@node1 ~]# mke2fs -t ext4 /dev/drbd0   格式化成ext4   对/dev/drbd0 此刻就不是对/dev/sda#了
mke2fs 1.41.12 (17-May-2010)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
Stride=0 blocks, Stripe  blocks
328656 inodes, 1313014 blocks
65650 blocks (5.00%) reserved for the super user
First data block=0
Maximum filesystem blocks=1346371584
41 block groups
32768 blocks per group, 32768 fragments per group
8016 inodes per group
Superblock backups stored on blocks: 
    32768, 98304, 163840, 229376, 294912, 819200, 884736

Writing inode tables: done                            
Creating journal (32768 blocks): done
Writing superblocks and filesystem accounting information: done

This filesystem will be automatically checked every 39 mounts or
180 days, whichever comes first.  Use tune2fs -c or -i to override.

创建目录，挂载/dev/drbd0 来看看能不能能不能挂载上这个drdb

[root@node1 ~]# mkdir /mydata
[root@node1 ~]# mount /dev/drbd0 /mydata/
[root@node1 ~]# cd /mydata/
[root@node1 mydata]# ls
lost+found

我们拷贝文件进去，并做修改，然后取消掉挂载，让本机降级成secondary，然后让另外一台主机上升成primary，来看下数据有没有同步过去

node1：

[root@node1 mydata]# cp /etc/fstab .
[root@node1 mydata]# vim fstab    删除剩下两行、然后讲本机降级成secondary，让另外一台主机升级成primary，然后在另外一台被提升成primary的主机上查看

/dev/cdrom              /media/cdrom            iso9660 defaults        0 0
/dev/myvg/mydata        /nfs                    ext4    defaults        0 0
[root@node1 ~]# umount /dev/drbd0       卸载挂载
[root@node1 ~]# drbdadm secondary mystore   降级为secondary

node2：

[root@node2 ~]# drbdadm primary mystore   升级为primary
[root@node2 ~]# mkdir /mydata              创建目录
[root@node2 ~]# mount /dev/drbd0 /mydata/    挂载
[root@node2 ~]# cd /mydata/
[root@node2 mydata]# ls
fstab  lost+found
[root@node2 mydata]# cat fstab    可以看到文件已经变成我们改变之后的了
/dev/cdrom        /media/cdrom        iso9660    defaults    0 0
/dev/myvg/mydata    /nfs            ext4    defaults    0 0

本文就是实现了  drbd的工作模式

drdb有时候可能需要自动的去实现角色切换、下一篇来讲解 drbd+corosync 实现自动切换