1、数据镜像软件DRBD介绍
分布式块设备复制（Distributed Replicated Block Device），简称DRBD，它是一种基于软件的、基于网络的块复制存储解决方案，主要用于服务器之间的磁盘、分区、逻辑卷等进行数据镜像。当用户将数据写入本地磁盘时，还会将数据发送到网络中另一台主机的磁盘上，这样本地主机（主节点）与远程主机（备节点）的数据就可以保证实时同步，当本地主机出现问题，远程主机上还保留着一份相同的数据,可以继续使用，保证了数据的安全。
2、DRBD的基本功能
DRBD的核心功能就是数据的镜像，其实现方式是通过网络来镜像整个磁盘设备或磁盘分区，将一个节点的数据通过网络实时的传送到另一个远程节点，保证两个节点间数据的一致性，这有点类似于一个网络RAID1的功能。对于DRDB数据镜像来说，它具有如下特点：
实时性。当应用对磁盘数据有修改操作时，数据复制立即发生。
透明性。应用程序的数据存储在镜像设备上是透明和独立的。数据可以存储在基于网络的不同服务器上。
同步镜像。当本地应用申请写操作时，同时也在远程主机上开始进行写操作。
异步镜像。当本地写操作已经完成时，才开始对远程主机进行写操作。
3、drbd的结构示意图及工作原理
4、DRDB的安装与配置，操作系统centos6.7
其中，主备节点两块磁盘/dev/sdb是未经格式化的物理磁盘，大小均为20GB
[root@Master-drbd ~]# wget http://www.elrepo.org/elrepo-release-6-6.el6.elrepo.noarch.rpm
[root@Master-drbd ~]# wget http://www.elrepo.org/elrepo-release-6-6.el6.elrepo.noarch.rpm [root@Master-drbd ~]# rpm -ivh elrepo-release-6-6.el6.elrepo.noarch.rpm warning: elrepo-release-6-6.el6.elrepo.noarch.rpm: Header V4 DSA/SHA1 Signature, key ID baadae52: NOKEY Preparing... ########################################### [100%] 1:elrepo-release ########################################### [100%] [root@Master-drbd ~]# yum install drbd kmod-drbd84 -y [root@Master-drbd ~]# modprobe drdb [root@Master-drbd ~]# lsmod |grep -i drbd drbd 372759 0 libcrc32c 1246 1 drbd
5、DRBD有三个进程：
drbd0——worker：主进程
drbd0——asender：primary上drbd0的数据发送进程
drbd0——receiver；secondary上drbd0的数据接受进程
配置DRBD前需要注意几点：
mount drbd设备以前必须把设备切换到primary状态，两个节点中，同一时刻只能有一台处于primary状态，另一台处于secondary状态，处于secondary状态的服务器上不能加载drbd设备。主备服务器同步的两个分区大小最好相同，这样不至于浪费磁盘空间，因为drbd镜像相当于网络raid1.
主节点配置，备用节点也是一样的配置
[root@Master-drbd ~]# cat /etc/drbd.conf
# You can find an example in /usr/share/doc/drbd.../drbd.conf.example
#include "drbd.d/global_common.conf";
#include "drbd.d/*.res";
global {
usage-count no;
}
common {
syncer {
rate 100M;
verify-alg crc32c;
}
}
###primary for drbd1
resource data {
protocol C;
disk {
on-io-error detach;
}
on Master-drbd {
device /dev/drbd0;
disk /dev/sdb;
address 172.16.80.128:7788; #心跳地址
meta-disk internal;
}
on Slave-drbd {
device /dev/drbd0;
disk /dev/sdb;
address 172.16.80.127:7788;
meta-disk internal;
}
6、DRBD的管理与维护
1.在两个节点执行
在启动DRBD之前,需要分别在两台主机的sdb分区上创建供DRBD记录信息的数据块.具体是分别在两台主机上执行：
[root@master-drbd ~]# drbdadm create-md r0 或者执行drbdadm create-md all
initializing activity log
NOT initializing bitmap
Writing meta data...
New drbd meta data block successfully created.
[root@slave-drbd ~]# drbdadm create-md data
2.在两个节点启动服务
接着在两个drbd节点启动DRBD服务，操作如下：
[root@Master-drbd ~]# /etc/init.d/drbd start
Starting DRBD resources: [
create res: data
prepare disk: data
adjust disk: data
adjust net: data
]
[root@slave-drbd ~]#/etc/init.d/drbd start
最好是在两个节点同时启动DRBD服务。
3.在任意节点查看节点状态
登录任意drbd节点，然后执行“cat /proc/drbd”命令，输出结果如下：
[root@Master-drbd ~]# cat /proc/drbd
version: 8.4.7-1 (api:1/proto:86-101)
GIT-hash: 3a6a769340ef93b1ba2792c6461250790795db49 build by mockbuild@Build64R6, 2016-01-12 13:27:11
0: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r-----
ns:0 nr:0 dw:0 dr:0 al:8 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:10485404
7、设置主节点的状态
由于默认没有主次节点之分，因此需要设置两个主机的主次节点。选择需要设置为主节点的主机，然后执行如下命令：
[root@Master-drbd ~]# drbdadm -- --overwrite-data-of-peer primary data [root@Master-drbd ~]# cat /proc/drbd version: 8.4.7-1 (api:1/proto:86-101) GIT-hash: 3a6a769340ef93b1ba2792c6461250790795db49 build by mockbuild@Build64R6, 2016-01-12 13:27:11 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r----- ns:301056 nr:0 dw:0 dr:301728 al:8 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:10184348 [>....................] sync'ed: 2.9% (9944/10236)M finish: 0:03:56 speed: 43,008 (43,008) K/sec [root@Master-drbd ~]# [root@Master-drbd ~]# cat /proc/drbd version: 8.4.7-1 (api:1/proto:86-101) GIT-hash: 3a6a769340ef93b1ba2792c6461250790795db49 build by mockbuild@Build64R6, 2016-01-12 13:27:11 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r---n- ns:534152 nr:0 dw:0 dr:535200 al:8 bm:0 lo:0 pe:2 ua:1 ap:0 ep:1 wo:f oos:9952924 [>...................] sync'ed: 5.2% (9716/10236)M finish: 0:04:02 speed: 40,960 (40,960) K/sec [root@Master-drbd ~]# cat /proc/drbd version: 8.4.7-1 (api:1/proto:86-101) GIT-hash: 3a6a769340ef93b1ba2792c6461250790795db49 build by mockbuild@Build64R6, 2016-01-12 13:27:11 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r----- ns:10485404 nr:0 dw:0 dr:10486076 al:8 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0 [root@Master-drbd ~]# 第一次执行完此命令后，如果需要设置哪个是主节点，也可以使用另外一个命令： [root@master-drbd ~]#/sbin/drbdadm primary data或者/sbin/drbdadm primary all 执行此命令后，开始同步两台机器对应磁盘的数据：
8、挂载drbd设备
由于mount操作只能在主节点进行，因此只有设置了主节点后才能格式化磁盘分区，同时，在两个节点中，同一时刻只能有一台处于primary状态，另一台处于secondary状态，而处于secondary状态的节点上不能挂载DRBD设备，要在备用节点上挂载DRBD设备，必须停止备用节点的DRBD服务或将备用节点角色升级为主节点。
下面首先将DRBD设备格式化为ext4文件系统，然后在主节点挂载，操作如下：
[root@master-drbd ~]#mkfs.ext4 /dev/drbd0
[root@master-drbd ~]#mount /dev/drbd0 /data
完成挂载后，就可以在/data目录下写数据了，此目录下的数据会自动同步到备用节点上。
[root@Master-drbd ~]# mkfs.ext4 /dev/drbd0
mke2fs 1.41.12 (17-May-2010)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
Stride=0 blocks, Stripe width=0 blocks
655360 inodes, 2621351 blocks
131067 blocks (5.00%) reserved for the super user
First data block=0
Maximum filesystem blocks=2684354560
80 block groups
32768 blocks per group, 32768 fragments per group
8192 inodes per group
Superblock backups stored on blocks:
32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632
Writing inode tables: done
Creating journal (32768 blocks): done
Writing superblocks and filesystem accounting information: done
This filesystem will be automatically checked every 20 mounts or
180 days, whichever comes first. Use tune2fs -c or -i to override.
[root@Master-drbd ~]# mount /dev/drbd0 /data
[root@Master-drbd ~]#
[root@Master-drbd ~]# touch /data/{a,b,c,d,e} 创建5个测试文件
[root@Master-drbd ~]# ls /data/
a b c d e lost+found
9、主备切换
首先在主节点卸载磁盘分区： [root@ master-drbd /]# umount /data 然后执行： [root@master-drbd ~]#drbdadm secondary all 如果不执行这个命令，直接在备用节点执行切换到主节点的命令，会报如下错误： 2: State change failed: (-1) Multiple primaries not allowed by config Command 'drbdsetup 2 primary' terminated with exit code 11 此时查看master-drbd节点的DRBD状态，信息如下： [root@Master-drbd ~]# cat /proc/drbd version: 8.4.7-1 (api:1/proto:86-101) GIT-hash: 3a6a769340ef93b1ba2792c6461250790795db49 build by mockbuild@Build64R6, 2016-01-12 13:27:11 0: cs:Connected ro:Secondary/Secondary ds:UpToDate/UpToDate C r----- ns:10783236 nr:0 dw:297832 dr:10486805 al:90 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0 可以看到，两个节点都处于“Secondary”状态了，那么接下来就要指定一个主节点，在备用节点执行如下命令： [root@slave-drbd ~]#drbdadm primary all [root@Slave-drbd ~]# drbdadm primary all [root@Slave-drbd ~]# cat /proc/drbd version: 8.4.7-1 (api:1/proto:86-101) GIT-hash: 3a6a769340ef93b1ba2792c6461250790795db49 build by mockbuild@Build64R6, 2016-01-12 13:27:11 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r----- ns:0 nr:10783236 dw:10783236 dr:672 al:8 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0 至此，主备节点成功切换角色。最后在新的主节点挂载DRBD磁盘分区即可： [root@Slave-drbd ~]# mount /dev/drbd0 /data/ [root@Slave-drbd ~]# ls /data/ 可以看到之前在主节点上面创建的5个文件都有 a b c d e lost+found
我们这里进行的手动的切换，实际工作中应该要自动切换，配合高可用软件heartbeat 或者keepalived