分布式块设备DRBD9基础用法（快速上手教程）
1. 概述
1.1 介绍
DRBD (Distributed Replicated Block Device) 是 Linux 平台上的分散式储存系统。其中包含了核心模组，数个使用者空间管理程式及 shell scripts，通常用于高可用性（high availability, HA）丛集。DRBD 类似磁盘阵列的RAID 1（镜像），只不过 RAID是在同一台电脑内，而DRBD是透过网络。
1.2 基本原理
DRBD是linux的内核的存储层中的一个分布式存储系统，架构分为两个部分：一个是内核模块，用于虚拟一个块设备；另一个是用户空间管理程序，用于和DRBD内核模块通讯，以管理DRBD资源。在DRBD中，资源是特指某复制的存储设备的所有方面。包括资源名称、DRBD设备（/dev/drbdm，这里m是设备最小号，最大号可到147）、磁盘配置（使本地数据可以为DRBD所用）、网络配置（与对方通信）。
一个DRBD系统由两个以上节点构成，和HA集群一样有主用节点和备用节点之分（DRBD每次只允许对一个节点进行读写访问，主机上的DRBD设备挂载到一个目录上进行使用.备机的DRBD设备无法被挂载,因为它是用来接收主机数据的,由DRBD负责操作.），在带有主要设备的节点上，应用程序和操作系统可以运行和访问DRBD设备。
DRBD块被加载到正常的块设备之上，文件系统之下，在文件系统和磁盘之间形成一个中间层 ，当用户往主节点文件系统中写入数据时，数据被正式写入磁盘之前会被DRBD系统截获，DRBD系统在捕获到有磁盘写入时，会通知用户空间管理程序把这些数据拷贝一份，写入远程DRBD镜像，然后存入DRBD镜像所映射的磁盘（备用节点）。 如图：
DRBD系统向虚拟块的镜像中写入数据时，支持三种协议：
A：数据一旦写入磁盘并发送到网络中就认为完成了写入操作
B：收到接收确认就认为完成了写入操作
C：收到写入确认就认为完成了写入操作
基于安全考虑我们一般选择协议C。
2. 实验环境准备
2.1 系统环境
本教程基于最新版DRBD+最新版本CENTOS，更新时间：2019-07-04
| 主机名 | 系统版本 | IP地址 | DRBD分区硬盘 |
|---|---|---|---|
| node1 | centos7.6_minial | 192.168.10.30 | /dev/mapper/drbd-data |
| node2 | centos7.6_minial | 192.168.10.40 | /dev/mapper/drbd-data |
也可以直接使用本地硬盘例如：sdb，sdc等作为drbd硬盘，此处使用逻辑卷是为了后续drbd磁盘扩容实验准备
2.2 DRBD软件下载地址
DRBD官网地址：https://www.linbit.com
| 软件名 | 备注 | 版本 |
|---|---|---|
| DRBD 9 Linux Kernel Driver | DRBD9内核组件 | drbd-9.0.18-1.tar |
| DRBD Utilities | DRBD9管理组件 | drbd90-utils-sysvinit-9.3.1-1.el7.elrepo.x86_64..> |
| DRBD Sysvinit | DRBD9管理组件 | drbd90-utils-9.6.0-1.el7.elrepo.x86_64.rpm |
3. 开始部署(主备节点同时部署)
一些基本初始化此处不再赘述（selinux，ntpdate，firewalld，hosts等）
3.1 更新系统内核
# yum install kernel kernel-devel gcc glibc -y
# 重启服务器生效
# reboot3.2 部署DRBD9内核组件
[root@node1 drbd]# tar zxf drbd-9.0.18-1.tar.gz
[root@node1 drbd]# cd drbd-9.0.18-1
# 查看此文件可知DRBD9需要管理工具版本 >= 9.3
[root@node1 drbd-9.0.18-1]# cat README.drbd-utils
=======================================================================
With DRBD module version 8.4.5, we split out the management tools
into their own repository at https://github.com/LINBIT/drbd-utils
(tarball at http://links.linbit.com/drbd-download)
That started out as "drbd-utils version 8.9.0",
has a different release cycle,
and provides compatible drbdadm, drbdsetup and drbdmeta tools
for DRBD module versions 8.3, 8.4 and 9.
Again: to manage DRBD 9 kernel modules and above,
you want drbd-utils >= 9.3 from above url.
=======================================================================
# 指定KDIR参数，将drbd编译进系统内核
[root@node1 drbd-9.0.18-1]# make DIR=/usr/src/kernels/3.10.0-957.21.3.el7.x86_64/
[root@node1 drbd-9.0.18-1]# make install
# 将DRBD加载到系统内核
[root@node1 drbd-9.0.18-1]# modprobe drbd
# 确认是否成功加载
[root@node1 drbd-9.0.18-1]# lsmod | grep drbd
drbd 558570 0
libcrc32c 12644 2 xfs,drbd3.3 部署DRBD9管理组件
[root@node1 drbd]# yum install drbd90-utils-9.6.0-1.el7.elrepo.x86_64.rpm -y
[root@node1 drbd]# yum install drbd90-utils-sysvinit-9.6.0-1.el7.elrepo.x86_64.rpm -y3.4 配置DRBD9
在安装完DRDB软件后，必须在两边服务器上配置大致相同的存储空间，你可以采用如下任意一种存储设备：
- 一个物理磁盘设备
- 一个软RAID设备
- 一个LVM逻辑卷
- 任何块设备
DRBD对于网络的要求：建议drbd服务器之间通过交换机直接连接，不建议中间通过路由器设备，当然这不是强制要求，DRBD需要基于TCP的7788和7799端口
3.4.1 配置你的资源(主备机器都需要同时执行)
DRBD的配置文件在 /etc/drbd.conf中，当前只包含如下两行
include "/etc/drbd.d/global_common.conf";
include "/etc/drbd.d/*.res";其中
/etc/drbd.d/global_common.conf ：包含DRBD的全局和通用模块配置
/etc/drbd.d/*.res ：用户资源配置模块
如下是一个drbd.conf的简单配置案例：
vim /etc/drbd.d/global_common.conf
global {
usage-count yes;
}
common {
net {
protocol C;
}
}vim /etc/drbd.d/r0.res
resource r0 {
on node1 { # on 主机名
device /dev/drbd1; # 映射的drbd磁盘，可默认
disk /dev/mapper/drbd-data; # 设置后面存放数据的drbd磁盘
address 192.168.10.30:7789;
meta-disk internal;
}
on node2 {
device /dev/drbd1;
disk /dev/mapper/drbd-data;
address 192.168.10.40:7789;
meta-disk internal;
}
}3.4.5 启动drbd服务
初始化配置服务完成后，请记住你的资源名（r0）
# 创建device metadta
[root@node1 ~]# drbdadm create-md r0
--== Thank you for participating in the global usage survey ==--
The server's response is:
you are the 859th user to install this version
initializing activity log
initializing bitmap (192 KB) to all zero
Writing meta data...
New drbd meta data block successfully created.
success# 启动资源并查看状态
[root@node1 ~]# drbdadm up r0
[root@node1 ~]# drbdadm status r0
r0 role:Secondary
disk:Inconsistent
node2 role:Secondary
peer-disk:Inconsistent
# 可以看到当前资源状态都是Inconsistent(数据未同步状态)# 此操作只能在一个设备上执行，因为需要将此设备设置为主设备
[root@node1 ~]# drbdadm primary --force r0
[root@node1 ~]# drbdadm status r0
r0 role:Primary
disk:UpToDate
node2 role:Secondary
replication:SyncSource peer-disk:Inconsistent done:49.11
# 看到此时数据的状态为UpToDate（数据正在同步，单未完全同步），且已经同步49.11
# 如下代表数据已经全部同步完成
[root@node1 ~]# drbdadm status r0
r0 role:Primary
disk:UpToDate
node2 role:Secondary
peer-disk:UpToDate3.4.6 详细服务状态查询
[root@node1 ~]# drbdsetup status r0 --verbose --statistics
r0 node-id:0 role:Primary suspended:no
write-ordering:flush
volume:0 minor:1 disk:UpToDate quorum:yes
size:6291228 read:6292272 written:0 al-writes:0 bm-writes:0 upper-pending:0 lower-pending:0 al-suspended:no blocked:no
node2 node-id:1 connection:Connected role:Secondary congested:no ap-in-flight:0 rs-in-flight:0
volume:0 replication:Established peer-disk:UpToDate resync-suspended:no
received:0 sent:6291228 out-of-sync:0 pending:0 unacked:0
3.5 格式化文件系统并挂载
此操作仅仅需要在主节点执行即可
[root@node1 ~]# mkfs.xfs /dev/drbd1
meta-data=/dev/drbd1 isize=512 agcount=4, agsize=393202 blks
= sectsz=512 attr=2, projid32bit=1
= crc=1 finobt=0, sparse=0
data = bsize=4096 blocks=1572807, imaxpct=25
= sunit=0 swidth=0 blks
naming =version 2 bsize=4096 ascii-ci=0 ftype=1
log =internal log bsize=4096 blocks=2560, version=2
= sectsz=512 sunit=0 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
[root@node1 ~]# mkdir /mydata
[root@node1 ~]# mount /dev/drbd1 /mydata/
[root@node1 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/centos-root 8.0G 1.5G 6.6G 19% /
devtmpfs 475M 0 475M 0% /dev
tmpfs 487M 0 487M 0% /dev/shm
tmpfs 487M 7.6M 479M 2% /run
tmpfs 487M 0 487M 0% /sys/fs/cgroup
/dev/sda1 1014M 156M 859M 16% /boot
tmpfs 98M 0 98M 0% /run/user/0
/dev/drbd1 6.0G 33M 6.0G 1% /mydata3.6 写入文件并测试主备切换
# 进入挂载目录mydata下，随便创建一些文件
[root@node1 ~]# cd /mydata/
[root@node1 mydata]# touch {a,b,c,d,e,f}.txtx
[root@node1 mydata]# ll
total 0
-rw-r--r-- 1 root root 0 Jul 5 12:18 a.txtx
-rw-r--r-- 1 root root 0 Jul 5 12:18 b.txtx
-rw-r--r-- 1 root root 0 Jul 5 12:18 c.txtx
-rw-r--r-- 1 root root 0 Jul 5 12:18 d.txtx
-rw-r--r-- 1 root root 0 Jul 5 12:18 e.txtx
-rw-r--r-- 1 root root 0 Jul 5 12:18 f.txtx
# 尝试切换原先primary节点为secondary
[root@node1 ~]# umount /mydata/
[root@node1 ~]# drbdadm secondary r0
[root@node1 ~]# drbdadm status r0
r0 role:Secondary
disk:UpToDate
node2 role:Secondary
peer-disk:UpToDate
# 将node2的secondary切换为primary节点并挂载
[root@node2 ~]# mkdir /mydata
[root@node2 ~]# drbdadm primary r0
[root@node2 ~]# mount /dev/drbd1 /mydata/
[root@node2 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/centos-root 8.0G 1.5G 6.6G 19% /
devtmpfs 475M 0 475M 0% /dev
tmpfs 487M 0 487M 0% /dev/shm
tmpfs 487M 7.6M 479M 2% /run
tmpfs 487M 0 487M 0% /sys/fs/cgroup
/dev/sda1 1014M 156M 859M 16% /boot
tmpfs 98M 0 98M 0% /run/user/0
/dev/drbd1 6.0G 33M 6.0G 1% /mydata
[root@node2 ~]# cd /mydata/
[root@node2 mydata]# ll
total 0
-rw-r--r-- 1 root root 0 Jul 5 12:18 a.txtx
-rw-r--r-- 1 root root 0 Jul 5 12:18 b.txtx
-rw-r--r-- 1 root root 0 Jul 5 12:18 c.txtx
-rw-r--r-- 1 root root 0 Jul 5 12:18 d.txtx
-rw-r--r-- 1 root root 0 Jul 5 12:18 e.txtx
-rw-r--r-- 1 root root 0 Jul 5 12:18 f.txtx
[root@node2 mydata]# drbdadm status r0
r0 role:Primary
disk:UpToDate
node1 role:Secondary
peer-disk:UpToDate综上操作可发现node2节点成功切换成主节点，且之前node1中创建的数据已经同步到node2，此时在node2中新建文件，也会同步到node1节点完成网络raid1的功能