DRBD编译安装配置
一、简介
DRBD的全称为：Distributed ReplicatedBlock Device(DRBD)分布式块设备复制，DRBD 是由内核模块和相关脚本而构成，用以构建高可用性的集群。其实现方式是通过网络来镜像整个设备。它允许用户在远程机器上建立一个本地块设备的实时镜像。与心跳连接结合使用，也可以把它看作是一种网络RAID。
DRBD是一个用软件实现的、无共享的、服务器之间镜像块设备内容的存储复制解决方案。 DRBD Logo数据镜像：实时、透明、同步（所有服务器都成功后返回）、异步（本地服务器成功后返回）。DBRD的核心功能通过Linux的内核实现，最接近系统的IO栈，但它不能神奇地添加上层的功能比如检测到EXT文件系统的崩溃。DBRD的位置处于文件系统以下，比文件系统更加靠近操作系统内核及IO栈。
二、工作模式及协议
①工作模式
单主模式:典型的高可靠性集群方案。DRBD负责接收数据，把数据写到本地磁盘，然后发送给另一个主机，另一个主机再将数据存到自己的磁盘中。
复主模式:需要采用共享cluster文件系统，如GFS和OCFS2。用于需要从2个节点并发访问数据的场合，需要特别配置。
②复制协议
协议A:异步复制协议。本地写成功后立即返回，数据放在发送buffer中，可能丢失。
协议B:内存同步(半同步)复制协议。本地写成功并将数据发送到对方后立即返回，如果双机掉电，数据可能丢失。
协议C:同步复制协议。本地和对方写成功确认后返回。如果双机掉电或磁盘同时损坏，则数据可能丢失。
一般用协议C。选择协议将影响流量，从而影响网络时延。
三、安装依赖并编译drbd
①安装相关程序
|
1
2
3
4
5
6
|
# yum -y install gcc make automake autoconf kernel-devel kernel-headers flex libxslt
libxslt-devel asciidoc
# wget http://oss.linbit.com/drbd/9.0/drbd-9.0.0.tar.gz
# wget http://oss.linbit.com/drbd/drbd-utils-8.9.4.tar.gz
# getenforce 0
# systemctl stop firewalld
|
注:安装kernel-devel一定要和uname -r看到的内核版本一致.
②编译drbd-utils
|
1
2
3
4
5
6
7
|
# tar -zxvf drbd-utils-8.9.4.tar.gz
# cd drbd-utils-8.9.4
# ./autogen.sh
# ./configure --prefix=/usr/ --localstatedir=/var --sysconfdir=/etc
# make KDIR=/usr/src/kernels/3.10.0-229.14.1.el7.x86_64
# make install
# cp drbd-utils-8.9.4/scripts/drbd /etc/init.d/ ##复制启动脚本
|
③编译drbd
|
1
2
3
4
5
|
# tar -zxvf drbd-9.0.0.tar.gz
# cd drbd-9.0.0
# make KDIR=/usr/src/kernels/3.10.0-229.14.1.el7.x86_64
# make install
# make -C drbd install
|
④安装drbd模块
|
1
2
3
4
5
6
7
8
9
10
11
12
|
# cd drbd-9.0.0/drbd
# cp drbd.ko /lib/modules/3.10.0-229.el7.x86_64/kernel/lib/
# cp drbd_transport_tcp.ko /lib/modules/3.10.0-229.el7.x86_64/kernel/lib/
# depmod ##更新内核包关联文件
# modprobe drbd ##安装内核模块
# modprobe drbd_transport_tcp
# lsmod |grep drbd ##查看模块是否加载成功
drbd 463948 0
libcrc32c 12644 2 xfs,drbd
# lsmod|grep drbd_transport_tcp
drbd_transport_tcp 17731 0
drbd 463948 2 drbd_transport_tcp
|
⑤查看drbd版本及路径
|
1
2
3
4
5
6
|
# cat /proc/drbd ##查看版本信息
version: 9.0.0 (api:2/proto:86-110)
GIT-hash: e0e3bc833053a0ed6b4b593b32e40223a9373fb7 build by root@node1, 2015-10-29 19:16:18
Transports (api:8): tcp (1.0.0)
# whereis drbd ##查看drbd安装路径
drbd: /usr/lib/drbd /etc/drbd.conf /etc/drbd.d /usr/share/man/man8/drbd.8
|
四、添加新磁盘并分区
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
|
# fdisk -l
# fdisk /dev/sdb
欢迎使用 fdisk (util-linux 2.23.2)。
更改将停留在内存中，直到您决定将更改写入磁盘。
使用写入命令前请三思。
Device does not contain a recognized partition table
使用磁盘标识符 0xd9a29d5a 创建新的 DOS 磁盘标签。
命令(输入 m 获取帮助)：n
Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended
Select (default p):
Using default response p
分区号 (1-4，默认 1)：
起始 扇区 (2048-2097151，默认为 2048)：
将使用默认值 2048
Last 扇区, +扇区 or +size{K,M,G} (2048-2097151，默认为 2097151)：+300M
分区 1 已设置为 Linux 类型，大小设为 300 MiB
命令(输入 m 获取帮助)：w
The partition table has been altered!
Calling ioctl() to re-read partition table.
正在同步磁盘。
# fdisk -l
|
五、配置drbd
①主配置文件drbd.conf
|
1
2
3
4
|
# cat /etc/drbd.conf ##查看drbd的主配置文件
# You can find an example in /usr/share/doc/drbd.../drbd.conf.example
include "drbd.d/global_common.conf";
include "drbd.d/*.res";
|
②配置global_common.conf
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
# cat /etc/drbd.d/global_common.conf|grep -v "#"
global {
usage-count no; ##是否参加drbd的使用者统计，默认此选项为YES
}
common {
handlers {
}
startup {
}
options {
}
disk {
}
net {
}
}
|
③新建资源配置文件:
a.定义资源文件
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
|
# vi /etc/drbd.d/drbd.res ##新建资源配置文件为drbd.res
resource r1 { ##定义资源组名称为r1
net {
cram-hmac-alg sha1; ##使用sha1加密
shared-secret "123456"; ##生成加密密钥
}
volume 1 { ##定义卷组
device /dev/drbd1; ##逻辑设备路径(建立块设备)
disk /dev/sdb1; ##物理设备路径(用于复制的分区)
meta-disk internal; ##meta data信息存放的方式，该处为内部存储，即和真实数据放在一起存储
}
on node1 { ##on开头，后面是主机名称(需与uname -n相同)
node-id 0;
address 192.168.10.132:7000; ##设置drbd监听地址和端口
}
on node2 {
node-id 1;
address 192.168.10.133:7000;
}
connection {
host node1 port 7000;
host node2 port 7000;
net {
protocol C; ##使用drbd的第三种同步协议，表示收到对方主机写入确认后，则认为写入完成
}
}
}
|
b.配置resource
|
1
2
3
4
5
6
7
|
# dd if=/dev/zero of=/dev/sdb1 bs=1M count=100 ##用指定大小的块拷贝一个文件
# drbdadm -c /etc/drbd.conf create-md all ##创建设备元数据
initializing activity log
NOT initializing bitmap
Writing meta data...
New drbd meta data block successfully created.
success
|
|
1
2
3
4
5
6
7
8
9
10
|
# drbdadm create-md r1 ##创建r1设备元(注:使用上命令，则该命令非必须)
You want me to create a v09 style flexible-size internal meta data block.
There appears to be a v09 flexible-size internal meta data block
already in place on /dev/sdb1 at byte offset 314568704
Do you really want to overwrite the existing meta-data?
[need to type 'yes' to confirm] yes
initializing activity log
NOT initializing bitmap
Writing meta data...
New drbd meta data block successfully created.
|
|
1
2
3
|
# drbdadm up r1 ##启用该资源
Device '1' is configured!
Command 'drbdmeta 1 v09 /dev/sdb1 internal apply-al' terminated with exit code 20
|
|
1
2
|
# drbd-overview ##查看状态
1:r1/0 Connected(1*) Secondary(1*) Inconsistent(1*)
|
六、drbd同步测试
①配置primary node
设置node1为primary node:
|
1
2
3
|
# drbdadm primary r1
# drbd-overview
1:r1/1 Connected(2*) Primar/Second UpToDa/UpToDa
|
node2状态:
|
1
2
|
# drbd-overview
1:r1/1 Connected(2*) Second/Primar UpToDa/UpToDa
|
格式化并挂载(node1):
|
1
2
3
4
5
|
# mkdir /drbd
# mkfs.ext4 /dev/drbd1 ##格式化/dev/drbd1
# mount /dev/drbd1 /drbd ##挂载
# drbd-overview ##查看状态
1:r1/1 Connected(2*) Primar/Second UpToDa/UpToDa /drbd ext4 283M 2.1M 262M 1%
|
②进行同步测试
node1:
在node1下的挂载点/drbd写入一些数据
|
1
2
3
4
|
# umount /dev/drbd1 ##卸载/dev/drbd1
# drbdadm secondary r1 ##将主节点降级为备节点
# drbd-overview
1:r1/1 Connected(2*) Secondary(2*) UpToDa/UpToDa
|
node2:
|
1
2
3
4
|
# mount /dev/drbd1 /drbd ##挂载设备
# drbdadm primary r1 ##将node2升级为主节点
# drbd-overview
1:r1/1 Connected(2*) Primar/Second UpToDa/UpToDa /drbd ext4 283M 3.2M 261M 2%
|
已实现同步！
附:
|
1
2
|
# drbdadm role r1 ##查看节点状态
Secondary
|
|
1
|
# drbdadm dstate r1 ##查看硬盘状态
|
本地和对等节点的硬盘可能为下列状态之一:
diskless(无盘):本地没有块设备分配给DRBD使用，表示无可用设备，或是使用drbdadm命令手工分离;
或是底层的I/O错误导致自动分离。
attaching:读取无数据时的瞬间状态。
failed(失败):本地块设备报告I/O错误的下一个状态，其下一个状态为diskless无盘。
negotiating:在已连接的DRBD设置进行attach读取无数据前的瞬间状态。
inconsistent:数据不一致,在两个节点上(初始的完全同步前)这种状态出现后立即创建一个新的资源。
outdated:数据资源一致，但已过时。
dunknown:当对等节点网络连接不可用时会出现该状态
consistent:一个没有连接的节点数据一致，当建立连接时，它决定数据是uptodate或outdated
uptodate:一致的最新的数据状态，为正常状态