drbd高可用服务（实现数据同步）
基本介绍
drbd（distrbuted replicated block device）：分布式复制块设备
类似 rsync + inotify 的架构：inotify基于文件系统上层，当文件系统中有数据发生变化，就调用rsync服务，将文件系统中的文件同步到备库。
涉及对象
drbd 中的块设备可以是磁盘分区，lvm逻辑卷，或整块磁盘等。
原理
drbd软件工作位置是在文件系统层级以下，比文件系统更加靠近操作系统内核及IO栈。
基于网络的raid-1，当我们将数据写入本地磁盘系统时，数据还会被实时发送到网络中另一台主机中，以相同的形式记录在另一个磁盘系统中，使得本地（主节点）与远程主机（备节点）的数据保持实时数据同步。
如果本地系统出现故障，那么远程主机上还会保留有一份和主节点相同的数据备份可以继续使用。不会数据不会丢失。还会提升访问数据的用户访问体验（直接接管提供服务，降低宕机修复时间）。drbd服务的作用类似于磁盘阵形里的raid1功能，就相当于把网络中的两台服务器做成了类似磁盘阵列里的raid1一样。
Drbd工作原理图：
1.SERVICE 将数据写入==> FILE SYSTEM ==> BUFFER CACHE ==> DRBD
2.DRBD分两条路走，一条是通过磁盘驱动DISK DRIVER写入到磁盘
3.另一条通过tcp/ip协议，将数据通过网卡将数据发送到备节点...
两种工作模式
1）实时同步模式：
当数据写到本地磁盘和远端服务器磁盘都成功后才会返回成功写入。DRBD服务协议C级别就是这种模式，可以防止本地和远端数据丢失和不一致，此种模式是生产环境中最常用的模式。
2）异步同步模式：
当数据写入到本地服务器成功后就返回成功写入，不管远端服务器是否写入成功。
还可能是数据写入到本地服务器或远端服的buffer成功后，返回成功，就是DRBD服务协议的A，B级别
提示：在nfs网络文件系统的时候也有类似的参数和功能。例如：nfs服务参数sync和async，mount挂载参数也有sync和async。
DRBD的3种同步复制协议
协议A：异步复制协议。本地写成功后立即返回，数据放在发送BUFFER中，可能丢失。
协议B：内存同步（半同步）复制协议。本地写成功并将数据发送到对方后立即返回，如果双机掉电，数据可能丢失（mysql5.5以上支持）。
协议C：同步复制协议。本地和对方服务器磁盘都写成功确认后返回成功。如果单机掉电后单机磁盘损坏，数据都不会丢失。
工作中一般用协议C。选择协议将影响流量，从而影响网络延时。
DRBD的生产应用模式
单主模式及主备模式，为典型的高可用性集群方案。
复主模式：需要采用共享cluster文件系统，如gfs和ocfs2。用于需要从2个节点并发访问数据的场合，需要特别配置。
DRBD的企业应用场景
生产场景中会有很多基于高可用服务器对drbd的数据同步解决方案。
例如：heartbeat+drbd+nfs/mfs/gfs，heartbeat+drbd+mysql/oracle等。实际上drbd可以配合任意需要数据同步的所有服务的应用场景。
相关数据同步工具介绍
1) Rsync（sersync,inotify,lsyncd）
2) Scp
3) Nc
4) Nfs
5) Union双机同步
6) Csync2多机同步
7) 软件自身同步机制（mysql,oracle,mongdb,ttserver,redis...）
8) Drbd
补充：
Oracle dg分为基于物理block和逻辑block
逻辑：基于sql，类似mysql
物理：基于block块
从8i到10G都是这样的方式，特点是备节点不能提供服务，只能让备节点断开同步，以readony的方式打开，提价查询服务。
从11G开始，oracle就像mysql一样，主库可以写，从库可以读，11G为什么可以实现，是因为主要还是基于服务层来同步的。
而drbd因为是基于block块的，太底层了，主节点可以提供读写服务，而备节点的磁盘分区是处于非可见状态的。
Drbd服务部署
1. 环境准备
操作系统：centos5.4/centos6.4 64bit
| 操作系统 |
其他 |
| Centos5.4 |
适合drbd8.3 yum安装 |
| Centos6.4 |
适合drbd8.4 |
Drbd服务网上及IP资源配置
原则上：drbd服务网卡的配置和heartbeat服务一样，但是无需外部IP
| 名称 |
接口 |
IP |
用途 |
| master |
Eth0 |
192.168.56.10 |
外网管理IP，用于waqn数据转发 |
|
|
Eth2 |
|
|
|
|
Eth1 |
10.0.0.10 |
用于服务器间心跳以及数据同步（直连） |
| vip |
|
|
用于提供应用程序A挂载服务 |
| backup |
Eth0 |
192.168.56.20 |
外网管理IP，用于waqn数据转发 |
|
|
Eth2 |
|
|
|
|
Eth1 |
10.0.0.20 |
用于服务器间心跳以及数据同步（直连） |
| vip |
|
|
用于提供应用程序B挂载服务 |
配置主机名与hosts
sed -i ‘/HOSTNAME/d’ /etc/sysconfig/network
echo “HOSTNAME=data-1-1” >> /etc/sysconfig/network
基础准备：
/etc/init.d/iptables stop
setenforce 0
时间同步
2. 下载安装drbd并加载到内核
下载并安装epel包yum方式
方式一：
Wget http://mirrors.ustc.edu.cn/fedora/epel/6/x86_64/epel-release-6-8.noarch.rpm
Rpm -ivh epel-release-6-8.noarch.rpm
Rpm -qa|grep epel
# yum installl kernel-devel kernel-headers flex drbd84-utils komd-drbd84
方式二：
Wget http://oss.linbit.com/drbd/8.4/drbd-8.4.4.tar.gz
Tar -xf drbd-8.4.4.tar.gz
Cd drbd-8.4.4
./configure --prefix=/application/drbd8.4.4 --with-km --with-heartbeat --sysconfdir=/etc
# --with-km enable kernel module
# --with-heartbeat enable heartbeat intergration
# --sysconfdir config file directory
# ls -ld /usr/src/kernels/$(uname -r)'-'$(uname -m)/
make KDIR=/usr/src/kernels/$(uname -r)'-'$(uname -m)/ #指定内核源码路径
make install
lsmod |grep drbd
modprobe drbd
3. 配置心跳主机路由
Data-1-1主机：
route add -host 10.0.0.20 dev eth1
echo ‘/sbin/route add -host 10.0.0.20 dev eth1’ >> /etc/rc.local
route -n
Data-1-2主机：
Route add -host 10.0.0.10 dev eth1
echo ‘/sbin/route add -host 10.0.0.10 dev eth1’ >> /etc/rc.local
route -n
4. 做好磁盘分区，做数据同步
| 主节点(master) |
作用 |
备节点(slave) |
作用 |
| /dev/drbd0 |
drbd同步块设备 |
/dev/drbd0 |
drbd同步块设备 |
| /dev/sdc1 |
数据同步区 |
/dev/sdc1 |
数据同步区 |
| /dev/sdc2 |
meta data |
/dev/sdc2 |
meta data |
| 10.0.0.10 |
私网IP |
10.0.0.20 |
私网IP |
安装原则：
功能性的软件：用yum安装
高并发的软件：用编译安装
5.drbd加载到内核
lsmod |grep drbd
如果没有信息显示，则执行如下命令，加载到内核：
modprobe drbd
echo “modprobe drbd” >>/etc/rc.local
6.Drbd配置文件参数讲解及实际配置
ll /etc/drbd.conf
ll /etc/drbd.d/global_common.conf
[root@data-1-1 drbd-8.4.4]# cat /etc/drbd.conf
# You can find an example in /usr/share/doc/drbd.../drbd.conf.example
include "drbd.d/global_common.conf";
include "drbd.d/*.res";
由上可以看出，/etc/drbd.conf文件可能引用其他多个配置文件
配置文件模板：
global {
usage-count no;
}
common {
syncer {
rate 1000M;
verify-alg crc32c;
}
}
# primary for drbd1
resource data{
protocol C;
disk {
on-io-error detach;
}
# server 1
on data-1-1 {
device /dev/drbd0;
disk /dev/sdc1;
address 10.0.0.10:7788;
meta-disk /dev/sdc2[0];
}
#server 2
on data-1-2 {
device /dev/drbd0;
disk /dev/sdc1;
address 10.0.0.20:7788;
meta-disk /dev/sdc2[0];
}
}
drbd metadata分区初始化
drbdadm create-md data
# data为drbd.conf文件中的resource名，可以根据实际项目更改
启动drbd服务：
[root@data-1-2 ~]# drbdadm up data
/application/drbd8.4.4/var/run/drbd: No such file or directory
/application/drbd8.4.4/var/run/drbd: No such file or directory
如果报没有/application/drbd8.4.4/var/run/drbd目录，手动创建即可
mkdir -p /application/drbd8.4.4/var/run/drbd
drbdadm up all
相当于以下三个命令的组合：
drbdadm attach all
drbdadm syncer all
drbdadm connect all
查看drdb是否正常：
cat /proc/drbd
service drbd status
[root@data-1-2 ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.4.4 (api:1/proto:86-101)
GIT-hash: 74402fecf24da8e5438171ee8c19e28627e1c98a build by root@data-1-2, 2017-01-11 00:51:42
m:res cs ro ds p mounted fstype
0:data Connected Secondary/Secondary Inconsistent/Inconsistent C
这种状态，表时本地为从对端也为从，即不同步数据。
数据同步
1、如果为空硬盘，可以随意执行操作，不考虑数据。
2、如果两边数据不一样（要特别注意同步数据的方向，否则可能会造成数据损坏或丢失）
一个资源只能在一端执行同步数据到对端的命令
drbdadm -- --overwrite-data-of-peer primary data
当前节点作为主primary
解决脑裂问题
1、在从节点slave data-1-2上做如下操作：
drbdadm secondary data
drbdadm -- --discard-my-data connect data
2、在主节点master data-1-1上，通过cat /proc/drbd查看状态，如果不是WFConnection状态，需要手动连接：
drbdadm connect data
cat /proc/drbd查看两端状态
挂载数据目录，测试数据同步
启动drbd后，会按/etc/drbd.conf文件中的配置生成/dev/drbd0块设备
这里/dev/drbd0对应的物理磁盘是/dev/sdc1
主库：
[root@data-1-1 /]# mkdir /datadrbd
[root@data-1-1 /]# mount /dev/drbd0 /datadrbd/
[root@data-1-1 /]# cd /datadrbd/
[root@data-1-1 datadrbd]# touch `seq 20`
在主节点挂载/dev/drbd0到/datadrbd目录，然后创建了20个文件
然后再到备节点去查看（备节点的/dev/drbd0需要一直等待主节点的数据同步过来，所以是不可以挂载的，需要先停drbd服务，然后挂载物理分区到目录下，方可看到结果）
[root@data-1-2 ~]# cat /proc/drbd
[root@data-1-2 ~]# drbdadm down data
[root@data-1-2 ~]# mount /dev/sdc1 /datadrbd/
[root@data-1-2 ~]# ls /datadrbd/
1 10 11 12 13 14 15 16 17 18 19 2 20 3 4 5 6 7 8 9 lost+found
结果显示，数据都已经同步过来了，实验成功。
附：解决备节点磁盘空间变小的问题
问题呈现：
[root@data-1-1 datadrbd]# df -lh
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
29G 9.9G 18G 36% /
/dev/sda1 99M 13M 82M 14% /boot
tmpfs 502M 0 502M 0% /dev/shm
/dev/drbd0 365M 11M 336M 3% /datadrbd
[root@data-1-2 ~]# df -lh
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
29G 8.1G 20G 30% /
/dev/sda1 99M 13M 82M 14% /boot
tmpfs 502M 0 502M 0% /dev/shm
/dev/sdc1 365M 11M 336M 3% /datadrbd
然而data-1-2节点的/dev/sdc1磁盘当初分配的实际容量有768M（这个不能记错）的，现在只有365M，与主库的分区一样大了，要如何找回剩下的空间，且保证数据不丢失？
分析:
1）使用fdisk来分区，只是改变了磁盘头的mbr信息，而数据是不会动的
2）通过fsck来修复磁盘头来恢复data-1-2节点的剩余可用空间
修复操作过程：
[root@data-1-2 ~]# umount /datadrbd
#开始修复磁盘分区，执行fsck命令
[root@data-1-2 ~]# fsck /dev/sdc1
fsck 1.39 (29-May-2006)
e2fsck 1.39 (29-May-2006)
/dev/sdc1: clean, 31/96384 files, 22457/385528 blocks
#取消分区jouranal功能，使之变成ext2文件分区(原来的磁盘文件系统为ext4时需要执行，这里为ext3时好像不需要)
[root@node2 ~]# tune2fs -o ^has_journal /dev/sdc1
tune2fs 1.41.12 (17-May-2010)
Invalid mount option set: ^has_journal
#使用fdisk重建分区表,不会删除数据
[root@data-1-2 ~]# fdisk /dev/sdc
Command (m for help): p
Disk /dev/sdc: 1073 MB, 1073741824 bytes
255 heads, 63 sectors/track, 130 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot Start End Blocks Id System
/dev/sdc1 1 93 746991 83 Linux
/dev/sdc2 94 130 297202+ 83 Linux
Command (m for help): d
Partition number (1-4): 1
Command (m for help): p
Disk /dev/sdc: 1073 MB, 1073741824 bytes
255 heads, 63 sectors/track, 130 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot Start End Blocks Id System
/dev/sdc2 94 130 297202+ 83 Linux
Command (m for help): n
Command action
e extended
p primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-130, default 1):
Using default value 1
Last cylinder or +size or +sizeM or +sizeK (1-93, default 93):
Using default value 93
Command (m for help): p
Disk /dev/sdc: 1073 MB, 1073741824 bytes
255 heads, 63 sectors/track, 130 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot Start End Blocks Id System
/dev/sdc1 1 93 746991 83 Linux
/dev/sdc2 94 130 297202+ 83 Linux
Command (m for help): w
The partition table has been altered!
Calling ioctl() to re-read partition table.
Syncing disks.
#强制检查/dev/sdc1
[root@data-1-2 ~]# e2fsck -f /dev/sdc1
e2fsck 1.39 (29-May-2006)
Pass 1: Checking inodes, blocks, and sizes
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 4: Checking reference counts
Pass 5: Checking group summary information
/dev/sdc1: 31/96384 files (3.2% non-contiguous), 22457/385528 blocks
#调整/dev/sdc1分区到原始物理分区的大小
[root@data-1-2 ~]# resize2fs /dev/sdc1
resize2fs 1.39 (29-May-2006)
Resizing the filesystem on /dev/sdc1 to 746988 (1k) blocks.
The filesystem on /dev/sdc1 is now 746988 blocks long.#这里看到块设备被加长了
先把/dev/sdc1变成ext3分区(原来的磁盘文件系统为ext4时需要执行，这里为ext3时好像不需要)
[root@node2 ~]# tune2fs -j /dev/sdc1
tune2fs 1.41.12 (17-May-2010)
The filesystem already has a journal.
#在把/dev/sdc1变成ext4分区(原来的磁盘文件系统为ext4时需要执行，这里为ext3时好像不需要)
[root@node2 ~]# tune2fs -O extents,uninit_bg,dir_index /dev/sdc1
tune2fs 1.41.12 (17-May-2010)
#挂载/dev/sdc1到/datadrbd下面
[root@data-1-2 ~]# mount /dev/sdc1 /datadrbd/
[root@data-1-2 ~]# df -lh
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
29G 8.1G 20G 30% /
/dev/sda1 99M 13M 82M 14% /boot
tmpfs 502M 0 502M 0% /dev/shm
/dev/sdc1 707M 11M 667M 2% /datadrbd
[root@data-1-2 ~]# ll /datadrbd/
total 12
-rw-r--r-- 1 root root 0 Jan 12 01:13 1
-rw-r--r-- 1 root root 0 Jan 12 01:13 10
-rw-r--r-- 1 root root 0 Jan 12 01:13 11
-rw-r--r-- 1 root root 0 Jan 12 01:13 12
-rw-r--r-- 1 root root 0 Jan 12 01:13 13
-rw-r--r-- 1 root root 0 Jan 12 01:13 14
-rw-r--r-- 1 root root 0 Jan 12 01:13 15
-rw-r--r-- 1 root root 0 Jan 12 01:13 16
-rw-r--r-- 1 root root 0 Jan 12 01:13 17
-rw-r--r-- 1 root root 0 Jan 12 01:13 18
-rw-r--r-- 1 root root 0 Jan 12 01:13 19
-rw-r--r-- 1 root root 0 Jan 12 01:13 2
-rw-r--r-- 1 root root 0 Jan 12 01:13 20
-rw-r--r-- 1 root root 0 Jan 12 01:13 3
-rw-r--r-- 1 root root 0 Jan 12 01:13 4
-rw-r--r-- 1 root root 0 Jan 12 01:13 5
-rw-r--r-- 1 root root 0 Jan 12 01:13 6
-rw-r--r-- 1 root root 0 Jan 12 01:13 7
-rw-r--r-- 1 root root 0 Jan 12 01:13 8
-rw-r--r-- 1 root root 0 Jan 12 01:13 9
drwx------ 2 root root 12288 Jan 11 22:45 lost+found
#结果显示数据一切正常，没有丢失