DRBD磁盘镜像技术

第一章:DRBD概念原理以及安装

 

    1.DRBD是由内核模块和相关脚本而构成,用以构建高可用的集群.其实现方式是通过网络来镜像整个设备(磁盘).它允许用户在远程机器上建立一个本地块设备的实时镜像,与心跳链接结合使用,也可看做一种网络RAID(比基于文件系统的同步高效)

 

    2.DRBD(实现块设备的同步)负责接收数据,把数据写到本地磁盘,然后发送到另一个主机.另一个主机将数据存到自己磁盘中.DRBD目前每次只允许一个节点进行写访问,(必须是primary状态才能对磁盘进行写操作),必须将另外一个磁盘设置secondry(两个节点状态:primary和secondry)

    3.DRBD一般会用在HA集群中,那么drbd和HA集群的关系;

    

    一个DRBD系统由两个以上的节点组成,有主备节点之分，drbd设备(将本地磁盘设备虚拟成drbd设备)。在主节点写入的数据通过drbd设备存贮到主节点的磁盘设备,同时,这个数据也会自动发送到备用节点的相应drbd设备,最后写入备用节点的磁盘设备。在备用节点上,drbd只是将数据从drbd设备写入到备用节点的磁盘设备中。

使用DRBD作为HA集群的一个共享存储设备，不需要任何硬件的投资，并且使用的是IP网络运行(iscsi网络存储)

4.DRBD内部实现原理图:

那么格式化是格式化drbd设备

用户将数据写到drbd，通过tcp/ip网络传输到远程主机的drbd(传输的是drbd块设备)

 

5.DRBD协议:

    A 异步复制协议，数据一旦写入本地磁盘并发送到网络就认为完成写操作；但是数据包在可能在队列中，这样一旦一个节点故障就会造成数据的丢失，因此节点的数据将不同步，一般用在地理位置分开的情况。

    B 内存同步(半同步)复制协议，一旦本地磁盘完成写入，且复制数据包到对等节点，就会认为主节点完成写操作；数据丢失可能发生在参加的两个节点同时故障的情况下，因为在传输中的数据可能不会被提交到磁盘

    C 同步复制协议，只有本地和远程磁盘都确认完成写操作，写操作才被认为完成；没有任何数据丢失，一般默认使用这个协议，但是I/O吞吐量收到网络带宽的限制。

 

DRBD设备进程三个:drbd_work主进程  drbd0_asender是primary上drbd0的数据发送过程  drbd0_receiver是secondary上drbd0的数据接收进程

 

6.DRBD的工作原理(drbd 同步底层块设备)

 

7.DRBD实现原理图:

 

9.DRBD的安装

http://www.drbd.org 官网下载(若要源码编译,可以解压后查看.spec文件直接用rpmbuild –bb *.spec  构建rpm包)    需要kernel-devel的支持哦

 

#./configure --enable-spec  --with-km    带有spec的编译和内核支持,会生成spec文件

 

1>准备工作

对两台drbd同步主机进行解析以及hostname设置

在/etc/hosts添加两台主机的解析

192.168.2.88 drbd2

192.168.2.99 drbd1

分别在两台主机上添加虚拟磁盘设备(最好一样大,不然多余就浪费,创建成lvm)

#fdisk -l

#fdisk -cu /dev/vdb 

#pvcreate /dev/vdb1 

#vgcreate drbdvg /dev/vdb1 

#lvcreate -L 1G -n drbdlv drbdvg

 

2>drbd下载安装

#tar zxf drbd-8.4.3.tar.gz   //解压后,发现目录有.spec.in文件,即可以打包成rpm包格式

#yum install rpm-build -y

#./configure --enable-spec --with-km     //在软件的以及目录编译(启用spec和增加kernel模块)

注意:缺少的包相应解决啊

#rpmbuild -bb drbd.spec 构建drbd包

#rpmbuild -bb drbd-km.spec 构建drbd的kernel模块(yum install kernel-devel)

#cd  /root/rpmbuild/RPMS/x86_64/      生成的rpm包位置

#yum localinstall *.rpm -y    本地drbd安装成功

#scp * 192.168.2.88:  直接将rpm包拷贝到备份主机上

!!(如果系统信息不一致,最好使用源码编译,会生成和系统内核匹配的drbd模块drbd-km会根据自己系统的相关信息编译出适合内核的模块)!!

 

安装成功后,/sbin目录下有drbdadm drbdmeta drbdsetup 命令以及drbd启动脚本

 

10.注意事项

1.mount drbd设备前，必须把设备设置为primary状态

2.两个节点不能同时为primary

3.处于secondary状态的服务器上不能进行写操作

4.主备服务器同步的两个分区大小最好相同,这样不至于浪费磁盘空间，drbd磁盘镜像相当于raid1

注意:drbd设备主机上的配置必须完全一致

 

 

第二章:DRBD配置以及使用:

 

1./etc/drbd.conf   主配置文件

真正的实际配置文件在/etc/drbd.d/ 两个文件gloab_comman.conf  

另外drbd的详细配置文件需要在*.res文件编辑,这个文件默认不存在

vim /etc/drbd.d/drbd.res        文件的配置必须注意(可能出现share没定义)

resource share {            定义资源的名称为share之后会用到

meta-disk internal; 源数据的存放方式

device /dev/drbd1;   共享出来的drbd块标识

syncer {

verify-alg sha1;               使用的验证方式和密码方式

rate 200M；

}

net { allow-two-primaries; } 可以两台主机同时挂载(不能使用写哦)

on drbd1{   定义drbd设备

disk /dev/drbdvg/drbdlv; 说明drbd设备/dev/drbd1使用的磁盘分区是/dev/sdb1

address 192.168.0.99:7789; 设置drbd的监听端口,用来和端口通信

}

on drbd2{

disk /dev/drbdvg/drbdlv;

address 192.168.0.88:7789;

}

}

需要将主备drbd进行解析哦

 

2.启动DRBD

 

 1>在两个节点执行启动

启动只前在两台主机分区上创建供drbd记录信息的源数据库

#drbdadm create-md share(资源名字) 或者drbdadm create-md all

 

 2>在两个节点启动服务

#/etc/init.d/drbd start 

 

 3>在任意节点查看状态信息

#cat /proc/drbd 

提示:cs 表示连接状态 ro:节点角色 ds:磁盘状态信息 ns:网络信息

提示：Dw:磁盘写信息  Dr:磁盘读信息

 

第一次启动drbd都为secondary状态,需要手工设置为primary

 

 4>设置主节点

#drbdsetup /dev/drbd1 primary  --force  第一次设置主节点(否则不能格式化)

或者#drbdadm –overwrite-data-of-peer primary all

#drbdadm primary share(all)    再次设置主机角色

#cat /proc/drbd  查看同步信息

 

5>格式化文件系统

#mkfs.ext4 /dev/drbd1    对primary状态节点进行格式化(格式化共享drbd1)

#mount /dev/drbd1 /mnt    格式化的是drbd块设备

#df  -H 查看挂载信息

 

3.DRBD主备节点的切换

1>停止drbd服务切换

关闭主节点服务,此时挂载的drbd分区自动在主节点卸载了

在备用节点设置主节点 #drbdadm primary share(all)

2>正常切换

先执行umount卸载分区

设置备节点#drbdadm secondary share(all)

将备用节点设置主节点: #drbdadm primary share(all)

备用节点执行monut操作(mount /dev/drbd1 /mnt)

 

注意:使用系统的版本不一致的时候,不能将生成的drbd*.rpm拷贝到另外一个节点上,因为不同版本的kernel版本不一致,如果使用一样的rpm安装可能出现不能识别到drbd module

因此,可以将drbd.-8.4tar.gz源码编译,在不同的系统中生成自己的源码包,这个会根据kernel来自定义rpm包。

 

作者在试验环境中主节点使用rhel6.3，用源码包编译drbd的rpm包.安装

备用节点rhel6.4使用源码包安装的时候提示module drbd not found .因为drbd-km包和系统不一致。重新用源码包编译适合自己kernel的drbd的rpm包。

 

附录:

DRBD性能优化:

1.网络环境:DRBD是基于块设备的同步,对网络的要求比较大,因此一般会将同步网络和提供服务的网络分开

2.用做DRBD分区磁盘的性能:磁盘性能必须好,例如可以考虑使用多块15kb的SAS盘作为RAID0或RAID10 以提供I/O性能

3.设置syncer参数设置,即rate  200M

 

总结:drbd设备目前只能用在两个硬件IO设备上(也就使真实提供硬件块存储的主机上才能使用共享)，并不是任意一个client安装好drbd软件就可以使用共享设备了。这应该是一个瓶颈。貌似可以给其他用吧？？

    其次,在格式化drbd设备时候,选择的是ext4格式,因此,永远只能在primary状态进行挂载并且读写数据,secondary状态不能进行任何操作，只是数据存储在远端，两块真实的块设备上。其中还有一个问题就是,应该存储方式类似raid1,如果一块盘坏了，数据会自动放在另外一块盘上。(运维人员只需用将新的磁盘安装上来创建.res文件上相应的设备就ok了)

 

    在ext4下也可以设置双主模式，但是这样会存在一个问题:两边可以同时查看,但是任意一方修改数据,对方不能接受。其实这个时候已经产生脑列问题了，当再次修改主备会发现彼此都认为对方是primary.当你重新恢复drbd服务，会发现自动保存第一个主机的内容。