一、基础知识:
1 简介:
Distributed Replicated Block Device(DRBD)是一个用软件实现的、无共享的、服务器之间镜像块设备内容的存储复制解决方案。
2 原理:
DRBD的核心功能通过Linux的内核实现,最接近系统的IO栈,但它不能神奇地添加上层的功能比如检测到EXT3文件系统的崩溃。
3 DRBD的工具:
3.1 drbdadm:高级管理工具,管理/etc/drbd.conf,向drbdsetup和drbdmeta发送指令;
3.2 drbdsetup:配置装载进kernel的DRBD模块,平时很少直接用;
3.3 drbdmeta:管理META数据结构,平时很少直接用;
4 DRBD的模式:
4.1 单主模式:典型的高可靠性集群方案。
4.2 复主模式:需要采用共享cluster文件系统,如GFS和OCFS2。用于需要从2个节点并发访问数据的场合,需要特别配置。
5 复制模式:3种模式:
5.1 协议A:异步复制协议。本地写成功后立即返回,数据放在发送buffer中,可能丢失。
5.2 协议B:内存同步(半同步)复制协议。本地写成功并将数据发送到对方后立即返回,如果双机掉电,数据可能丢失。
5.3 协议C:同步复制协议。本地和对方写成功确认后返回。如果双机掉电或磁盘同时损坏,则数据可能丢失。
一般用协议C。选择协议将影响流量,从而影响网络时延。
二、案例:
1 拓扑图:
2 案例说明:
通过heartbeat实现HA高可用性群集,通过DRBD实现存储复制来达到存储的高可用性,通过NFS实现网络文件系统共享;
3 配置步骤:
3.1.1(1) 配置director1群集服务器:
配置director1的网卡地址:
外出接口网卡:
心跳网卡:
重启网络服务:
同步时钟:
# hwclock -s
配置director1的主机名:
# vim /etc/sysconfig/network
# hostname dir1.abc.com //配置后需要注销一次;
配置director1的本地DNS解析:
# vim /etc/hosts
将heartbeat的安装包使用ftp导入director1:
挂载光盘:
# mkdir /mnt/cdrom
# mount /dev/cdrom /mnt/cdrom
使用yum安装heartbeat相应的软件包:
# yum localinstall -y heartbeat-2.1.4-9.el5.i386.rpm heartbeat-pils-2.1.4-10.el5.i386.rpm heartbeat-stonith-2.1.4-10.el5.i386.rpm libnet-1.1.4-3.el5.i386.rpm perl-MailTools-1.77-1.el5.noarch.rpm --nogpgcheck
拷贝heartheat的配置文件到相应的位置:
# cd /usr/share/doc/heartbeat-2.1.4/
# cp ha.cf /etc/ha.d/
# cp haresources /etc/ha.d/
# cp authkeys /etc/ha.d/
编辑心跳探测配置文件ha.cf:
# cd /etc/ha.d/
# vim ha.cf
//定义心跳网卡;
//声明群集的节点;
配置验证钥匙(为了实现双方身份验证):
# vim authkeys
改变authkeys的权限:
# chmod 600 authkeys
3.1.1(2) 配置director2群集服务器:
配置director2的网卡地址:
外出接口网卡:
心跳网卡:
重启网络服务:
同步时钟:
# hwclock -s
配置director2的主机名:
# vim /etc/sysconfig/network
# hostname dir2.abc.com //配置后需要注销一次;
配置director2的本地DNS解析:
# vim /etc/hosts
将heartbeat的安装包使用ftp导入director1:
挂载光盘:
# mkdir /mnt/cdrom
# mount /dev/cdrom /mnt/cdrom
使用yum安装heartbeat相应的软件包:
# yum localinstall -y heartbeat-2.1.4-9.el5.i386.rpm heartbeat-pils-2.1.4-10.el5.i386.rpm heartbeat-stonith-2.1.4-10.el5.i386.rpm libnet-1.1.4-3.el5.i386.rpm perl-MailTools-1.77-1.el5.noarch.rpm --nogpgcheck
拷贝heartheat的配置文件到相应的位置:
# cd /usr/share/doc/heartbeat-2.1.4/
# cp ha.cf /etc/ha.d/
# cp haresources /etc/ha.d/
# cp authkeys /etc/ha.d/
编辑心跳探测配置文件ha.cf:
# cd /etc/ha.d/
# vim ha.cf
//定义心跳网卡;
//声明群集的节点;
配置验证钥匙(为了实现双方身份验证):
# vim authkeys
改变authkeys的权限:
# chmod 600 authkeys
3.2.1(1) 在dir1.abc.com主机中创建一个NFS共性分区:
从sda硬盘中划分一个分区:
# fdisk /dev/sda
创建一个扩展分区:
创建一个扩展分区:
查看分区表:
保存并退出:
通过内核从新读取分区表:
# partprobe /dev/sda
3.2.1(2) 在dir2.abc.com主机中创建一个NFS共性分区:
从sda硬盘中划分一个分区:
# fdisk /dev/sda
创建一个扩展分区:
创建一个扩展分区:
查看分区表:
保存并退出:
通过内核从新读取分区表:
# partprobe /dev/sda
3.2.2(1) 在dir1.abc.com中安装DRBD相关软件包:
导入DRBD相应的安装包:
安装drbd服务:
# rpm -ivh drbd83-8.3.8-1.el5.centos.i386.rpm
安装drbd的内核模块:
# rpm -ivh kmod-drbd83-8.3.8-1.el5.centos.i686.rpm
3.2.2(2) 在dir2.abc.com中安装DRBD相关软件包:
导入DRBD相应的安装包:
安装drbd服务:
# rpm -ivh drbd83-8.3.8-1.el5.centos.i386.rpm
安装drbd的内核模块:
# rpm -ivh kmod-drbd83-8.3.8-1.el5.centos.i686.rpm
3.2.3(1) 在dir1.abc.com编辑drbd文档:
编辑drbd主配置文件:
# vim /etc/drbd.conf
读取样例文件内容:底行模式
编辑通用资源:
# vim /etc/drbd.d/global_common.conf
编辑详细资源:
# vim /etc/drbd.d/web.res
初始化drbd:
# drbdadm create-md web
3.2.3(2) 在dir2.abc.com编辑drbd文档:
编辑drbd主配置文件:
# vim /etc/drbd.conf
读取样例文件内容:底行模式
编辑通用资源:
# vim /etc/drbd.d/global_common.conf
编辑详细资源:
# vim /etc/drbd.d/web.res
初始化drbd:
# drbdadm create-md web
3.2.4(1) 启动dir1.abc.com的DRBD服务:
# service drbd start
3.2.4(1) 启动dir2.abc.com的DRBD服务:
# service drbd start
3.2.5(1) 查看dir1.abc.com的设备状态:
# drbd-overview
3.2.5(2) 查看dir2.abc.com的设备状态:
# drbd-overview
3.2.6 将dir1.abc.com的设备调整为主设备:
# drbdadm -- --overwrite-data-of-peer primary web
3.2.7 格式化/dev/drbd0:
# mkfs -t ext3 -L drbdweb /dev/drbd0
3.2.8(1) 在dir1.abc.com上对/dev/drbd0进行挂载:
创建挂载点:
# mkdir /public
挂载:
# mount /dev/drbd0 /public/
3.2.8(2) 在dir1.abc.com上对/dev/drbd0进行挂载:
创建挂载点:
# mkdir /public
3.2.9(1) 查看dir1.abc.com的drbd当前状态:
3.2.9(2) 查看dir2.abc.com的drbd当前状态
3.3.1(1) 配置dir1.abc.com的NFS server:
NFS服务是默认安装的,使用时直接启动即可;
# service nfs start
# service portmap start
编写共享清单:
# vim /etc/exports
导出共享清单:
# exportfs -rv
exporting 192.168.10.0/24:/public
-r 导出;
-v 详细信息;
修改nfs启动脚本:
# vim /etc/init.d/nfs
3.3.1(2) 配置dir2.abc.com的NFS server:
NFS服务是默认安装的,使用时直接启动即可;
# service nfs start
# service portmap start
编写共享清单:
# vim /etc/exports
导出共享清单:
# exportfs -rv
exporting 192.168.10.0/24:/public
-r 导出;
-v 详细信息;
修改nfs启动脚本:
# vim /etc/init.d/nfs
3.4.1(1) 在dir1.abc.com节点上heartbeat资源配置:
# vim /etc/ha.d/haresources
创建nfs服务的资源控制文件:
# vim /etc/ha.d/resource.d/killnfsd
改变nfs服务的资源控制文件的权限:
# chmod 755 /etc/ha.d/resource.d/killnfsd
3.4.1(2) 在dir2.abc.com节点上heartbeat资源配置:
# vim /etc/ha.d/haresources
创建nfs服务的资源控制文件:
# vim /etc/ha.d/resource.d/killnfsd
改变nfs服务的资源控制文件的权限:
# chmod 755 /etc/ha.d/resource.d/killnfsd
3.4.2(1) 启动dir1.abc.com节点的heartbeat的服务:
# service heartbeat start
3.4.2(2) 启动dir2.abc.com节点的heartbeat的服务:
# service heartbeat start
3.4.3 查看heartbeat两节点的状态:
4 测试:
4.1 开启一个客户端:
配置一个临时地址:
# ifconfig eth0 192.168.10.20
创建一个挂载点:
# mkdir /mnt/nfs
# mount 192.168.10.10:/public /mnt/nfs
查看挂载的状态:
4.2 当heartbeat正常运行时:
查看NFS网络文件系统:
4.3 在dir1.abc.com中将heartbeat服务关闭:
# service heartbeat stop
此时NFS网络文件系统仍然可以使用: