day36-sersync实现实时备份

在网站集群架构中,数据永远是网站最重要的,一旦数据造成丢失,将会给企业造成巨大损失,因此,企业网站和应用需要有完善的数据备份方案确保数据安全。在真实企业中,数据备份方案通常有以下几种情况:

• 利用定时方式,实现周期备份重要数据信息。需要周期性备份的数据可分为两类:一是程序员发布的程序代码以及运维人员对服务器等的配置变更文件,一般会使用定时任务执行脚本对该类文件进行备份,然后再配合rsync工具推送到远端服务器备份;二是对于数据库等的数据会用定时执行脚本(通过数据库自带(或第三方)的备份工具定时备份成文件)备份,然后再配合rsync工具推送到远端服务器备份

• 利用实时复制方式,实现实时备份重要数据信息。
  实时复制是企业数据备份最重要的方式,主要用于用户提交的数据的备份,对于用户提交到服务器上的普通文件(图片、压缩包、视频、文档等) ,可采inotify/sersynctrsync实时备份方式：对于数据文件还有较1杂的分布式存储工具自身可以实现将数据同时备份成多份,例如: FastDFS, klusterFS等;对于提交到数据库中的数据,可使用数据库的主从复制(例如: MySQL,Oracle)方式备份,这是软件自带的实时复制备份方式。有的企业会采用更多思路实现数据同时变为多份,例如:程序业务逻辑在数据提交时,同时提交到两个用务器。

  
  
  

  image.png

实时复制细节实现说明

• 实时复制软件会监控磁盘文件系统的变化,比如:指定一个/data目录,实时复制软件服务进程会实时监控这个/data目录中数据的变化,即文件系统block与inode信息的变化。
• 一旦/data目录文件发生变化,就会执行rsync命令,将变化的数据信息推送到备份服务器相应的备份,目录中,从而完成数据的实时备份。

---

提示:根据实时复制原理描述,可发现rsync备份服务器是需要先行搭建的：搭建完成rsync备份服务器后,在进行实时复制软件服务的部署。

---

软件服务	依赖程序	部署难点	说明
inotify-tools	rsync守护进程服务	复制脚本编写	监控目录数据变化，实时数据复制
sersync	rsync守护进程服务	配置文件编写	监控目录数据变化，实时数据复制

inotify机制简介
Inotify是一种异步的件系统事件监控机制, Linux内核从2.6.13起,加入了Inotify支持,通过Inotify可以监控文件系统中添加、删除,修改、移动等各种事件,利用这个内核接口,第三方软件就可以监控文件系统下·文件的各种变化情况,而inotify-tools正是实施这样监控的软件。实际上inotify-tools是一个监控指定目录数据实时变化的软件程序。
Inotify程序原理是一种事件驱动机制,它为应用程序监控文件系统事件提供了实时响应事件的机制,可以做到对事件处理的实时响应。
inotify的实现有几款软件: inotify-tools, sersync.Irsyncd.

inotify机制优点
监控文件系统事件变化，通过复制工具实现实时数据复制
支持多线程实时复制
inotify机制缺点
实则并发如果大于200个文件（10k-100k），复制会有延迟

可以用来限制通过inotify接口消耗内核内存的数量;更详细信息参见man手册7级别inotify说明。上述三个文件的说明如下:
max user-watches: 设置inotifywait或inotifywatch命令可以监视的文件数量(单进程)
max user instances: 设置每个用户可以运行的inotifywait或inotifywatch命令的进程数
max queuedevents: 设置inotify实例事件(event)队列可容纳的事件数量

image.png

[root@nfs01 /]# rpm -ql inotify-tools
/usr/bin/inotifywait
/usr/bin/inotifywatch

image.png

在inotitfy-tools软件部署完毕后,主要应用两个命令实现数据信息的监控,一个利用inotifywait命令实现对数据变化事件的监控,另一个利用inotifywatch命令实现对数据事件信息统计。这两个命令是能够应用好 inotify-tools软件的关键,下面对这两个软件说明如下:

• inotifywait:在被监控的目录等待特定文件系统事件(open, close, delete等)发生,执行后处于阻塞状态,适合在Shell脚本中使用。
• inotifywatch:收集被监控的文件系统使用的统计数据,指文件系统事件发生的次数统计。

命令参数	参数说明
-m|--monitor	始终保持事件监听状态(重要参数)
-d|--daemon	类似于-m参数,只是将命令运行在后台记录触发的事件信息 在指定文件中,利用--outfile参数定义程序日志使用--syslog参数
-r	递归监控目录数据信息变化(重要参数)
-o|--outfile	打印事件到文件中,相当于标准正确输出
-sl--syslog	发送错误到syslog相当于标准错误输出。
-q|--quiet	输出信息少(只打印事件信息)
--excludei	排除文件或目录时,不区分大小写
--timefmt	指定时间输出的格式
--format	打印使用指定的输出类似格式字符串;即实际监控输出的内容
-e	指定监听指定的事件,如果省略,表示所有事件都进行监听。(重要参数)

事件名称	事件说明
access	文件或目录内容被读取
modify	文件或目录内容被写入
attrib	文件或目录属性改变
close_write	文件或目录关闭,在写入模式打开之后关闭的。(重要参数)
close_nowrite	文件或目录关闭,在只读模式打开之后关闭的
close	文件或目录关闭,不管读或是写模式
open	文件或目录被打开
moved_to	文件或目录被移动到监控的目录中
moved_from	文件或目录从监控的目录中被移除
move	文件或目录不管移动到或是移动出监控目录都触发事件
create	文件或目录创建在监控的目录中(重要参数)
delete	文件或目录被删除在监控的目录中(重要参数)
delete_self	文件或目录被删除
umount	文件系统包含的文件或目录不能卸载

使用下列脚本文件

#!/bin/sh
cmd="/usr/bin/inotifywait"
$cmd -mrq --format '%w%f' -e close_write,delete /data|\
while read line
do
 [ ! -e "$line" ] && cd /data/  &&\
 rsync -az --delete ./ [email protected]::backup && continue
 rsync -az --delete $line [email protected]::backup
done

相比上面两个项目, sersync项目的优点是：

• 使用c++编写,对Linux系统文件产生的临时文件和重复的文件操作会进行过滤(后面会提到),在结合rsync复制的时候,会减少运行时消耗的本地及网络资源。因此速度更快。
• 相比较上面两个项目, sersync配置起来很简单:
  在http://code.google.com/p/sersyne/downloads /list处下载源码(分为32位版本,与64位版本),其中bin目录下是已经编译好的二进制文件,配合bin目录下的xml文件直接使用即可。
• 使用多线程进行复制(即可以并发复制多个不同文件),尤其在复制较大文件时,能够保证多个服务器实时保持复制状态。
• sersync自带出错处理机制,通过失败队列对出错的文件重新复制,如果仍旧失败,则每若干个小时对复制失败的文件再重新复制。
• sersync自带crontab功能,只需在xml配置文件中开启,即可按预先的配置,隔一段时间整体复制一次。
• sersync自带socket与http的协议扩展,可以满足有特殊需求的公司二次开发。