rsync+inotify实现数据的实时同步与备份

一、rsync与inotify的介绍

1、rsync

         与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。
随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了很多不足，首先，rsync同步数据时，需要扫描所有文件后进行比对，进行差量传输。如果文件数量达到了百万甚至千万量级，扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分，这是非常低效的方式。其次，rsync不能实时的去监测、同步数据，虽然它可以通过linux守护进程的方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据可能出现不一致，无法在应用故障时完全的恢复数据。基于以上原因，rsync+inotify组合出现了！

2、inotify

             Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。
在上面章节中，我们讲到，rsync可以实现触发式的文件同步，但是通过crontab守护进程方式进行触发，同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样刚好解决了同步数据的实时性问题。

二、相关参数

    rsync参数见http://90sec.blog.51cto.com/7404127/1543795

    inotify相关参数

                inotify定义了下列的接口参数，可以用来限制inotify消耗kernel memory的大小。由于这些参数都是内存参数，因此，可以根据应用需求，实时的调节其大小。下面分别做简单介绍。

    /proc/sys/fs/inotify/max_queued_evnets     

       表示调用inotify_init时分配给inotify instance中可排队的event的数目的最大值，超出这个值的事件被丢弃，但会触发IN_Q_OVERFLOW事件。

    /proc/sys/fs/inotify/max_user_instances

        表示每一个real user ID可创建的inotify instatnces的数量上限。

    /proc/sys/fs/inotify/max_user_watches

        表示每个inotify instatnces可监控的最大目录数量。如果监控的文件数目巨大，需要根据情况，适当增加此值的大小，例如：

echo 50000000 > /proc/sys/fs/inotify/max_user_watches

     inotifywait相关参数

        Inotifywait是一个监控等待事件，可以配合shell脚本使用它，下面介绍一下常用的一些参数：

             -m， 即--monitor，表示始终保持事件监听状态。

             -r， 即--recursive，表示递归查询目录。

             -q， 即--quiet，表示打印出监控事件。

             -e， 即--event，通过此参数可以指定要监控的事件，

                    常见的事件有modify、delete、create、attrib等。

                更详细的请参看man  inotifywait。

三、配置服务  

             

      由于inotify特性需要Linux内核的支持，在安装inotify-tools前要先确认Linux系统内核是否达到了2.6.13以上，如果Linux内核低于2.6.13版本，就需要重新编译内核加入inotify的支持，也可以用如下方法判断，内核是否支持inotify：

    [root@90sec src]# tar xf inotify-tools-3.14.tar.gz 

    [root@90sec src]# cd inotify-tools-3.14

    [root@90sec inotify-tools-3.14]# ./configure

    [root@90sec inotify-tools-3.14]# make && make install

    [root@90sec inotify-tools-3.14]# ll /usr/local/bin/inotify*

    -rwxr-xr-x. 1 root root 44279 Aug 11 02:28 /usr/local/bin/inotifywait

    -rwxr-xr-x. 1 root root 41369 Aug 11 02:28 /usr/local/bin/inotifywatch

inotify-tools安装完成后，会生成inotifywait和inotifywatch两个指令

inotifywait用于等待文件或文件集上的一个特定事件，它可以监控任何文件和目录设置，并且可以递归地监控整个目录树。

inotifywatch用于收集被监控的文件系统统计数据，包括每个inotify事件发生多少次等信息。

配置web1

       [root@90sec /]# yum -y install xinetd

        [root@90sec /]# vim /etc/xinetd.d/rsync

        [root@90sec /]# chkconfig rsync on

        

        [root@90sec ~]# mkdir -pv /www1/test

        mkdir: created directory `/www1'

        mkdir: created directory `/www1/test'

        [root@90sec ~]# vim /etc/rsyncd.conf

         [root@90sec /]# vim /etc/rsyncd.passwd

                [root@90sec /]# chmod 600 /etc/rsyncd.passwd 

                [root@90sec /]# service xinetd restart

配置web2

       [root@90sec /]# yum -y install xinetd

        [root@90sec /]# vim /etc/xinetd.d/rsync

        [root@90sec /]# chkconfig rsync on

       

        [root@90sec ~]# mkdir -pv /www2/test

        mkdir: created directory `/www2'

        mkdir: created directory `/www2/test'

        [root@90sec ~]# vim /etc/rsyncd.conf

                [root@90sec /]# vim /etc/rsyncd.passwd

                [root@90sec /]# chmod 600 /etc/rsyncd.passwd 

                [root@90sec /]# service xinetd restart

配置内容分发点

    内容分发点只需要设置 rsync 同步的密码即可

        [root@90sec /]# mkdir -pv /www/test

        [root@90sec etc]# vim /etc/rsyncd.passwd 

        [root@90sec etc]# chmod 600 /etc/rsyncd.passwd

    创建inotify_rsync.sh脚本

    [root@90sec test]# vim inotify_rsync.sh

    [root@90sec test]# chmod +x /www/test/inotify_rsync.sh 

    [root@90sec test]# ./inotify_rsync.sh &   #放入后台执行

    [1] 6504

    [root@90sec test]# jobs

    [1]+  Running                 ./inotify_rsync.sh &

   [root@90sec test]# echo "/www/test/inotify_rsync.sh &" >> /etc/rc.local#加入系统自启文件

测试