Linux下inotify+rsync文件实时同步

• 
  使用背景

与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。
 随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了很多不足，首先，rsync同步数据时，需要扫描所有文件后进行比对，进行差量传输。如果文件数量达到了百万甚至千万量级，扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分，这是非常低效的方式。其次，rsync不能实时的去监测、同步数据，虽然它可以通过linux守护进程的方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据可能出现不一致，无法在应用故障时完全的恢复数据。基于以上原因，rsync+inotify组合出现了！

 

 

• 相关介绍

Inotify 是一个Linux 内核特性，它监控文件系统，并且及时向专门的应用程序发出相关的事件警告，比如删除、读、写和卸载操作等（必须有不低于2.6.13的内核版本）

rsync是类unix系统下的数据镜像备份工具——remote sync。一款快速增量备份工具Remote Sync，远程同步支持本地复制，或者与其他SSH、rsync主机同步

 

环境描述

配置环境：centos 6.5

Rsync版本：rsync-3.0.6

Inotify版本：inotify-tools-3.13

服务器端：192.168.1.3

客户端：192.168.1.4

 

• 安装与配置rsync

1、安装rsync服务端

yum install rsync xinetd

2、编辑配置文件，设置开机启动rsync

vi /etc/xinetd.d/rsync    #将disable后的参数改为no

3、创建rsyncd.conf配置文件

vi /etc/rsyncd.conf

use chroot=no  #默认为true，修改为no，增加对目录文件软连接的备份

max connections=4 #最大连接数位4

pid file=/var/run/rsyncd.pid   #pid文件的存放位置

log file=/var/log/rsyncd.log   #日志文件的位置

lock file=/var/run/rsync.lock  #支持max connections参数的锁文件

[roothome]#自定义名称

uid=root   #设置rsync运行权限为root

gid=root   #设置rsync运行权限为root

path=/var/roothome     #rsync服务端数据目录路径

comment=roothome   #模块名称与自定义名称相同

ignore errors=yes  ·# rsyncd在判断是否运行传输时的删除操作时忽略server上的IO错误，一般来说rsync在出现IO错误时将将跳过--delete操作，以防止因为暂时的资源不足或其它IO错误导致的严重问题

read only=no   #设定是否允许客户上载文件。如果为yes那么任何上载请求都会失败，如果为no并且服务器目录读写权限允许那么上载是允许的。默认值为yes

list=no#用户请求列出可使用的模块列表时，该模块是否被列出

auth users=root#指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块这里的用户和系统用户没有任何关系。如果"auth users"被设置，那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议。用户的名和密码以明文方式存放在"secrets file"选项指定的文件中。默认情况下无需密码就可以连接模块(也就是匿名方式)

secrets file=/etc/roothome.pass#指定一个包含定义用户名:密码对的文件。只有在"auth users"被定义时，该文件才有作用。文件每行包含一个username:passwd对。一般来说密码最好不要超过8个字符。没有默认的secures file名，需要限式指定一个(例如：/etc/rsyncd.passwd)。注意：该文件的权限一定要是600，否则客户端将不能连接服务器

 

 

4、创建用户认证文件

    vi /etc/rsync.pass

       root:1.q1.q

    5、设置文件权限

    chmod 600 /etc/rsyncd.conf #设置文件所有者读取、写入权限

chmod 600 /etc/roothome.pass  #设置文件所有者读取、写入权限

6、启动rsync

/etc/init.d/xinetd start  #启动

service xinetd stop   #停止

service xinetd restart #重新启动

 

 

1. 安装rsync客户端

yum install rsync xinetd 

1. 编辑配置文件，设置开机启动rsync

vi /etc/xinetd.d/rsync    #将disable后的参数改为no

1. 创建密码认证文件（客户端只需要存在密码）

Vi /etc/roothome.txt

1.q1.q

 

测试客户端是否可以向服务器上传数据

 

• 安装inotify-tools工具，实现rsync实时同步

uname –a #最小2.6.13内核

1. 安装inotify-tools

yum install make gcc gcc-c++  #安装编译工具

1. tar zxvf inotify-tools-3.13.tar.gz  #解压

cd inotify-tools-3.13#进入解压目录

./configure --prefix=/usr/local/inotify  #配置

make  #编译

make install #安装

1. 设置系统环境变量，添加软连接

echo "PATH=/usr/local/inotify/bin:$PATH" >>/etc/profile.d/inotify.sh

source /etc/profile.d/inotify.sh  #使设置立即生效

echo "/usr/local/inotify/lib" >/etc/ld.so.conf.d/inotify.conf

ln -s /usr/local/inotify/include  /usr/include/inotify

1. 修改inotify默认参数（inotify默认内核参数值太小）

修改参数：

sysctl -w fs.inotify.max_queued_events="99999999"

sysctl -w fs.inotify.max_user_watches="99999999"

sysctl -w fs.inotify.max_user_instances="65535"

vi /etc/sysctl.conf #添加以下代码

fs.inotify.max_queued_events=99999999   #inotify队列最大长度

fs.inotify.max_user_watches=99999999    #要同步的文件包含多少目录

fs.inotify.max_user_instances=65535    #每个用户创建inotify实例最大值