利用inotify+rsync实现linux文件批量同步

批量同步、批量更新，这应该是做运维的朋友们经常做的工作，rsync是linux下一款非常强大的同步工具，采用差异同步的方法，只上传文件/文件夹的不同部分，同时可以对上传部分先进行压缩，所以rsync的传输效率是很高的但rsync也有缺点，最大的问题就是每次执行rsync命令都会遍历目标目录，当文件不多时，这没什么问题，一旦文件数到了一定规模，那么每次遍历都会消耗很多资源，如果只对经常改动的目录进行同步，也可以忽略这个问题，如果每次改动的目录多较大，那么就要用到inotify了，Inotify是一种强大的、细粒度的、异步的文件系统事件监控机制，Linux内核从2.6.13起，加入了对Inotify的支持，通过Inotify可以监控文件系统中的添加、删除、修改、移动等各种事件，但inotify只提供了C语言接口，不方便调用，所以我们需要先安装inotify-tools

实验环境：ip 192.168.0.13(主svn)  192.168.0.14(备份svn)   系统centos5.4 32位

试验目的：为了使内部的svn服务器更新的数据能及时同步到备份的服务器上采用 rsync+inotify

之前采用的是rsync 需要早crontab 里定义个时间，去触发同步，这样一旦服务器宕机，发生故障，备份服务器没来的及触发同步，会造成一些数据丢失，采用 rsync+inotify 之后，只要数据增加，删除，修改都会去同步

内核版本

[root@svn ldn]# uname -r  

2.6.18-164.el5

1、检查rsync是否安装

rpm -qa|grep rsync

在14上操作

如果没有发装，执以下命令进行安装

yum -y install rsync

2、定义rsync配置文件/etc/rsyncd.conf

uid = root

gid = root

use chroot = no

max connections = 100

timeout = 600

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsyncd.lock

log file = /var/log/rsyncd.log

[web1]

path = /home/svnadmin/

ignore errors

read only = no

list = no

hosts allow = 192.168.0.0/255.255.255.0

auth users = root

secrets file = /etc/www1.pwd

rsyncd.conf配置文件详解

uid = nobody      //运行RSYNC守护进程的用户

gid = nobody      //运行RSYNC守护进程的组

use chroot = 0    //不使用chroot

max connections = 0   // 最大连接数,0为不限制

port = 873  //默认端口873

下面这些文件是安装完RSYNC服务后自动生成的文件

pid file = /var/run/rsyncd.pid    //pid文件的存放位置

lock file = /var/run/rsync.lock   //锁文件的存放位置.指定支持max connections参数的锁文件,默认值是/var/run/rsyncd.lock.

log file = /var/log/rsyncd.log    //日志记录文件的存放位置

Timeout = 300

通过该选项可以覆盖客户指定的IP超时时间.通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端.超时单位为秒钟,0表示没有超时定义,这也是默认值.对于匿名rsync服务器来说,一个理想的数字是600.

Log format = %t %a %m %f %b

通过该选项用户在使用transfer logging可以自己定制日志文件的字段.其格式是一个包含格式定义符的字符串,可以使用的格式定义符如下所示：

%h 远程主机名

%a 远程IP地址

%l 文件长度字符数

%p 该次rsync会话的进程id

%o 操作类型：" send" 或" recv"

%f 文件名

%P 模块路径

%m 模块名

%t 当前时间

%u 认证的用户名(匿名时是null)

%b 实际传输的字节数

%c 当发送文件时,该字段记录该文件的校验码

默认log格式为：" %o %h [%a] %m (%u) %f %l" ,一般来说,在每行的头上会添加" %t [%p] " .在源代码中同时发布有一个叫rsyncstats的perl脚本程序来统计这种格式的日志文件.

#transfer logging = yes

使rsync服务器使用ftp格式的文件来记录下载和上载操作在自己单独的日志中.

syslog facility = local3

指定rsync发送日志消息给syslog时的消息级别,常见的消息级别是：uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7.默认值是daemon.

模块参数

[web1]   //这里是认证的模块名,在client端需要指定

path = /data/www1/  //需要做镜像的目录,不可缺少！

comment = backup web  //这个模块的注释信息

ignore errors    //可以忽略一些无关的IO错误

read only = yes  //该选项设定是否允许客户上载文件.如果为true那么任何上载请求都会失败,如果为false并且服务器目录读写权限允许那么上载是允许的.默认值为true.

list = no        //不允许列文件

auth users = bak    //认证的用户名,如果没有这行则表明是匿名,此用户与系统无关

该选项指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块.这里的用户和系统用户没有任何关系.如果" auth users" 被设置,那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议.用户的名和密码以明文方式存放在" secrets file" 选项指定的文件中.默认情况下无需密码就可以连接模块(也就是匿名方式).

secrets file = /etc/www1.pwd      //密码和用户名对比表,密码文件自己生成

该选项指定一个包含定义用户名:密码对的文件.只有在" auth users" 被定义时,该文件才有作用.文件每行包含一个username:passwd对.一般来说密码最好不要超过8个字符.没有默认的secures file名,需要限式指定一个(例如：/etc/www1.pwd).注意：该文件的权限一定要是600,否则客户端将不能连接服务器.

hosts allow = 192.168.0.0/255.255.255.0  //允许主机或网段

该选项指定哪些IP的客户允许连接该模块.客户模式定义可以是以下形式：

单个IP地址,例如：192.168.9.227

整个网段,例如：192.168.0.0/24,也可以是192.168.0.0/255.255.255.0

多个IP或网段需要用空格隔开,“*”则表示所有,默认是允许所有主机连接.

hosts deny = 0.0.0.0/0  //禁止主机

4、建立认证文件/etc/www1.pwd ,此文件须与配置文件中指定文件名保持一致

此处格式为：username:password,安全问题,并不建议实际使用中使用root用户

192.168.0.14

echo "root:huasu!@#" >> /etc/www1.pwd

chmod 600 /etc/www1.pwd  

chmod 600 /etc/rsyncd.conf

启动rsync

/usr/bin/rsync --daemon  

echo "/usr/bin/rsync --daemon" >> /etc/rc.local

在13上操作

安装inotify-tools

在安装inotify-tools前请先确认你的linux内核是否打到了2.6.13，并且在编译时开启了CONFIG_INOTIFY选项，也可以通过以下命令检测

ls /proc/sys/fs/inotify

192.168.0.13

[root@svn ldn]# ls /proc/sys/fs/inotify

max_queued_events  max_user_instances  max_user_watches

如果有 max_queued_events，max_user_instances，max_user_watches 三项就说明支持

wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz  

tar xvf inotify-tools-3.14.tar.gz  

cd inotify-tools-3.14

../configure

make;make install

编写rsync监控脚本

vi /ldn/rsync.sh

#!/bin/bash

host1=192.168.0.14

src=/home/svnadmin/

dst1=web1

user1=root

/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib  $src \

| while read files

       do

               /usr/bin/rsync -vzrtopg --delete --progress --password-file=/etc/www1.pwd $src $user1@$host1::$dst1

               echo "${files} was rsynced" >>/tmp/rsync.log 2>&1

        done

建立认证文件  (rsync客户端认证文件只用加入密码)

echo "huasu!@#" >> /etc/www1.pwd  

chmod 600 /etc/www1.pwd  

/bin/sh -n /root/rsync.sh  

//语法检查  

chmod +x /root/rsync.sh  

nohup sh /root/rsync.sh &  

echo "nohup sh /root/rsync.sh &" >> /etc/rc.local

同步测试

在更新源服务器上新建一个文件，运行以下的命令，看文件是否可以正常同步，看有无报错信息

rsync -vzrtopg --delete --progress /home/svnadmin/ [email protected]::web1 --password-file=/etc/www1.pwd

本文出自 “ganlou0089.com” 博客，谢绝转载！