rsync inotify实时同步

在客户端服务器上安装Inotify-tools工具，实时触发rsync进行同步到其它机器上，inotify是一种强大的、细粒度的、异步的文件系统事件监控机制。（之前的rsync同步，服务机器是192.168.44.13。我们是在客户端机器主动拉取服务器的数据，现在在客户端我们主动推送数据到服务器）

查看服务器内核是否支持inotify

# ll /proc/sys/fs/inotify   #有三条信息输出，如果没有表示不支持。

1. /proc/sys/fs/inotify/max_queued_evnets表示调用inotify_init时分配给inotify instance中可排队的event的数目的最大值，超出这个值的事件被丢弃，但会触发IN_Q_OVERFLOW事件。
2. /proc/sys/fs/inotify/max_user_instances表示每一个real user ID可创建的inotify instatnces的数量上限。
3. /proc/sys/fs/inotify/max_user_watches表示每个inotify instatnces可监控的最大目录数量。如果监控的文件数目巨大，需要根据情况，适当增加此值的大小。

安装inotify-tools

inotify-tools是为linux下inotify文件监控工具提供的一套C的开发接口库函数，同时还提供了一系列的命令行工具，这些工具可以用来监控文件系统的事件。 inotify-tools是用c编写的，除了要求内核支持inotify外，不依赖于其他。inotify-tools提供两种工具，一是inotifywait，它是用来监控文件或目录的变化，二是inotifywatch，它是用来统计文件系统访问的次数。

# yum install make  gcc gcc-c++  #安装编译工具
# cd /usr/local/src/
# wget http://pkgs.fedoraproject.org/repo/pkgs/inotify-tools/inotify-tools-3.14.tar.gz/b43d95a0fa8c45f8bab3aec9672cf30c/inotify-tools-3.14.tar.gz #安装包下载
# tar zxvf inotify-tools-3.14.tar.gz #解压
# cd inotify-tools-3.14
# ./configure --prefix=/usr/local/inotify  #配置
# make  #编译
# make install  #安装,安装好后的命令在/usr/local/inotify/bin/目录下

inotifywait使用示例

#持续监听/tmp目录及其子目录的文件变化，监听事件包括文件被修改、删除、创建、移动、属性更改，显示到屏幕。执行完上面的命令后，在/tmp下创建或修改文件都会有信息输出：
# /usr/local/inotify/bin/inotifywait  -mrq --timefmt '%Y/%m/%d-%H:%M:%S' --format '%T %w %f'  -e modify,delete,create,move,attrib /tmp/  

inotify相关参数介绍

• timefmt -- 指定时间的输出格式。
• format -- 指定变化文件的详细信息。
• m -- 监控
• r -- 递归
• q -- 静默模式
• e -- 指定你要同步的事件
  modify 修改
  delete 删除
  create 创建
  attrib 属性

rsync组合inotify-tools完成实时同步

这一步的核心其实就是在客户端创建一个脚本rsync.sh，使用inotifywait监控本地目录的变化，触发rsync将变化的文件传输到远程备份服务器上。为了更接近实战，我们要求一部分子目录不同步，如/root/tmp/log和临时文件。

创建排除在外不同步的文件列表

排除不需要同步的文件或目录有两种做法，第一种是inotify监控整个目录，在rsync中加入排除选项，简单；第二种是inotify排除部分不监控的目录，同时rsync中也要加入排除选项，可以减少不必要的网络带宽和CPU消耗。我们选择第二种。

inotifywait排除

inotifywait排除监控目录有--exclude 和--fromfile 两种格式，并且可以同时使用，但主要前者可以用正则，而后者只能是具体的目录或文件。

--exclude   #排除的格式比较复杂，必须使用正则。
#如--exclude '(.*/*\.log|.*/*\.swp)$|^/tmp/src/mail/(2014|201.*/cache.*)'，
#表示排除/tmp/src/mail/以下的2014目录，和所有201*目录下的带cache的文件或目录，以及/tmp/src目录下所有的以.log或.swp结尾的文件。 

--fromfile  #设置文件的格式，只能用绝对路径，不能使用诸如*正则表达式去匹配，@表示排除。
#如vi /tmp/fromfile.lst
/tmp/src/pdf         #需要同步的目录
@/tmp/src/2014   #不需要同步的目录

rsync排除

使用inotifywait排除监控目录的情况下，必须同时使用rsync排除对应的目录，否则只要有触发同步操作，必然会导致不该同步的目录也会同步。与inotifywait类似，rsync的同步也有--exclude和--exclude-from两种写法。使用--exclude-from=FILE时，排除文件FILE用绝对路径，但FILE里面的内容请用相对路径

同步脚本

#=========/tmp/rsync.sh==============#
#variables
current_date=$(date +%Y%m%d_%H%M%S)
#客户端需要监控的目录
source_path=/tmp/src/
log_file=/var/log/rsync_client.log

#rsync
#服务器地址
rsync_server=192.168.44.13 
#需要在服务器在添加一个用户和对应的模块，添加一行密码文件，创建相应的用户和密码
#在服务器上创建好模块对应的目录
rsync_user=saturn
#用户对应的密码文件,注意需要给600权限
rsync_pwd=/etc/rsync_client.pwd
rsync_module=logs
#INOTIFY排除不需要监听的文件
INOTIFY_EXCLUDE='(.*/*\.log|.*/*\.swp)$|^/tmp/src/mail/(2014|20.*/.*che.*)'
#RSYNC排除不需要同步的文件
RSYNC_EXCLUDE='/etc/rsyncd.d/rsync_exclude.lst'

#rsync client pwd check
    if [ ! -e ${rsync_pwd} ];then
    echo -e "rsync client passwod file ${rsync_pwd} does not exist!"
    exit 0
fi

#inotify_function
inotify_fun(){
    /usr/local/inotify/bin/inotifywait -mrq --timefmt '%Y/%m/%d-%H:%M:%S' --format '%T %w %f' --exclude ${INOTIFY_EXCLUDE}  -e modify,delete,create,move,attrib ${source_path} | while read file
      do
          /usr/bin/rsync -auvrtzopgP --exclude-from=${RSYNC_EXCLUDE} --progress --bwlimit=200 --password-file=${rsync_pwd} ${source_path} ${rsync_user}@${rsync_server}::${rsync_module} 
      done
}

#inotify log
inotify_fun >> ${log_file} 2>&1 &
#==============================#

#=============/etc/rsync_client.pwd===========#
#====在客户端设置需要同步的模块用户对应的密码=====#
123456

#=============/etc/rsyncd.d/rsync_exclude.lst===========#
mail/2014/
mail/201*/201*/201*/.??*
mail??*
src/*.html*
src/js/
src/ext3/
src/2014/20140[1-9]/
src/201*/201*/201*/.??*
membermail/
membermail??*
membermail/201*/201*/201*/.??*
#==============================#

测试

# 多创建些目录试试看,可以使用supervisor监控这个脚本运行的进程
bash /tmp/rsync.sh