rsync+inotify

rsync：用于同步文件、目录的工具

inotify：监控源目录的变化，借助rsync将变化的数据同步到目的目录 

环境描述：

系统：rhel 6.3

源服务器：10.1.1.1 

目的服务器：10.1.1.2 

目的：将源服务上的/testdir目录实时同步到目的服务器的/testdir目录 

iptables防火墙,selinux关闭

在目的服务器172.16.1.2上操作：

1、安装rsync服务端软件 

# yum install -y rsync xinetd 

编辑rsync配置文件，设置sync开机自动启动

# vim /etc/xinetd.d/rsync 

service rsync

{

        disable = no //将disabled=yes修改为no

        socket_type     = stream

        wait            = no

        user            = root

        server          = /usr/bin/rsync

        server_args     = --daemon

        log_on_failure  += USERID

}

启动xinetd服务(以xinted管理rsync服务)

/etc/init.d/xinetd start 

2、创建rsyncd.conf配置文件 

# vim  /etc/rsyncd.conf 

log file=/var/log/rsyncd.log //指定日志文件名称，rsync服务启动后自动创建该文件

pidfile=/var/run/rsyncd.pid //pid文件的位置

lock file=/var/run/rsync.lock //支持max connections参数的锁文件

secrets file=/etc/rsync.pass //用户认证文件,保存用户名及密码

motd file=/etc/rsyncd.motd //rsync启动时保存欢迎信息的文件

[testdir] //同步目录名称描述,建议与同步目录同名

path=/testdir //数据目录位置 

comment=testdir

uid=root //设置rsync运行权限为root

gid=root //设置rsync运行权限为root

port=873 //默认端口号

use chroot=no //默认为true，表示不同步软链接文件；改为no表示同步软链接

read only=no //设置rsync服务端文件为读写权限

list=no //不显示rsync服务端资源列表

max connections=200 //最大连接数

timeout=600 //超时时间

auth users=root //执行数据同步的用户名,可设置多个，不同用户名用逗号隔开

hosts allow=172.16.1.1 //允许进行数据同步的客户端IP地址,多个IP使用逗号隔开

3、创建用户认证文件 

# vim /etc/rsync.pass

root:redhat

格式  用户名:密码，一行一个用户信息

4、分别将配置文件及用户认证文件的权限修改为600

# chmod 600 /etc/rsyncd.conf 

# chmod 600 /etc/rsync.pass

5、重新启动rsync服务

# /etc/init.d/xinetd restart 

在源服务器上操作：

1、安装rsync客户端软件 

# yum install -y rsync xinetd

编辑rsync配置文件，设置sync开机自动启动

# vim /etc/xinetd.d/rsync 

service rsync

{

        disable = no //将disabled=yes修改为no

        socket_type     = stream

        wait            = no

        user            = root

        server          = /usr/bin/rsync

        server_args     = --daemon

        log_on_failure  += USERID

}

启动xinetd服务(以xinted管理rsync服务)

/etc/init.d/xinetd start 

2、创建密码认证文件，该文件只保存目的服务器上的认证用户密码

# vim /etc/passwd.txt

redhat

# chmod 600 /etc/passwd.txt 

测试源服务器与目的服务器数据是否同步成功 

分别在源服务器和目的服务器上创建/testdir目录，在源服务器的/testdir中创建任意文件，使用如下同步命令后，查看目的服务器是否会出现创建的文件，如果在目标服务器上可以查看到源服务器创建的文件，表明同步成功  

# rsync -avH --port=873 --progress --delete /testdir/ [email protected]::testdir --password-file=/etc/passwd.txt 

命令说明：

-a：递归传输文件，并保留文件所有属性

-v: 显示详细过程

-H: 保留硬链接

--progress：显示备份过程

--delete：同步时，会删除目的服务器中目录中源服务器中没有的文件 

/testdir/: 源数据目录，最后一个/表示同步时只同步子文件及目录; 如果不加/，表示整个/testdir目录都会同步的目标服务器

[email protected]::testdir： root同步用户, 目标服务器中的目录只需要写目录名称即可

--password-file=/etc/passwd.txt： 指定密码文件 

在源服务器上安装inotify软件，实时监测源目录的变化实现实时同步

1、查看服务器内核是否支持inotify，2.6.13内核后开始支持

# ll /proc/sys/fs/inotify/

total 0

-rw-r--r-- 1 root root 0 Dec 10 09:26 max_queued_events

-rw-r--r-- 1 root root 0 Dec 10 09:26 max_user_instances

-rw-r--r-- 1 root root 0 Dec 10 09:26 max_user_watches

2、安装inotify

# tar zxf inotify-tools-3.14.tar.gz

# cd inotify-tools-3.14

# ./configure --prefix=/usr/local/inotify 

# make 

# make install 

3、修改环境变量PATH，并为inotify软件的库文件、头文件创建软链接

# vim /etc/profile

export PATH=$PATH:/usr/local/inotify/bin 

# source /etc/profile

导出inotify的库文件

# echo "/usr/local/inotify/lib" > /etc/ld.so.conf.d/inotify.conf 

# ldconfig

导出inotify的头文件

ln -s /usr/local/inotify/include /usr/include/inotify 

4、修改inotify内核参数(默认的inotify参数值太小)

# vim /etc/sysctl.conf 

fs.inotify.max_queued_events=9999999

fs.inotify.max_user_watches=99999999

fs.inotify.max_user_instances=65535

# sysctl -p

net.ipv4.ip_forward = 0

net.ipv4.conf.default.rp_filter = 1

net.ipv4.conf.default.accept_source_route = 0

kernel.sysrq = 0

kernel.core_uses_pid = 1

net.ipv4.tcp_syncookies = 1

kernel.msgmnb = 65536

kernel.msgmax = 65536

kernel.shmmax = 4294967295

kernel.shmall = 268435456

fs.inotify.max_queued_events = 9999999

fs.inotify.max_user_watches = 99999999

fs.inotify.max_user_instances = 65535

参数说明：

max_queued_events：inotify队列最大长度，值太小，导致监控文件不准确

max_user_watches: 要同步的文件包含多少目录; 该值要大于find /testdir -type d | wc -l的值

max_user_instances：每个用户创建inotify实例最大值 

5、创建脚本，根据inotify的监测事件，实时触发rsync同步

# vim rsync.sh 

#!/bin/bash

srcdir=/testdir/

dstdir=testdir

excludedir=/usr/local/inotify/exclude.list

rsyncuser=root

rsyncpassdir=/etc/passwd.txt

dstip=10.1.1.2

while true

do

/usr/local/inotify/bin/inotifywait -rq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e close_write,delete,create,attrib -t 1 $srcdir

rsync -avH --delete $srcdir  --timeout=100 $rsyncuser@$dstip::$dstdir --password-file=$rsyncpassdir >/dev/null 2>&1

done

exit 0

该脚本只适用于目标服务器只有一个的情况，如果存在多个，在脚本中使用for循环同步到多个目标服务器

# chmod a+x /root/rsync.sh 

在源服务器目录中创建文件，手动运行该脚本，查看目标服务器上是否同步了新创建的文件，如果可以查看到，表明实时同步成功

通过设置脚本开机自动运行 或者通过计划任务定时运行该脚本，可自动实现实时 

开机自动启动：

# vim /etc/rc.d/rc.local 

sh /root/rsync.sh & 

计划任务：

# crontab -e 

*/10 * * * * sh /root/rsync.sh & 

脚本中inotifywait命令说明：

-m：始终监听目录状态变化 

-r：递归监听

-q：显示状态变化信息

-format： 指定输出格式；常用的格式符如：%w：表示发生事件的目录  %f：表示发生事件的文件  %e：表示发生的事件  %T：使用由-timefmt定义的时间格式

    -timefmt：指定时间格式，用于-format选项中的%T格式

-e close_write,modify,delete,create,attrib,move：常用的监控事件