rsync + inotify 实现实时同步更新数据

~一、实验需求,一台或者多台rsync客户端(ip 192.168.1.203),一台rsync服务器(ip 192.168.1.204),也可以叫备份服务器。

二、步骤

2.1

    首先配置rsync服务器端,修改/etc/rsyncd.conf (如果没有自己新建一个),如果需要密码验证的话,在新建一个rsync.passwd 的文件。然后新建一个rsync用户,设置其无法登录。命令如下

 

useradd rsync -s /sbin/nologin

  修改rsyncd.conf, rsyncd.conf的配置如下。

 

uid = rsync  #开启rsync服务要使用rsync的用户
gid = rsync  #rsync用户的所属组
maxconnections = 10  #最大连接数
use chroot = no
log file = /var/log/rsyncd.log   #日志存放目录
pid file = /var/run/rsyncd.pid   #pid文件存放目录
lock file = /var/run/rsyncd.lock  #锁文件存放目录
[mydata]  #模块的名字,可以自定义,也可以定义多个模块
path = /data/ #从rsync客户端推送上来的数据存放目录,要修改成rsync能够写入,chmod rsync:rsync /data
comment = my backup data. #注释内容
ignore errors = yes  #是否忽略错误,有的也可以写成 ignore errors
secrets file = /etc/rsync.passwd    #设置密码文件所在路径
read only = no  #是否只读
auth users = rsync_user  #rsync传输使用的用户名。
hosts allow = 192.168.1.0/24   #只允许192.168.1.0 网段
hosts deny = *      #拒绝其他的所有网段

 

修改rsync.passwd文件,内容如下,修改完成后,把rsync.passwd的权限设置成为600,否则会报@ERROR: auth failed on module mydata的错误。

echo "rsync_user:admin" > /etc/rsync.passwd

启动rsync 输入命令

 

rsync --daemon

2.2

      在rsync客户端配置密码文件,在/etc/新建一个rsync.passwd的密码文件,使用命令,

 

echo "admin" > /etc/rsync.passwd

 

   本地推送目录为/mydata ,使用命令测试一下,是否成功。

touch /mydata/aa
rsync -avzP /mydata/ [email protected]::mydata/ --password-file=/etc/rsync.passwd

2.3

   在rsync客户端,下载安装inotify-tools源码包。(源码包自己在网上找,这里不发链接了。)

   解压源码包并安装

tar fvxz inotify-tools-3.14.tar.gz
cd inotify-tools-3.14
./configure --prefix=/usr/local/inotify
make
make install

     设置用户的环境变量文件.bash_profile,添加inotify的路径,然后用source ~/.bash_profile重新加载环境变量。

 
 
PATH=$PATH:$HOME/bin:/usr/local/inotify/bin
export PATH
unset USERNAME

  编写实时监控脚本inotify.sh ,

#!/bin/bash
srcdir=/mydata/     #本地推送目录
dsthost=192.168.1.204   #要推送到服务器的IP
dstmodule=mydata     #要推送到服务器rsync的模块名称
user=rsync_user     #使用的用户
passwdfile=/etc/rsync.secrets  #用户密码的验证文件
inotify_home=/usr/local/inotify  #定义inotify的路径
$inotify_home/bin/inotifywait -mrq --timefmt '%d%m%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $srcdir \
| while read files
do
cd $srcdir
rsync -avrz -R --delete ./  --timeout=100 $user@$dsthost::${dstmodule} --password-file=${passwdfile} > /dev/null 2>&1
done
exit 0

 

 保存inotify.sh文件,然后运行命令,sh inotify.sh & 使其在后台运行。

至此,实验完成。无论在rsync客户端的/mydata目录中删除,修改,添加,都会和rsync服务器端同步。

 

 

/usr/local/bin/inotifywait -mrq -e modify,delete,create,attrib ${src}
-m 是保持一直监听
-r 是递归查看目录
-q 是打印出事件
-e create,move,delete,modify,attrib 是指 “监听 创建 移动 删除 写入 权限” 事件
/usr/bin/rsync -ahqzt --delete $SRC $DST
-a 存档模式
-h 保存硬连接
-q 制止非错误信息
-z 压缩文件数据在传输
-t 维护修改时间
-delete 删除于多余文件
rsync的完整参数说明:
-v, --verbose 详细模式输出
-q, --quiet 精简输出模式
-c, --checksum 打开校验开关,强制对文件传输进行校验
-a, --archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD
-r, --recursive 对子目录以递归模式处理
-R, --relative 使用相对路径信息
-b, --backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
--backup-dir 将备份文件(如~filename)存放在在目录下。
-suffix=SUFFIX 定义备份文件前缀
-u, --update 仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件。(不覆盖更新的文件)
-l, --links 保留软链结
-L, --copy-links 想对待常规文件一样处理软链结
--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结
--safe-links 忽略指向SRC路径目录树以外的链结
-H, --hard-links 保留硬链结
-p, --perms 保持文件权限
-o, --owner 保持文件属主信息
-g, --group 保持文件属组信息
-D, --devices 保持设备文件信息
-t, --times 保持文件时间信息
-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间
-n, --dry-run现实哪些文件将被传输
-W, --whole-file 拷贝文件,不进行增量检测
-x, --one-file-system 不要跨越文件系统边界
-B, --block-size=SIZE 检验算法使用的块尺寸,默认是700字节
-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步
--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息
-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件,用来排除那些不希望传输的文件
--existing 仅仅更新那些已经存在于DST的文件,而不备份那些新创建的文件
--delete 删除那些DST中SRC没有的文件
--delete-excluded 同样删除接收端那些被该选项指定排除的文件
--delete-after 传输结束以后再删除
--ignore-errors 及时出现IO错误也进行删除
--max-delete=NUM 最多删除NUM个文件
--partial 保留那些因故没有完全传输的文件,以是加快随后的再次传输
--force 强制删除目录,即使不为空
--numeric-ids 不将数字的用户和组ID匹配为用户名和组名
--timeout=TIME IP超时时间,单位为秒
-I, --ignore-times 不跳过那些有同样的时间和长度的文件
--size-only 当决定是否要备份文件时,仅仅察看文件大小而不考虑文件时间
--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口,默认为0
-T --temp-dir=DIR 在DIR中创建临时文件
--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
-P 等同于 --partial
--progress 显示备份过程
-z, --compress 对备份的文件在传输时进行压缩处理
--exclude=PATTERN 指定排除不需要传输的文件模式
--include=PATTERN 指定不排除而需要传输的文件模式
--exclude-from=FILE 排除FILE中指定模式的文件
--include-from=FILE 不排除FILE指定模式匹配的文件
--version 打印版本信息
--address 绑定到特定的地址
--config=FILE 指定其他的配置文件,不使用默认的rsyncd.conf文件
--port=PORT 指定其他的rsync服务端口
--blocking-io 对远程shell使用阻塞IO
-stats 给出某些文件的传输状态
--progress 在传输时现实传输过程
--log-format=formAT 指定日志文件格式
--password-file=FILE 从FILE中得到密码
--bwlimit=KBPS 限制I/O带宽,KBytes per second
-h, --help 显示帮助信息
要排除同步某个目录时,为rsync添加--exculde=PATTERN参数,注意,路径是相对路径,具体查看man rsync。
要排除某个目录的事件监听的处理时,为inotifywait添加--exclude或--excludei参数,具体查看man inotifywait。

=========================================

如果在执行 inotify.sh的时候出现如下错误:

[root@localhost ~]# Failed to watch /var/www/html/; upper limit on inotify watches reached!
Please increase the amount of inotify watches allowed per user via `/proc/sys/fs/inotify/max_user_watches'.
^C
[1]+  Done                    ./inotify.sh

那是因为/proc/sys/fs/inotify/max_user_watches 内核中的值太小,而你监控的文件比较多,超出内核中的值。解决办法echo 一个更大的值到此参数中。

 

如果想让rsync上来的文件保护原有的属主和属组,使用-o 和-g 参数,但rsync服务器端配置文件中的uid和gid必须是root。

 

你可能感兴趣的:(linux,rsync,inotify)