inotify+rsync目录实时同步

两台linux服务器系统CentOS7
一台Apache    IP:192.168.155.130（发布文件服务器，也可以叫rsync客户端）
一台nginx     IP:192.168.155.131（同步镜像文件服务器，也可以叫rsync服务器端）


Apache服务器同步文件夹路径
/usr/local/apache/htdocs


nginx服务器同步文件夹路径
/usr/local/nginx/html


nginx服务器
rsync
下载地址https://rsync.samba.org/
wget下载路径https://download.samba.org/pub/rsync/src/rsync-3.1.2.tar.gz
这里用到的是
rsync-3.1.2.tar.gz


用 WinSCP上传到指定的目录下，这里是
/usr/local/src


shell端
进入到安装包目录
cd /usr/local/src


解压缩rsync到当前文件夹，这里解压缩时也不能加 z 参数
tar -xvf rsync-3.1.2.tar.gz


进入解压缩目录
cd rsync-3.1.2


配置安装目录
./configure --prefix=/usr/local/rsync


编译
make


安装
make install


安装后rsyncd配置文件存放在/etc/rsyncd.conf
编辑删除原有内容改成如下内容，uid参数到timeout参数部分为全局参数，[rsyncserver]开始及以后部分为模块参数
uid = root
gid = root
port = 873
max connections = 0
motd file = /usr/local/rsync/rsyncd.motd
log file = /usr/local/rsync/rsyncd.log
pid file = /usr/local/rsync/rsyncd.pid
lock file = /usr/local/rsync/rsyncd.lock
address = 192.168.155.131
transfer logging = true
log format = %t %a %m %f %b
timeout = 900
hosts allow = 192.168.155.130 192.168.155.129
hosts deny = *
syslog facility = local3
dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
[rsyncserver]
path = /usr/local/nginx/html/
exclude = lost/ found/
comment = rsync from 192.168.155.130
ignore errors
read only = false
list = true
use chroot = false
auth users = rsyncuser
secrets file = /usr/local/rsync/rsyncd.secrets
esc+:wq保存
vim /etc/rsyncd.conf


新建rsync用户名，密码文件输入以下内容，用户名与密码用:分开，一行一个用户，这里只设一个用户
rsyncuser:123456
vim /usr/local/rsync/rsyncd.secrets


设置权限
因为rsyncd.secrets存储了rsync服务的用户名和密码，所以非常重要。要将rsyncd.secrets设置为root拥有, 权限为600
chmod 600 /usr/local/rsync/rsyncd.secrets


启动rsync服务
rsync全局参数的值也可在执行rsync时设值，例如下
--daemon  : 启动一个守护进程执行rsync
--address : 及--port作用参考全局rsync配置文件的全局参数信息，这俩参数可加可不加
--config  : 指定配置文件位置，不加的话默认就是/etc/rsyncd.conf
/usr/local/rsync/bin/rsync --daemon --address=192.168.155.131 --port=873 --config=/etc/rsyncd.conf


查看rsync端口是否有对应服务
lsof -i:873


开启防火墙873端口的外部访问
firewall-cmd --zone=public --add-port=873/tcp --permanent


重启防火墙
firewall-cmd --reload





Apache服务器
rsync
这里用到的rsync和nginx服务器一样
rsync-3.1.2.tar.gz


inotify-tools
下载地址http://inotify-tools.sourceforge.net/
wget下载路径https://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
这里用到的是
inotify-tools-3.14.tar.gz


用 WinSCP上传到指定的目录下，这里是
/usr/local/src


shell端
进入到安装包目录
cd /usr/local/src


解压缩rsync到当前文件夹，这里解压缩时也不能加 z 参数
tar -xvf rsync-3.1.2.tar.gz


进入解压缩目录
cd rsync-3.1.2


配置安装目录
./configure --prefix=/usr/local/rsync


编译
make


安装
make install


创建存放服务器端密码文件，只需要输入服务器端密码即可，不用输入用户名
这里填写上面服务器端密码文件里设定的密码，用户名在命令行里指定
123456
vim /usr/local/rsync/rsyncd.pass


设置权限，而且只能设成600
chmod 600 /usr/local/rsync/rsyncd.pass


向服务器端上传同步文件
/usr/local/apache/htdocs/ 本地客户端要同步的文件夹
rsyncuser                 服务器端rsync服务中设定允许执行该模块的用户名
192.168.155.131           服务器端IP地址
::rsyncserver             表示服务器端需要同步的模块名称
命令行参数
-v : verbose
-z : 压缩
-r : recursive
-t : 表示保持原文件创建时间
-o : 表示保持原文件属主
-p : 表示保持原文件的参数
-g : 表示保持原文件的所属组
-a : 存档模式
-P : 表示代替-partial和-progress两者的选项功能
-e : ssh建立起加密的连接。
--partial       : 阻止rsync在传输中断时删除已拷贝的部分(如果在拷贝文件的过程中，传输被中断，rsync的默认操作是撤消前操作，即从目标机上删除已拷贝的部分文件。)
--progress      : 是指显示出详细的进度情况
--delete        : 客户端上删除，服务器端也删除，保持真正的一致。
--exclude       : 不包含/ins目录
--size-only     : 这个参数用在两个文件夹中的差别仅是源文件夹中有一些新文件，不存在重名且被修改过的文件，因为这种文件有可能会因为内容被修改可大小一样，而被略过。这个参数可以大大地提高同步的效率，因为它不需要检查同名文件的内容是否相同。
--password-file : 指定包含server端认证用户的密码文件，不加此选项连接服务器端时会提示手动输入密码。
/usr/local/rsync/bin/rsync -vzrtopg --delete --progress --password-file=/usr/local/rsync/rsyncd.pass  /usr/local/apache/htdocs/ [email protected]::rsyncserver


安装inotify前需要先安装gcc与gcc-c++
yum install -y gcc gcc-c++


cd /usr/local/src


tar -zxvf inotify-tools-3.14.tar.gz


cd inotify-tools-3.14


./configure --prefix=/usr/local/inotify


编译
make


安装
make install


编写执行inotify的脚本填写以下内容，使inotify实时监控指定目录并做相应操作
#!/bin/bash
#同步接收方ip
client=192.168.155.131
#本地要监视的文件夹路径
local_folder=/usr/local/apache/htdocs/
#同步接收方配置的rsync模块名
module=rsyncserver
#同步接收方鉴权时的用户
user=rsyncuser
/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e create,move,delete,modify,attrib $local_folder | while read files
do
/usr/local/rsync/bin/rsync -vzrtopg --delete --progress --password-file=/usr/local/rsync/rsyncd.pass  $local_folder $user@$client::$module
done
inotify部分参数
-m 是保持一直监听
-r 是递归查看目录
-q 是打印出事件
-e create,move,delete,modify,attrib 是指 监听“创建 移动 删除 修改 属性” 事件
vim /usr/local/inotify/inotify.sh


设置脚本权限
chmod 755 /usr/local/inotify/inotify.sh


后台执行脚本开始监听并同步
/usr/local/inotify/inotify.sh&


将 sh /usr/local/inotify/inotify.sh & 这段代码写在 /etc/rc.d/rc.local 文件的最后一行，使开机后台执行 /usr/local/inotify/inotify.sh 脚本
nginx服务器端的rsync也用用此方法写入脚本再添加到开机启动
echo "/usr/local/inotify/inotify.sh &" >> /etc/rc.d/rc.local




附录
uid = root                                                   # 运行rsync守护进程的用户
gid = root                                                   # 运行rsync守护进程的组
port = 873                                                   # 默认端口873
max connections = 0                                          # 最大连接数无限制，指定该模块的最大并发连接数量以保护服务器，超过限制的连接请求将被告知随后再试。
motd file = /usr/local/rsync/rsyncd.motd                     # 用来指定一个消息文件，当客户连接服务器时该文件的内容显示给客户，默认是没有motd文件的。
log file = /usr/local/rsync/rsyncd.log                       # 指定 rsync 守护进程的日志文件存放位置，而不将日志发送给 syslog。
pid file = /usr/local/rsync/rsyncd.pid                       # 守护进程将其 PID写入文件的存放位置
lock file = /usr/local/rsync/rsyncd.lock                     # 指定支持 max connections 参数的锁文件存放位置。
address = 192.168.155.131                                    # 在独立运行时，将此服务绑定到指定的 IP 地址运行（这里也就是本机IP地址）。由 xinetd 运行时将忽略此参数，使用命令行上的 --address 选项替代。
transfer logging = true                                      # 使 rsync 服务器将传输操作记录到传输日志文件。
log format = %t %a %m %f %b                                  # 通过该选项用户在使用transfer logging可以自己定制日志文件的字段。其格式是一个包含格式定义符的字符串，可以使用的格式定义符如下所示：
timeout = 900                                                # 单位秒，该选项可以覆盖客户指定的 IP 超时时间。从而确保 rsync 服务器不会永远等待一个崩溃的客户端。
hosts allow = 192.168.155.130 192.168.155.129                # 运行访问本rsync服务器的IP地址，或网段，或者用*表示允许全部,多IP用空格分隔
hosts deny = *                                               # 不允许访问本rsync服务器的IP地址，赋值规则同hosts allow
syslog facility = local3                                     # 指定rsync发送日志消息给syslog时的消息级别，常见的消息级别是：uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7。默认值是daemon。
dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2 # 用来指定那些在传输之前不进行压缩处理的文件。

[rsyncserver]                                                # 这里是认证的模块名，在客户端（这里是Apache服务器）端需要指定
path = /usr/local/nginx/html/                                # 需要做镜像的目录
exclude = lost/ found/                                       # 不包含的目录，多目录用空格分开，这里就是不同步/usr/local/nginx/html/目录下的lost/和found/两个文件夹
comment = rsync from 192.168.155.130                         # 给模块指定一个描述，该描述连同模块名在客户连接得到模块列表时显示给客户
ignore errors                                                # 忽略错误
read only = false                                            # 指定是否允许客户上传文件。若为 true 则不允许上传；若为 false 并且服务器目录也具有读写权限则允许上传。
list = true                                                  # 指定当客户请求列出可以使用的模块列表时，该模块是否应该被列出。如果设置该选项为 false，可以创建隐藏的模块。默认值是true。
use chroot = false                                           # 若为 true，则 rsync 在传输文件之前首先 chroot 到 path 参数所指定的目录下。这样做的原因是实现额外的安全防护，但是缺点是需要 root 权限。
auth users = rsyncuser                                       # 指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块，如果没有这行则表明是匿名，此用户与系统无关，是secrets file参数指定文件里保存的用户名
secrets file = /usr/local/rsync/rsyncd.secrets               # 指定一个 rsync 认证口令文件。只有在 auth users 被定义时，该文件才起作用