Rsync+inotify实现文件同步更新（无防火墙版）

目录

说明：... 2

准备工作：关闭服务器的防火墙... 2

关闭防火墙firewall2

禁止开机启动防火墙... 2

编写脚本”shut-firewall.sh”. 2

发布服务器配置rsync：192.168.171.128. 2

安装配置Rsync. 2

配置rsyncd.conf文件... 2

创建认证文件：/etc/rsyncd.secrets. 3

设置文件权限... 3

启动rsync服务... 4

关闭rsync服务... 4

创建目录... 4

目标服务器配置rsync：192.168.171.129. 4

安装配置Rsync. 4

配置rsyncd.conf文件... 4

创建安全认证文件rsyncd.secrets. 5

设置文件权限... 5

启动rsync服务... 5

关闭rsync服务... 5

创建目录... 6

在发布服务器上，手动测试数据同步效果！... 6

目录效果... 6

发布服务器配置inotify：192.168.171.128. 6

安装inotify-tools工具，实现目录实时监控... 6

配置inotify监控脚本rsync.sh——监控PRO目录... 6

设置开机启动inotify等脚本... 7

附录脚本内容... 7

新增机器，需要做的几件事儿... 7


说明：

操作系统：Linux version 3.10.0-327.el7.x86_64 （centos7.1151）

发布服务器：192.168.171.128

目标服务器：192.168.171.129，192.168.171.130，……

目的：将发布服务器上的文件/pro目录实时同步到目标服务器的/pro下

 

准备工作：关闭服务器的防火墙

关闭防火墙firewall

[root@localhost ~]# systemctl stop firewalld

[root@localhost ~]#firewall-cmd –state

禁止开机启动防火墙

[root@localhost ~]# systemctl disable firewalld

Removed symlink /etc/systemd/system/basic.target.wants/firewalld.service.

Removed symlink/etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

编写脚本”shut-firewall.sh”

#!/bin/bash

systemctl stop firewalld.service

 

发布服务器配置rsync：192.168.171.128

安装配置Rsync

[root@localhost ~]# yum install rsync –y

配置rsyncd.conf文件

[root@localhost ~]# vim /etc/rsyncd.conf

# /etc/rsyncd: configurationfile for rsync daemon mode

# See rsyncd.conf man page formore options.

port=873

uid=root

gid=root

use chroot = no

max connections=7

pid file = /var/run/rsyncd.pid

log file = /var/log/rsyncd.log

lock file = /var/run/rsyncd.lock

strict modes = true

transfer logging =yes

log format = %t %a %m %f %b

syslog facility = local3

timeout = 300

 

#同步PRO1

[pro1]

path = /pro

list = true

ignore errors = yes

read only = no

write only =no

hosts allow = 192.168.171.129,192.168.171.130,192.168.171.131

auth users = rsyncuser

secrets file =/etc/rsyncd.secrets

#同步项目2  该项为扩展，单点同步可忽略

[web1]

path = /web

list = true

ignore errors = yes

read only = no

write only =no

hosts allow =192.168.171.129,192.168.171.130,192.168.171.131

auth users = rsyncuser

secrets file =/etc/rsyncd.secrets

创建认证文件：/etc/rsyncd.secrets

[root@localhost ~]#vim /etc/rsyncd.secrets

123456

设置文件权限

[root@localhost ~]# chmod 600 /etc/rsyncd.secrets

启动rsync服务

守护进程模式启动方法：

[root@localhost ~]#/usr/bin/rsync --daemon --config=/etc/rsyncd.conf

关闭rsync服务

直接关闭进程：

[root@localhost ~]# netstat -nlutp | grep rsync

tcp   0     0 0.0.0.0:873            0.0.0.0:*              LISTEN      1284/rsync         

tcp6  0     0 :::873                 :::*                    LISTEN      1284/rsync

[root@localhost ~]# kill 1284

创建目录

[root@localhost ~]#mkdir /pro

目标服务器配置rsync：192.168.171.129

安装配置Rsync

[root@localhost ~]# yum install rsync –y

配置rsyncd.conf文件

[root@localhost ~]# vim /etc/rsyncd.conf

# /etc/rsyncd: configurationfile for rsync daemon mode

# See rsyncd.conf man page formore options.

port=873

uid=root

gid=root

use chroot = no

max connections=7

pid file = /var/run/rsyncd.pid

log file = /var/log/rsyncd.log

lock file =/var/run/rsyncd.lock

strict modes = true

transfer logging =yes

log format = %t %a %m %f %b

syslog facility = local3

timeout = 300

#同步项目1

[pro1]

path = /pro

list = false

ignore errors = yes

read only = no

write only =no

hosts allow = *

auth users = rsyncuser

secrets file =/etc/rsyncd.secrets

 

#同步项目2  该项为扩展，单点同步可忽略

[web1]

path = /web

list = false

ignore errors = yes

read only = no

write only =no

hosts allow = *

auth users = rsyncuser

secrets file =/etc/rsyncd.secrets

创建安全认证文件rsyncd.secrets

[root@localhost ~]# vim /etc/rsyncd.secrets

rsyncuser:123456

设置文件权限

[root@localhost ~]# chmod 600 /etc/rsyncd.secrets

启动rsync服务

守护进程模式启动方法：

[root@localhost ~]#/usr/bin/rsync --daemon --config=/etc/rsyncd.conf

关闭rsync服务

直接关闭进程：

[root@localhost ~]# netstat -nlutp | grep rsync

tcp   0     0 0.0.0.0:873            0.0.0.0:*              LISTEN      1784/rsync         

tcp6  0     0 :::873                 :::*                    LISTEN      1784/rsync

[root@localhost ~]# kill 1784

创建目录

[root@localhost ~]#mkdir /pro

在发布服务器上，手动测试数据同步效果！

[root@localhost ~]#rsync -avzH --delete --progress --password-file=/etc/rsyncd.secrets /pro/pro1 [email protected]::pro1

目录效果

[root@localhost pro]# ll

total 8

drwxr-xr-x. 2 root root 4096Aug 15 17:10 pro1

 

如果有问题，请参考报错处理！直至成功后，可继续下面的操作！

 

发布服务器配置inotify：192.168.171.128

安装inotify-tools工具，实现目录实时监控

[root@localhost ~]#yum install inotify-tools –y

配置inotify监控脚本rsync.sh——监控PRO目录

[root@localhost ~]#vim /etc/mesh/rsync.sh

#!/bin/bash

src=/pro/

des1=pro

 

host1=192.168.171.129

#host2=192.168.171.130  #备用机

#host3=192.168.171.131  #备用机

 

user1=rsyncuser

 

/usr/bin/inotifywait -mrq--timefmt '%d/%m/%y %H:%M' --format '%T %w %f' -e modify,delete,create,attrib$src | while read file DATE TIME DIR;

 

do

rsync -avzH --delete--progress --password-file=/etc/rsyncd.secrets $src $user1@$host1::$des1

#rsync -avzH --delete--progress --password-file=/etc/rsyncd.secrets $src $user1@$host2::$des1

#rsync -avzH --delete--progress --password-file=/etc/rsyncd.secrets $src $user1@$host3::$des1

echo "${files} wasrsynced" >> /var/log/rsync.log 2>&1

done

（如果有多个目录，可设置多个监控脚本，若有多台主机，可设置多行代码）

设置开机启动inotify等脚本

[root@localhost ~]# chmod 755 /etc/rc.d/rc.local

[root@localhost ~]# vim /etc/rc.d/rc.local

#!/bin/bash

# THIS FILE IS ADDED FORCOMPATIBILITY PURPOSES

# It is highly advisable tocreate own systemd services or udev rules

# to run scripts during bootinstead of using this file.

# In contrast to previousversions due to parallel execution during boot

# this script will NOT be runafter all other services.

# Please note that you mustrun 'chmod +x /etc/rc.d/rc.local' to ensure

# that this script will beexecuted during boot.

 

/bin/bash /etc/mesh/shut-firewall.sh&

/bin/bash /etc/mesh/rsyncd-pro.sh&

/bin/bash /etc/mesh/rsyncdstart.sh&

 

附录脚本内容

[root@localhost ~]# vim /etc/mesh/rsyncd-pro.sh

#!/bin/bash

src=/pro

des1=pro

host1=192.168.171.129

host2=192.168.171.130

user1=rsyncuser

/usr/bin/inotifywait -mrq--timefmt '%d/%m/%y %H:%M' --format '%T %w %f' -e modify,delete,create,attrib$src | while read file DATE TIME DIR;

do

rsync -avzH --delete --progress --password-file=/etc/rsyncd.secrets $src $user1@$host1::$des1

rsync -avzH --delete--progress --password-file=/etc/rsyncd.secrets $src $user1@$host2::$des1

echo "${files} wasrsynced" >> /var/log/rsync.log 2>&1

done

 

[root@localhost ~]# vim /etc/mesh/rsyncdstart.sh

#!/bin/bash

/usr/bin/rsync --daemon --config=/etc/rsyncd.conf

 

新增机器，需要做的几件事儿

  1. 在发布服务器上修改inotify的监控主机信息，参见rsync-pro1.sh。

  2. 重复准备工作

  3. 重复操作目标主机（192.168.171.129）的部署过程。

  4. 测试数据同步效果


Inotify参数设置调整如下：

[root@localhost pro]# sysctl -a | grep max_queued_events

fs.inotify.max_queued_events =16384

[root@localhost pro]# sysctl -a | grep max_user_watches

fs.epoll.max_user_watches =202874

fs.inotify.max_user_watches =8192

[root@localhost pro]# sysctl -a | grep max_user_instances

fs.inotify.max_user_instances= 128

 

[root@localhost pro]# sysctl -w fs.inotify.max_queued_events="99999999"

fs.inotify.max_queued_events =99999999

[root@localhost pro]# sysctl -w fs.inotify.max_user_watches="99999999"

fs.inotify.max_user_watches =99999999

[root@localhost pro]# sysctl -w fs.inotify.max_user_instances="65535"

fs.inotify.max_user_instances= 65535

 

vim /etc/sysctl.conf

fs.inotify.max_queued_events=99999999

fs.inotify.max_user_watches=99999999

fs.inotify.max_user_instances=65535

 

rsync参数说明

rsync -avzH--delete --progress --password-file=/etc/rsyncd.secrets $src$user1@$host1::$des1

-v,--verbose 详细模式输出
-q, --quiet 精简输出模式
-c, --checksum 打开校验开关，强制对文件传输进行校验
-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD
-r, --recursive 对子目录以递归模式处理
-R, --relative 使用相对路径信息
-b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
--backup-dir 将备份文件(如~filename)存放在在目录下。
-suffix=SUFFIX 定义备份文件前缀
-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)
-l, --links 保留软链结
-L, --copy-links 想对待常规文件一样处理软链结
--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结
--safe-links 忽略指向SRC路径目录树以外的链结
-H, --hard-links 保留硬链结
-p, --perms 保持文件权限
-o, --owner 保持文件属主信息
-g, --group 保持文件属组信息
-D, --devices 保持设备文件信息
-t, --times 保持文件时间信息
-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间
-n, --dry-run现实哪些文件将被传输
-W, --whole-file 拷贝文件，不进行增量检测
-x, --one-file-system 不要跨越文件系统边界
-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节
-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步
--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息
-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件
--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件
--delete 删除那些DST中SRC没有的文件
--delete-excluded 同样删除接收端那些被该选项指定排除的文件
--delete-after 传输结束以后再删除
--ignore-errors 及时出现IO错误也进行删除
--max-delete=NUM 最多删除NUM个文件
--partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输
--force 强制删除目录，即使不为空
--numeric-ids 不将数字的用户和组ID匹配为用户名和组名
--timeout=TIME IP超时时间，单位为秒
-I, --ignore-times 不跳过那些有同样的时间和长度的文件
--size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间
--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0
-T --temp-dir=DIR 在DIR中创建临时文件
--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
-P 等同于 --partial
--progress 显示备份过程
-z, --compress 对备份的文件在传输时进行压缩处理
--exclude=PATTERN 指定排除不需要传输的文件模式
--include=PATTERN 指定不排除而需要传输的文件模式
--exclude-from=FILE 排除FILE中指定模式的文件
--include-from=FILE 不排除FILE指定模式匹配的文件
--version 打印版本信息
--address 绑定到特定的地址
--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件
--port=PORT 指定其他的rsync服务端口
--blocking-io 对远程shell使用阻塞IO
-stats 给出某些文件的传输状态
--progress 在传输时现实传输过程
--log-format=formAT 指定日志文件格式
--password-file=FILE 从FILE中得到密码
--bwlimit=KBPS 限制I/O带宽，KBytesper second
-h, --help 显示帮助信息