rsync+sersync文件实时同步
参考:
https://www.linuxidc.com/Linux/2017-10/147900.htm
https://yq.aliyun.com/articles/601394
https://blog.51cto.com/13673885/2103325?cid=704552
一、为什么要用Rsync+sersync架构?
1、sersync是基于Inotify开发的,类似于Inotify-tools的工具
2、sersync可以记录下被监听目录中发生变化的(包括增加、删除、修改)具体某一个文件或某一个目录的名字,然后使用rsync同步的时候,只同步发生变化的这个文件或者这个目录。
二、Rsync+Inotify-tools与Rsync+sersync这两种架构有什么区别?
1、Rsync+Inotify-tools
(1):Inotify-tools只能记录下被监听的目录发生了变化(包括增加、删除、修改),并没有把具体是哪个文件或者哪个目录发生了变化记录下来;
(2):rsync在同步的时候,并不知道具体是哪个文件或者哪个目录发生了变化,每次都是对整个目录进行同步,当数据量很大时,整个目录同步非常耗时(rsync要对整个目录遍历查找对比文件),因此,效率很低。
2、Rsync+sersync
(1):sersync可以记录下被监听目录中发生变化的(包括增加、删除、修改)具体某一个文件或某一个目录的名字;
(2):rsync在同步的时候,只同步发生变化的这个文件或者这个目录(每次发生变化的数据相对整个同步目录数据来说是很小的,rsync在遍历查找比对文件时,速度很快),因此,效率很高。
小结:当同步的目录数据量不大时,建议使用Rsync+Inotify-tools;当数据量很大(几百G甚至1T以上)、文件很多时,建议使用Rsync+sersync。
环境
10.22.60.33 master centos 7.5.1804 源服务器
10.22.60.34 slave centos 7.5.1804 目标服务器
##################### 目标服务器操作 ########################
一、在目标服务器上安装Rsync服务器(10.22.60.34)
1、关闭 selinux
$ vi /etc/selinux/config
SELINUX=disabled # 修改为:
$ setenforce 0 # 立即生效
2、关闭防火墙
$ systemctl stop firewalld.service
3、安装rsync服务端软件
$ yum install rsync xinetd # 安装
$ vi /etc/rc.d/rc.local # #设置开机启动
/usr/bin/rsync --daemon --config=/etc/rsyncd.conf # 添加开机启动
$ systemctl start xinetd #启动xinetd
4、创建rsyncd.conf配置文件
$ vi /etc/rsyncd.conf
uid = root
gid = root
use chroot = yes
max connections = 0
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
secrets file = /etc/rsync.pass
motd file = /etc/rsyncd.Motd
[data]
path = /data/NFS/data
comment = A directory in which data is stored
ignore errors = yes
read only = no
hosts allow = 10.22.60.0/24
[logs]
path = /data/NFS/logs
comment = The directory where the logs are stored
ignore errors = yes
read only = no
hosts allow = 10.22.60.0/24
[etc]
path = /data/NFS/etc
comment = The directory where the configuration is stored
ignore errors = yes
read only = no
hosts allow = 10.22.60.0/24
5、创建用户认证文件
$ vi /etc/rsync.pass # 配置文件,添加以下内容,添加允许传输用户和密码
sunline:sunline # 格式,用户名:密码,可以设置多个,每行一个用户名:密码
6、设置文件权限
$ chmod 600 /etc/rsyncd.conf #设置文件所有者读取、写入权限
$ chmod 600 /etc/rsync.pass #设置文件所有者读取、写入权限
7、启动rsync和xinetd
$ /usr/bin/rsync --daemon --config=/etc/rsyncd.conf
$ systemctl start xinetd
##################### 源服务器操作 ########################
1、关闭 selinux
$ vi /etc/selinux/config
SELINUX=disabled # 修改为:
$ setenforce 0 # 立即生效
2、关闭防火墙
$ systemctl stop firewalld.service
3、安装Rsync客户端端软件
$ yum install rsync xinetd
$ vi /etc/rc.local ## 配置开机启动
/usr/bin/rsync --daemon
$ vi /etc/reyncd.conf
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
motd file = /etc/rsyncd.Motd
[Sync]
comment = Sync
uid = root
gid = root
port= 873
$ chmod +x /etc/rc.d/rc.local #否则重启不执行
$ systemctl start xinetd #启动(CentOS中是以xinetd来管理rsync服务的)
4、创建认证密码文件
$ vi /etc/passwd.txt #编辑文件,添加以下内容,该密码应与目标服务器中的/etc/rsync.pass中的密码一致
sunline
$ chmod 600 /etc/passwd.txt #设置文件权限,只设置文件所有者具有读取、写入权限即可
5、测试数据同步
测试源服务器10.22.60.33到目标服务器10.22.60.34,之间的数据同步
$ mkdir -p /data/NFS/data/sync_test
$ rsync -avH --port=873 --progress --delete /data/NFS/data [email protected]::data--password-file=/etc/passwd.txt
sending incremental file list
data/
data/sync_test/
sent 91 bytes received 20 bytes 222.00 bytes/sec
total size is 0 speedup is 0.00
运行完成后,在目标服务器10.22.60.34上查看,在/data/NFS/data目录下有sync_test文件夹,说明数据同步成功
传输到目标服务器的目录和文件均放到/etc/rsyncd.conf配置的服务器目录路径,如果源目录改变了,
那么传输时两个目录将进行目录匹配,会有增删动作,因此需要注意。
二、安装sersync工具,实时触发rsync进行同步
1、查看服务器内核是否支持inotify
$ ll /proc/sys/fs/inotify # 列出文件目录,出现下面的内容,说明服务器内核支持inotify
total 0
-rw-r--r-- 1 root root 0 Mar 20 13:21 max_queued_events
-rw-r--r-- 1 root root 0 Mar 20 11:14 max_user_instances
-rw-r--r-- 1 root root 0 Mar 20 13:21 max_user_watches
备注:Linux下支持inotify的内核最小为2.6.13,可以输入命令:#uname -a查看内核
CentOS 7.0内核为3.10.0,默认已经支持inotify
2、修改inotify默认参数(inotify默认内核参数值太小) 修改参数:
$ sysctl -wfs.inotify.max_queued_events="99999999"
$ sysctl -w fs.inotify.max_user_watches="99999999"
$ sysctl -wfs.inotify.max_user_instances="65535"
$ vi /etc/sysctl.conf #添加以下代码
fs.inotify.max_queued_events=99999999
fs.inotify.max_user_watches=99999999
fs.inotify.max_user_instances=65535
3、安装sersync
sersync下载地址:https://sersync.googlecode.com/files/sersync2.5.4_64bit_binary_stable_final.tar.gz
(可以使用迅雷下载,直接下载会有墙)
$ tar zxvfsersync2.5.4_64bit_binary_stable_final.tar.gz #解压
$ mv GNU-Linux-x86 /usr/local/sersync #移动目录到/usr/local/sersync
4、创建rsync
$ cd /usr/local/sersync #进入sersync安装目录
$ cp confxml.xml confxml.xml-bak #备份原文件
$ cp confxml.xml data_configxml.xml # 复制用于同步data目录的文件
$ cp confxml.xml etc_configxml.xml # 复制用于同步etc目录的配置文件
$ cp confxml.xml logs_configxml.xml # 复制用于同步logs的配置文件
5、修改配置文件
------ data 配置 ------
$ vi data_configxml.xml
----- 24行 -----
24 # 本地地址同步路径
25 # 目标服务器地址信息
26
27
28
29
30
31
32 ## 启用身份验证"true",密码文件路径"/etc/passwd.txt"
33
34
35
36
------ logs 配置 ------
$ vi logs_configxml.xml
------ etc 配置 ------
$ vi etc_configxml.xml
6、启动服务
$ /usr/local/sersync/sersync2 -d -r -o /usr/local/sersync/data_configxml.xml
$ /usr/local/sersync/sersync2 -d -r -o /usr/local/sersync/logs_configxml.xml
$ /usr/local/sersync/sersync2 -d -r -o /usr/local/sersync/etc_configxml.xml
在源服务器上/data/NFS/data、/data/NFS/logs、/data/NFS/etc目录下创建文件或目录
在目标服务器上查看,是否同步过去
7、设置sersync监控开机自动执行
$ vi /etc/rc.d/rc.local #编辑,在最后添加
/usr/local/sersync/sersync2 -d -r -o /usr/local/sersync/data_configxml.xml
/usr/local/sersync/sersync2 -d -r -o /usr/local/sersync/logs_configxml.xml
/usr/local/sersync/sersync2 -d -r -o /usr/local/sersync/etc_configxml.xml