rsync数据同步+inotify实时同步

一.rsync

1.rsync概述

rsync（remote sync）远程同步；
rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步。已支持跨平台，可以在Windows与Linux间进行数据同步。
rsync监听端口：873
rsync运行模式：C/S

2.rsync优缺点

优点：
1,可以镜像保存整个目录树和文件系统。
2,可以做到保持原来文件的权限、时间、软硬链接等等。
3,无须特殊权限即可安装。
4,可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。
5,可以使用rcp、ssh等方式来传输文件，rsync本身不对数据加密.
6,支持匿名传输，可以实现方便安全的进行数据备份和镜像。
7,可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高.
8,可以通过socket（进程方式）传输文件和数据

缺点：
1.同步数据，需要扫描所有文件进行对比，才进行差量传输。如果文件数量达到百万甚至千万级，扫描文件对比文件将非常耗时，降低了rsync效率；

2.rsync不能实时地区监测、同步数据。虽然可以通过守护进程方式触发同步，但两次动作间有时间差，导致数据不一致，无法应对出现故障时完全恢复数据。
解决方法：rsync+inotify

3.rsync同步源

在远程同步任务中，负责发起rsync司步操作的客户机称为发起端，而负责响应来自客户机的rsync同步操作的服务器称为同步源(备份源)。在同步过程中，同步源负责提供文件的原始位置，发起端应对该位置具有读取权限。
例:
rsync服务端同步别人，下行同步，将别人的信息下载到本地；
别人同步rsync服务端，上行同步，将信息上传至rsync服务器。

同步方式：
全量备份：
原有的数据全部传送
把原来的文件和新的文件一起统一传送
全量复制，效率低

增量备份：
在传输数据之前通过一些算法通过你有的数据和我有的数据进行对比，把不一样的数据通过网络传输，增量复制，效率高

4.rsync命令

rsync [选项]  原始位置   目标位置

常用选项				说明
-r				递归模式，包含目录及子目录中的所有文件
-l				对于符号链接文件仍然复制为符号链接文件
-v				显示同步过程的详细信息
-z				在传输文件时进行压缩goD
-p				保留文件的权限标记
-a				归档模式，递归并保留对象属性，等同于-rlpt
-t				保留文件的时间标记
-g				保留文件的属组标记（仅超级用户使用）
-o				保留文件的属主标记（仅超级用户使用）
-H				保留硬链接文件
-A				保留ACL属性信息
-D				保留设备文件及其他特殊文件
--delete		删除目标位置有而原始位置没有的文件
--checksum		根据对象的校验和来决定是否跳过文件

5.配置rsync

配置源的两种表示方法
格式一：
用户名@主机地址::共享模块名
rsync -avz [email protected]::wwwroot /root

格式二：
rsync://用户名@主机地址/共享模块名
rsync -avz rsync://[email protected]/wwwroot /root

二，inotify实时同步

Inotify 是一个 Linux特性，它监控文件系统操作，比如读取、写入和创建。Inotify 反应灵敏，用法非常简单，并且比 cron 任务的繁忙轮询高效得多。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Wi2vGkDb-1651391770143)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1650545689160.png)]

1.调整inotify内核参数（优化）

/etc/sysctl.conf(内核参数配置文件)，需要配置
max_queue_events ：监控事件队列大小
max_user_instances ：最多监控实例
max_user_watches ：每个实例最多监控文件数
配置的监控数量应该大于监控目标的总文件数

2.使用inotify-tools辅助工具

inotifywait：用于持续监控，实时输出结果
可监控modify（修改）、create（创建）、move（移动）、delete（删除）、attrib（属性更改）等各种事件，一有变动立即输出结果。
inotifywatch：用于短期监控，任务完成后再输出结果
可用来收集文件系统变动情况，并在运行结束后输出汇总的变化情况。
例：
inotifywait -mrq -e modify,create,attrib,move,delete 文件或目录
-m	持续进行监控
-r	递归监控所有子对象
-q	简化输出信息
-e	指定要监控哪些事件类型
modify	修改
create	创建
attrib  属性更改
move	移动
deletc	删除

3.编写同步脚本

vim /opt/inotify_rsynx.sh
#!/bin/bash
#定义两个变量：监控文件，执行备份
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete 需要监控的目录或文件"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/密码文件 刚才监控的目录或文件 用户名@主机地址::共享模块名"
 
 #while read获取监控结果
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
#当读取目录，事件，文件
do 
    #如果rsync没有运行，执行rsync进行备份操作
    if [ $(pgrep rsync | wc -l) -eq 0 ] ; then
        $RSYNC_CMD
	fi
done

三，rsync部署（下行同步）

环境：
Master 192.168.38.143 rsync
Slave 192.168.118.132 rsync / inotify-tools-3.14.tar.gz

1.配置Master主机

systemctl stop firewalld.service 
setenforce 0
#检查是否安装，一般系统已默认安装rsync
rpm -q rsync
yum -y install rsync
（2）建立/etc/rsyncd.conf 配置文件
如采用匿名的方式，只要将下面配置中的“auth users”和“secrets file”配置项去掉即可。
vim /etc/rsyncd.conf
uid = root					     
gid = root					    
use chroot = yes					#禁锢在源目录
address = 192.168.38.143			#监听地址，监听本机地址
port 873						    #监听端口 tcp/udp 873，可通过cat /etc/services | grep rsync查看
log file = /var/log/rsyncd.log		#日志文件位置
pid file = /var/run/rsyncd.pid		#存放进程 ID 的文件位置
hosts allow = 192.168.38.0/24		#允许同步的客户机网段
[wwwroot]					        #共享模块名称
path = /var/www/html				#源目录的实际路径（同步的目录）
comment = Document Root of www.ceshi.com
read only = yes					    #是否为只读
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z  #同步时不再压缩的文件类型
auth users = backuper srs			#授权账户，多个账号以空格分隔
secrets file = /etc/rsyncd_users.db			      #存放账户信息的数据文件

为备份账户创建数据文件
无须建立同名系统用户

vim /etc/rsyncd_users.db
backuper:123456

chmod 600 /etc/rsyncd_users.db

保证所有用户对源目录/var/www/html（需要备份的文件目录）都有读取权限

yum -y install httpd
chmod +r /var/www/html
ls -ld /var/www/html

启动 rsync 服务，以独立监听服务的方式（守护进程）运行

rsync --daemon
netstat -natp | grep rsync

2.配置Slave主机

systemctl stop firewalld.service
setenforce 0

yum -y install rsync
cd /
mkdir /qlk
chmod 777 qlk

vim /etc/server.pass
123456

chmod 600 /etc/server.pass

3.验证同步

Master：
cd /var/www/html/
vim 1.txt

Slave：
rsync -az --delete --password-file=/etc/server.pass [email protected]::wwwroot /qlk
ls

四，rsync+inotify实时同步

1.配置Master主机

修改rsync源服务器配置文件
vim /etc/rsyncd.conf
#关闭只读，上行同步需要可以写
read only = no

#重启服务
kill `cat /var/run/rsyncd.pid`
netstat -natp | grep rsync
rsync --daemon
netstat -natp | grep rsync
 
chmod 777 /var/www/html

跟前面一样

2.配置Slave主机

max_queue_events（监控事件队列，默认值为16384）
max_user_instances（最多监控实例数，默认值为128）
max_user_watches（每个实例最多监控文件数，默认值为8192）
当要监控的目录、文件数量较多或者变化较频繁时，建议加大这三个参数的值。
cat /proc/sys/fs/inotify/max_queued_events
cat /proc/sys/fs/inotify/max_user_instances
cat /proc/sys/fs/inotify/max_user_watches

vim /etc/sysctl.conf
fs.inotify.max_queued_events = 17000
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

sysctl -p

安装 inotify-tools

yum -y install gcc gcc-c++ make

#放入安装包
tar zxvf inotify-tools-3.14.tar.gz -C /opt

cd /opt/inotify-tools-3.14/
./configure && make && make install

编写触发式同步脚本

vim /opt/inotify_rsync.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /abc/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /abc/ [email protected]::wwwroot"

$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
        $RSYNC_CMD
        fi
done

cd /opt/
chmod +x inotify_rsync.sh
. /opt/inotify_rsync.sh &

#加入开机自动执行

chmod +x /etc/rc.d/rc.local
echo '/opt/inotify_rsync.sh' >> /etc/rc.d/rc.local

3.验证实时同步

Slave
cd /abc
touch qlk.txt
ls
rm -rf qlk.txt
ls

Master
cd /var/www/html
ls

总结

1、rsync是数据同步，inotify是实时同步，不要搞混
2、实验前该关的关，该配置的配置，防火墙、核心防护、网卡之类的