rsync 远程同步

一、rsync

1.1 、关于rsync

• 一款快速增量备份工具

• Remote Sync，远程同步
  支持本地复制，或者与其他SSH、rsync主机同步

• 在远程同步任务中，负责发起rsync同步操作的客户机称为发起端，而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中，同步源负责提供文件的原始位置，发起端应对该位置具有读取权限。
  可以镜像保存整个目录树和文件系统；

1.2、rsync 的特点

• 可以很容易做到保持原来文件的权限、时间、软硬链接等；

• 无须特殊权限即可安装；

• 优化的流程，文件传输效率高；

• 可以使用 rcp、ssh 等方式来传输文件，当然也可以通过直接的 socket 连接；

• 支持匿名传输。

1.3、 工作原理

• 在远程同步任务中，负责发起rsync同步操作的客户机称为发起端，而负责响应来自客户机的rsync同步操作的服务器称为rsync同步源。

• 首先服务器B（发起源）向服务器A（同步源）进行数据备份，将自己的数据备份到服务器A中。

• 当服务器B中的数据遭到损失或者增量的时候，都会从服务器A中进行数据同步。

• 服务器B数据丢失则从服务器A中同步数据丢失的部分。

• 当服务器B数据增多了，就会再次向服务器A进行数据备份，但是备份的不是完整备份，而是增量备份，即备份同步源中没有的数据。

二、配置rsync源服务器

2.1、 基本格式和常用选项

#基本格式
rsync [选项] 原始位置 目标位置

常用选项	说明
-v	显示同步过程的详细信息
-z	在传输文件时进行压缩
-a	归档模式，保留文件的权限、属性等信息，等同于组合选项“-rlptgoD”
-r	递归模式，包含目录及子目录中的所有文件
-l	对于符号链接文件仍然复制为符号链接文件
-p	保留文件的权限标记
-t	保留文件的时间标记
-g	保留文件的属组标记（仅超级用户使用）
-o	保留文件的属主标记（仅超级用户使用）
-H	保留硬链接文件
-A	保留ACL属性信息
-D	保留设备文件及其他特殊文件
–delete	删除目标位置有而原始位置没有的文件
–checksum	根据校验和（而不是文件大小、修改时间）来决定是否跳过文件

2.2、 启动和关闭rsync服务

启动服务

#启动 rsync 服务，以独立监听服务的方式（守护进程）运行 
rsync --daemon				

 关闭服务

#关闭 rsync 服务
kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid

2.3、 下行同步基本格式

从源服务器拉数据
rsync [选项] 源服务器位置 本地位置


##举个例子#
#格式一
rsync -avz [email protected]::message /opt/					

#格式二
rsync -avz rsync://[email protected]/message /opt/

#test为配置文件中的授权账户
#IP地址为同步源地址
#message 为配置文件中定义的共享模块

2.4、 上行同步基本格式

推数据到源服务器
rsync [选项] 本地位置 源服务器位置

2.4、 免交互

2.4.1、 指定密码文件

echo "abc123" > /etc/server.pass
chmod 600 /etc/server.pass

2.4.2、rsync-daemon方式

rsync -avz --delete --password-file=/opt/userlist [email protected]::wwwky31  /opt/data/          #rsync-daemon方式

2.4.3、 rsync-ssh方式

rsync -avz --delete -e 'sshpass -p abc1234 ssh -p 22' /etc/yum.repos.d [email protected]:/opt/data       #rsync-ssh方式

2.5、 定期同步

结合crontab计划任务，可以实现定期同步。

#举个例子 
crontab -e
30 22 * * * /usr/bin/rsync -az --delete --password-file=/etc/server.pass [email protected]::wwwroot /opt/
#为了在同步过程中不用输入密码，需要创建一个密码文件，保存 backuper 用户的密码，如 /etc/server.pass。
#在执行 rsync 同步时使用选项 “--password-file=/etc/server.pass” 指定即可。

systemctl restart crond
systemctl enable crond

三、部署rsync下行同步

3.1、配置环境

主机		        IP地址	        主要软件
Master	CentOS7	192.168.11.16	 rsync
Slave	CentOS7	192.168.11.17	 rsync 

3.2、将 Master 服务器数据备份到 Slave 服务器

 master（192.168.11.16）：

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
#关闭防火墙及安装机制

yum install -y httpd rsync
#rsync系统一般已默认安装，安装httpd是为了生成/var/www/html目录（后续会用到作为共享目录）

vim /etc/rsyncd.conf
#编辑rsync配置文件
uid = root
gid = root
use chroot = yes
address = 192.168.11.16
port 873
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
hosts allow = 192.168.11.0/24
[wwwroot]        
path = /var/www/html
comment = Document Root of www.yxp.com
read only = yes
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z
auth users = backuper	
secrets file = /etc/rsyncd_users.db
----详解----
uid = root											#用户id,表示共享权限能执行的身份
gid = root											#组id
use chroot = yes									#开启，禁锢在源目录，表示允许在访问我备份的目录或文件的时候，使用的角色是root，同时你访问本地目录时拥有的也是root权限
address = 192.168.11.16							#监听地址
port 873											#默认端口号为873
log file = /var/log/rsyncd.log						#日志文件存放位置
pid file = /var/run/rsyncd.pid						#存放进程id的文件位置
hosts allow = 192.168.11.0/24						#允许访问的主机网段，有点类似于黑白名单
[wwwroot]        									#共享模块的名称，rsync默认调用该模块，默认我调用的路径是该模块指定的路径
path = /var/www/html								#源目录路径
comment = Document Root of www.yxp.com				#
read only = yes										#是否为只读
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z	#同步时不再压缩的文件类型，因为同步时，-avz已经进行压缩
auth users = backuper									#授权用户，使用wwwroot模块的用户是哪个用户，多个账户以空格隔开
secrets file = /etc/rsyncd_users.db					#存放账号信息的数据文件，一行一个
----

vim /etc/rsyncd_users.db
backuper:123123
#编辑用户账号文件，固定格式为[名称:密码]，一行一个

chmod 600 /etc/rsyncd_users.db
#官方要求，最好只是赋权600！

rsync --daemon
#开启服务
netstat -natp | grep rsync
#检测端口号，确认服务是否成功开启

cd /var/www/html
#切换至共享目录下
touch dog.html cat.html
ls

关闭防火墙及安装机制

rsync系统一般已默认安装，安装httpd是为了生成/var/www/html目录（后续会用到作为共享目录）

编辑rsync配置文件

编辑用户账号文件，固定格式为[名称:密码]，一行一个

官方要求，最好只是赋权600

开启服务、检测端口号，确认服务是否成功开启

切换至共享目录下，创建文件

slave：（192.168.11.17）：

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
#关闭防火墙及安装机制

yum install -y rsync
#安装rsync

mkdir /abc
cd /abc/
#创建一个目录/abc，用来同步

rsync -avz [email protected]::wwwroot /abc
#使用rsync同步备份源的同步文件

ls 
#查看同步是否成功


vim /etc/server.pass
123123
#编辑免交互密钥文件，第一行为密码


chmod 600 /etc/server.pass
#给密钥文件赋权600

rsync -az --delete --password-file=/etc/server.pass [email protected] ::wwwroot /abc
#rsync，使用密钥文件/etc/server/pass对应backuper用户，IP地址为192.168.59.111的共享模块文件进行压缩，并归档同步至当前服务器的/abc目录下，同时删除差异内容，如果原目标有的，会增加，原目标没有的，会删除。保持一致性。

ls /abc
#查看下行同步是否成功

关闭防火墙及安装机制

安装rsync

创建一个目录/abc，用来同步

使用rsync同步备份源的同步文件，并查看是否完成

编辑免交互密钥文件，第一行为密码

给密钥文件赋权600

四、inotify

可以监控文件系统的变动情况，并做出通知响应

#调整inotify内核参数(优化)
letc/ sysctl.conf(内核参数配置文件)
inotifywait:    #用于持续监控,实时输出结果
inotifywatch:   #用于短期监控,任务完成后再输出结果
max_queue_events   #监控事件队列大小
max_user instances      #最多监控实例数，可以看成最多可以监控多少个实例
max_user_watches        #每个实例最多监控文件数

inotifywait格式参数
常见参数    说明
-m          持续进行监控
-r          递归监控所有子对象
-q          简化输出信息
-e          指定要监控哪些事件类型（*）

五、配置Rsync+Inotify 实时同步

• 使用inotify通知接口，可以用来监控文件系统的各种变化情况，如文件存取、删除、移动、修改等。利用这一机制，可以非常方便地实现文件异动告警、增量备份，并针对目录或文件的变化及时作出响应。

• 将inotify机制与rsync工具相结合，可以实现触发式备份（实时同步），即只要原始位置的文档发生变化，则立即启动增量备份操作；否则处于静默等待状态。

• 因为 inotify 通知机制由 Linux 内核提供，因此主要做本机监控，在触发式备份中应用时更适合上行同步

  Master 关闭只读模式并为共享目录赋权
  Master（192.168.11.16）
  

vim /etc/rsyncd.conf
read only = no
#关闭只读模式，否则将不可写入


kill `cat /var/run/rsyncd.pid`
#修改完配置文件需要重启服务，这里采用直接杀掉进程号的方式

netstat -natp | grep rsync
#检查一下服务是否已被终止

rsync --daemon
netstat -natp | grep rsync
#再次开启服务并检查端口号确认

关闭只读模式，否则将不可写入

修改完配置文件需要重启服务，这里采用直接杀掉进程号的方式

检查一下服务是否已被终止

再次开启服务并检查端口号确认

 优化 Slave 内核参数
 Slave（192.168.11.17）

cat /proc/sys/fs/inotify/max_queued_events      #监控事件队列
cat /proc/sys/fs/inotify/max_user_instances     #最多监控实例数
cat /proc/sys/fs/inotify/max_user_watches       #每个实例最多监控文件数

vim /etc/sysctl.conf         #加大每个参数
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576
#当要监控的目录、文件数据量较多或者变化频繁时，建议加大参数值

sysctl -p
#刷新

查看参数

 加大每个参数

刷新

客户端（192.168.11.17）：编译安装 inotify-tools

yum install -y gcc gcc-c++ 
#安装gcc gcc-c++ 

cd /opt
#切换至/opt上传inotify-tools安装包

tar zxf inotify-tools-3.14.tar.gz 
#解压

cd /opt/inotify-tools-3.14/
./configure
make -j 4 && make install
#编译安装

安装gcc gcc-c++

切换至/opt上传inotify-tools安装包,解压

编译安装

 编写触发同步脚本

vim /opt/inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /opt/abc/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /opt/abc/ [email protected]::wwwroot"

$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
        $RSYNC_CMD
	fi
done
----详解----
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /opt/abc/"
#INOTIFY_CMD变量：持续监控 /opt/abc目录中的创建，删除，移动，修改，改变时间的操作
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /opt/abc/ [email protected]::wwwroot"
#RSYNC_CMD变量：使 xixi 用户，/etc/server.pass 密钥文件，将 /opt/xcf1 目录下的文件进行压缩，归档，保留硬链接文件同步至 192.168.59.111 的共享模块定义的目录 /var/www/html 下，并删除差异性内容，保持一致性

$INOTIFY_CMD | while read DIRECTORY EVENT FILE		#持续监控...
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then		#如果服务并未启动，则执行同步
        $RSYNC_CMD
	fi
done
----

cd /opt/
chmod +x inotify.sh
#给脚本赋权

chmod +x /etc/rc.d/rc.local 
echo "/opt/inotify.sh" >> /etc/rc.d/rc.local 
#设置开机自启动

sh -x inotify.sh
#执行脚本

cd /opt/abc
touch jingjing.html
rm -rf jiang.html
#创建一个新的html文件并删除之前的qwe
ls
#再次确认一下

编写脚本

给脚本赋权

 设置开机自启动

执行脚本

实时同步效果测试

#触发式上行同步的验证过程
1）在本机运行 /opt/inotify.sh 脚本程序;

2）切换到本机的 /data 目录，执行增加、删除、修改文件等操作;

3）查看远端服务器中的 message 目录下的变化情况。