rsync远程同步
目录
一、概述
二、同步方式
1、全量备份
2、增量备份
3、rsync源服务器的关系
三、配置rsync源
1、基本思路
2、配置文件rsyncd.conf
3、独立的账号文件
4、启用rsync服务
5、rsync 功能及特点
6、cp 与rsync的比较
四、rsync命令
五、配置源的两种表达方式
六、inotify简介
七、配置rsync下行同步
将 client 服务器数据备份到 server 服务器
server
八、rsync+ inotify实时同步
client
server
一、概述
rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息，实现数据的备份迁移特性。
rsync软件适用于unix/linux/windows等多种操作系统平台
rsync是一个快速和非常同样的文件复制工具。它能本能复制，远程复制，或者远程守护进程方式复制，它提供了大量的参数来控制其行为的各个方面，并且允许非常灵活的方式来实现文件的传输复制
以其delta-transfer算法闻名。
rsync监听端口：873
rsync运行模式：C/S
二、同步方式
1、全量备份
原有的数据全部传送
把原来的文件和新的文件一起统一传送
全量复制，效率低
2、增量备份
在传输数据之前通过一些算法通过你有的数据和我有的数据进行对比，把不一样的数据通过网络传输
增量复制，效率高
3、rsync源服务器的关系
rsync同步源
指备份操作的远程服务器，也称为备份源
例：
A服务器同步B服务器的数据，B服务器就是备份源
反过来，B服务器同步A服务器的数据，那么A服务器就是备份源
三、配置rsync源
1、基本思路
建立rsyncd.conf配置文件、独立的账号文件
启用rsync的 --daemon模式
2、配置文件rsyncd.conf
认证配置auth users、secrets file，不加则为匿名
3、独立的账号文件
用户名:密码
每行一个用户记录
独立的账号数据，不依赖系统账号
4、启用rsync服务
通过 --daemon独自提供服务，rsync --daemon
执行kill $(cat /var/run/rsyncd.pid)关闭服务
5、rsync 功能及特点
rsync功能
作为命令：实现本地-远程文件同步
作为服务：实现本地-远程文件同步
rsync特点
可以镜像保存整个目录树和文件系统
可以保留原有的权限(permission,mode)，owner,group,时间(修改时间,modify time)，软硬链接，文件acl,文件属性(attributes)信息等
传输效率高，使用同步算法，只比较变化的
支持匿名传输，方便网站镜像；也可以做验证，加强安全
6、cp 与rsync的比较
cp将源文件完整复制到指定路径下 全备
rsync 做本地复制的时候
先将源文件和目标文件进行比较，找出差异部分
根据目的位置的文件与源文件差异的部分，进行一致性同步
scp：secure copy 同样是用来进行远程复制的命令，但是每次备份数据都是完全备份
四、rsync命令
命令使用语法
rsync 【选项】原始位置 目标位置
常用选项
-r 递归模式，包含目录及子目录中的所有文件
-l 对于符号链接文件仍然复制为符号链接文件
-v 显示同步过程的详细信息
-z 在传输时进行压缩
-a 归档模式，递归并保留对象属性，等同于-rlptgoD
-p 保留文件的权限标记
-t 保留文件的时间标记
-g 保留文件的属组标记（仅超级用户使用）
-o 保留文件的属主标记（仅超级用户使用）
-H 保留硬链接文件
-A 保留ACL属性信息
-D 保留设备文件及其他特殊文件
--delete 删除目标位置有而原始位置没有的文件
--checksum 根据对象的校验和来决定是否跳过文件
--delete的作用简单来说，就是删除差异文件，保留一致性
五、配置源的两种表达方式
格式一：
用户名@主机地址::共享模块名
格式二：
rsync://用户名@主机地址/共享模块名
六、inotify简介
可以监控文件系统的变动情况，并做出通知响应
调整inotify内核参数（优化）
/etc/sysctl.conf(内核参数配置文件)
max_queue_events #监控事件队列大小
max_user_instances #最多监控实例数
max_user_watches #每个实例最多监控文件数
notifywait：用于持续监控，实时输出结果
inotifywatch：用于短期监控，任务完成后再输出结果
inotifywait -mrq -e modify,create,move,delete /var/www/html
-m 持续进行监控
-r 递归监控所有子对象
-q 简化输出信息
-e 指定要监控哪些事件类型
modify 修改
create 创建
move 移动
delete 删除
七、配置rsync下行同步
下行同步：将master服务器数据备份到slave服务器
将 client 服务器数据备份到 server 服务器
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
#关闭防火墙及安装机制
yum install -y httpd rsync
#rsync系统一般已默认安装，安装httpd是为了生成/var/www/html目录（后续会用到作为共享目录）
vim /etc/rsyncd.conf
#编辑rsync配置文件
uid = root
gid = root
use chroot = yes
address = 192.168.111.71
port 873
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
hosts allow = 192.168.111.0/24
[wwwroot]
path = /var/www/html
comment = Document Root of www.kgc.com
read only = yes
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z
auth users = backuper
secrets file = /etc/rsyncd_users.db
----详解----
uid = root #用户id,表示共享权限能执行的身份
gid = root #组id
use chroot = yes #开启，禁锢在源目录，表示允许在访问我备份的目录或文件的时候，使用的角色是root，同时你访问本地目录时拥有的也是root权限
address = 192.168.111.72 #监听地址
port 873 #默认端口号为873
log file = /var/log/rsyncd.log #日志文件存放位置
pid file = /var/run/rsyncd.pid #存放进程id的文件位置
hosts allow = 192.168.111.0/24 #允许访问的主机网段，有点类似于黑白名单
[wwwroot] #共享模块的名称，rsync默认调用该模块，默认我调用的路径是该模块指定的路径
path = /var/www/html #源目录路径
comment = Document Root of www.kgc.com #
read only = yes #是否为只读
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z #同步时不再压缩的文件类型，因为同步时，-avz已经进行压缩
auth users = backuper #授权用户，使用wwwroot模块的用户是哪个用户，多个账户以空格隔开
secrets file = /etc/rsyncd_users.db #存放账号信息的数据文件，一行一个
----
vim /etc/rsyncd_users.db
backuper:123123
#编辑用户账号文件，固定格式为[名称:密码]，一行一个
chmod 600 /etc/rsyncd_users.db
#官方要求，最好只是赋权600！
rsync --daemon
#开启服务
netstat -natp | grep rsync
#检测端口号，确认服务是否成功开启
cd /var/www/html
#切换至共享目录下
touch aaa.html bbb.html
ls
server
systemctl stop firewalld.service
setenforce 0
cd /opt
mkdir test
chmod 777 test
vim /etc/server.pass
123123
chmod 600 /etc/server.pass
rsync -az --delete --password-file=/etc/server.pass [email protected]::wwwroot /opt/test/
ls test
八、rsync+ inotify实时同步
client
vim /etc/rsyncd.conf
read only = no
kill `cat /var/run/rsyncd.pid`
netstat -natp | grep rsync
rsync --daemon
netstat -natp | grep rsync
chmod 777 /var/www/html
server
cat /proc/sys/fs/inotify/max_queued_events
cat /proc/sys/fs/inotify/max_user_instances
cat /proc/sys/fs/inotify/max_user_watches
vim /etc/sysctl.conf
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 128
fs.inotify.max_user_watches = 8192
sysctl -p
yum -y install gcc gcc-c++
#放入安装包
tar zxvf inotify-tools-3.14.tar.gz -C /opt
cd /opt/inotify-tools-3.14/
./configure
make && make installvim /opt/inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /opt/test/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /opt/test/ [email protected]::wwwroot"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
if [ $(pgrep rsync | wc -l) -le 0 ] ; then
$RSYNC_CMD
fi
done
cd /opt/
chmod +x inotify.sh
#给脚本赋权
chmod +x /etc/rc.d/rc.local
echo "/opt/inotify.sh" >> /etc/rc.d/rc.local
#设置开机自启动
sh -x inotify.sh
#执行脚本
此时在server上创建的文件会实时更新到client