rsync远程同步

目录

rsync

rsync简介

rsync优点

同步方式

rsync名词解释

rsync工作原理

常用rsync命令

配置源的两种表达方法

远程同步实操

如何不想每次登录的时候输入密码

同步删除文件

定时完成操作

格式二 指定资源下载到/opt进行备份

通过信道协议同步数据​编辑​编辑

rsync实时同步

定期同步的不足

实时同步的优点

inotify

客户端配置rsync+inotify

使用rsync实现删除大量文件

---

rsync

rsync简介

rsync是一种快速增量备份工具，远程同步，支持本地复制，rsync官网。端口：873

rsync如果做本地复制的话步骤：

①首先将源文件和目标位置的文件对比较，找出差异的部分

②根据目的位置的文件与源文件差异部分，进行一致性的同步

rsync优点

可以保持原来文件的权限，时间，软硬链接等

无需特殊权限就可以安装

复制快速，复制有20G的时候会自动压缩，然后传到备份服务器上

支持匿名传输

rsync的用户不需要系统用户，可以自定义

同步方式

完整备份：每次备份都是从备份源将所有的文件或目录备份到目的地

差量备份：备份上次完全备份以后有变化的数据(他针对的上次的完全备份，他备份过程中不清除存档属性)。

增量备份：备份上次备份以后有变化的数据(他才不管是那种类型的备份，有变化的数据就备份，他会清除存档属性)

rsync名词解释

发起端：负责发起rsync 同步操作的客户机，叫做发起端，通知服务器我要备份你的数据

备份源：负责响应来自客户机的rsync，同步操作的服务器叫做备份源，意思就是需要备份的服务器

服务端：运行rsyncd服务，一般来说需要备份的服务器

客户端：存放备份数据

rsync工作原理

常用rsync命令

rsync [选项] 原始位置 目标位置

常用选项
-v：显示同步过程的详细信息
-z：在传输文件时进行压缩
-a：归档模式，保留文件权限、属性等信息，等同于组合选项“-rlptgoD”
--delete：删除目标位置有而原始位置没有的文件
-H:保留硬连接文件。
-r: 递归模式，包含目录及子目录中的所有文件。
-l：对于符号链接文件仍然复制为符号链接文件。
-p:保留文件的权限标记
-t保留文件的时间标记
-g:保留文件的属组标记(仅超级用户使用)
-o：保留文件的属主标记(仅超级用户使用)
-A:保留 ACI 属性信息。
-D:保留设备文件及其他特殊文件。
-checksum: 根据校验和(而不是文件大小、修改时间) 来决定是否跳过文件

配置源的两种表达方法

格式一：
用户名@主机地址::共享模块名
rsync -avz [email protected]::wwwroot /opt/
#注意：backuper是rsync里的用户，可自定义，不是系统用户名

格式二：
rsync://用户名@主机地址/共享模块名
rsync -avz rsync://[email protected]/wwwroot /opt/

远程同步实操

实验环境

systemctl stop firewalld
setenforce 0

192.168.131.100  服务端
192.168.131.101  客户端

配置rsync源服务器(192.168.131.100)

vim /etc/rsyncd.conf                                #添加以下配置项
uid = root
gid = root
use chroot = yes                                    #禁锢在源目录
address = 192.168.131.100                           #监听地址
port 873                                            #监听端口 tcp/udp
log file = /var/log/rsyncd.log                      #日志存放位置
pid file = /var/run/rsyncd.pid                      #存放进程ID的文件位置
hosts allow = 192.168.131.0/24                      #允许访问的客户机类型
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z    #同步时不在压缩的文件类型

[wwwroot]                                           #共享模块名称
path = /var/www/html                                #源目录的实际路径
comment = Document Root of www.kgc.com              #一个说明
read only = yes                                     #是否为只读
auth users = backuper                               #授权账号，多个账号以空格分隔
secrets file = /etc/rsyncd_users.db                 #存放账户信息的数据文件

#如果想采用匿名方式，将“auth users”和“secrets file”配置去掉即可

 

到另一台验证

再回到服务端复制文件

 回到客户端

服务端在复制过来的passwd末尾添加一条

客户端的这边也能同步到

如何不想每次登录的时候输入密码

同步删除文件

定时完成操作

crontab -e

格式二 指定资源下载到/opt进行备份

通过信道协议同步数据

rsync实时同步

定期同步的不足

执行备份的时间固定，延迟明显，实时性差

当同步源长期不变化时，密集的定期任务是不必要的

实时同步的优点

一旦同步源出现变化，立即启动备份

只要同步源无变化，则不执行备份

inotify

可以监控文件系统的变动情况，并做出通知响应

客户端配置rsync+inotify

服务端修改

vim /etc/rsyncd.conf

给客户端进行优化

vim /etc/sysctl.conf

 切换到opt目录将inotify源码包解压---inotify源码包已上传博客

cd inotify-tools-3.14/
./configure && make && make install

测试

删除文件

修改文件 vim 2.txt

新建文件

 在另一个终端编写触发式同步脚本

vim inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /opt/wangwu"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /opt/wangwu/ [email protected]::wz"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
##while判断是否接收到监控记录
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
        $RSYNC_CMD
    fi
done

 测试

 

使用rsync实现删除大量文件

①建立空目录

mkdir -p  /home/blank

②新建目录在里面建立1w个文件

mkdir -p /data/test

touch {1..10000}

③使用rsync命令快速清除文件

rsync --delete-before -avH --progress --stats /home/blank/ /date/test

再ls看已经没有空文件了