第二章 rsync服务原理

一、备份

1.什么是备份？
1）把重要的数据或者文件再次复制一份并保存下来

2.为什么要做备份？
1）数据的重要性
2）为了出现故障，恢复数据

3.能不能不备份？
1）重要的数据一定要备份
2）不重要的可以不备份

4.备份的常用工具
1)cp
2)scp
3)rsync

二、rsync简介

1.简介
rsync英文称为remote synchronizetion，从软件的名称就可以看出来，rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，这个功能类似于ssh带的scp命令，但是又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝。当然，rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，这又类似cp命令。但是同样也优于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝。

在同步数据的时候，默认情况下，rsync通过其独特的“quick check”算法，它仅同步大小或者最后修改时间发生变化的文件或目录，当然也可根据权限、属主等属性的变化同步，但是需要制定相应的参数，甚至可以实现只同步一个文件里有变化的内容部分，所以，可是实现快速的同步备份数据。

rsync简称远程同步
不同主机之间传递数据：
Linux ---> windows linux ---> linux windows ---> linux linux ---> mac

2.rsync特性
支持拷贝特殊文件，如连接文件、设备等。
可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。
可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p。
可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar-N）。
可以使用rcp、rsh、ssh等方式来配合传输文件（rsync本身不对数据加密）。
可以通过socket（进程方式）传输文件和数据（服务端和客户端）*****。
支持匿名的活认证（无需系统用户）的进程模式传输，可以实现方便安全的进行数据备份和镜像。

3.rsync生产场景
1)借助cron+rsync把所有客户端服务器数据同步到备份服务器。
2)针对公司重要数据备份混乱状况和领导提出备份全网数据的解决方案。
3)通过本地打包备份，然后rsync结合inotify应用把全网数统一备份到一个固定存储服务器，然后在存储服务器上通过脚本检查并报警管理员备份结果。
4)定期将IDC机房的数据 备份公司的内部服务器，防止机房地震及火灾问题导致数据丢失。
5)实时同步，解决存储服务器等的单点问题。

4.备份类型
1)全备：将数据从头备份一次

2)增备：对于新增加的数据进行备份

3)差异备份：针对上一次全备之后更新的数据进行备份

三、rsync的应用场景

1.rsync传输方式
1）push 推
客户端将数据传输到服务端

2）pull 拉
客户端将数据下载下来

2.问题
1）push 推
当客户端数量多，容易造成推送数据阻塞

2）pull 拉
如果客户端数量过多，会对服务端造成很大压力

3.大量服务器备份场景
#假设：像现在有20台机器要备份到一台机器
使用推和拉结合的方式

4.异地备份场景

四、rsync的传输模式

1.本地方式

2.远程方式

3.守护进程方式

 

五、本地模式（类似于cp）

1.概述
类似于cp命令，但是cp是全量复制，每次都提示替换
rsync是增量，只要文件属性没有更改就不会替换

2.语法
#本地拷贝数据命令
命令 选项 源文件 目标
rsync [OPTION...] SRC... [DEST]

3.示例
[root@backup ~]# rsync -avz 1.txt /tmp/
sending incremental file list

sent 44 bytes received 12 bytes 112.00 bytes/sec
total size is 0 speedup is 0.00

[root@backup ~]# rsync -avz 1.txt /tmp/
#命令拆分
rsync　　 #命令
-avz 　　#选项
1.txt 　　#源文件
/tmp/ 　　#目标地址

 

六、远程模式（类似于scp）

1.pull拉取数据
#语法：
命令 选项 用户 @ 主机:源文件 目标地址
rsync [OPTION...] [USER@]HOST:SRC... [DEST] 　　 #如果用户不写，则以当前用户去连接远程机器

#示例
[root@web01 ~]# rsync -avz [email protected]:/root/1.txt ./
receiving incremental file list
1.txt
sent 43 bytes received 84 bytes 28.22 bytes/sec
total size is 0 speedup is 0.00

#拆分语句
rsync 　　 　　　　 #命令
-avz 　　　　　　 #选项
root　　 　　　　 #用户
@ 　　　　　　 #分隔符
172.16.1.41: 　　 #主机地址
/root/1.txt 　　 #源文件，要拉取得文件
./ 　　　　 #拉取到的目录地址

#注意：
#拉取远程服务器目录及目录下的文件
[root@web01 ~]# rsync -avz [email protected]:/tmp ./
#拉取远程服务器目录下的文件，不包含目录本身
[root@web01 ~]# rsync -avz [email protected]:/tmp/ ./

2.push推送数据
#语法：
rsync [OPTION...] SRC... [USER@]HOST:DEST

#示例：
[root@web01 ~]# rsync -avz file1 [email protected]:/root/
[email protected]'s password:
sending incremental file list
file1

sent 83 bytes received 35 bytes 78.67 bytes/sec
total size is 0 speedup is 0.00

#命令拆分
rsync 　　 #命令
-avz　　 #选项
file1 　　 #源文件
root　　 #用户
@ 　　 #分隔符
172.16.1.41:　　 #主机
/root/ 　　　　 #目标地址

 

七、守护进程模式

1.为什么使用守护进程模式？
1）rsync远程传输时需要使用系统用户及密码
2）如果使用普通用户，又会出现权限不足的情况

2.守护进程传输模式语法
#语法
rsync [OPTION...] [USER@]HOST::SRC... [DEST]

 

八、搭建服务端守护进程模式

1.环境准备

主机 IP 身份 backup 172.16.1.41 rsync服务端 web01 172.16.1.7 rsync客户端

 

 

 

 

2.安装rsync（做备份的服务器都安装）
[root@backup ~]# yum install -y rsync

3.服务端配置
[root@backup ~]# vim /etc/rsyncd.conf
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = welcome to oldboyedu backup!
path = /backup

[root@backup ~]# vim /etc/rsyncd.conf
#指定运行程序的用户
uid = rsync
#运行程序的用户组
gid = rsync
#服务的监听端口
port = 873
#不需要root用户启动，安全机制
fake super = yes
#限制操作目录
use chroot = no
#设置最大连接数
max connections = 200
#超时时间
timeout = 600
#忽略错误
ignore errors
#关闭只读权限
read only = false
#查看模块列表
list = false
#指定授权的虚拟用户
auth users = rsync_backup
#指定虚拟用户使用的密码
secrets file = /etc/rsync.passwd
#日志文件
log file = /var/log/rsyncd.log
#####################################
#模块名字
[backup]
#注释
comment = welcome to oldboyedu backup!
#真实文件目录
path = /backup

4.服务端创建用户
[root@backup ~]# useradd rsync -s /sbin/nologin -M

5.服务端创建密码文件
[root@backup ~]# vim /etc/rsync.passwd
rsync_backup:123456

[root@backup ~]# echo "rsync_backup:123456" > /etc/rsync.passwd

#授权
[root@backup ~]# chmod 600 /etc/rsync.passwd

6.服务端创建真实文件目录
[root@backup ~]# mkdir /backup
[root@backup ~]# chown -R rsync.rsync /backup/

7.服务端启动服务
[root@backup ~]# systemctl start rsyncd

#验证启动
[root@backup ~]# netstat -lntp
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 18673/rsync
tcp6 0 0 :::873 :::* LISTEN 18673/rsync

[root@backup ~]# ps -ef | grep rsync
root 18673 1 0 17:01 ? 00:00:00 /usr/bin/rsync --daemon --no-detach
root 18680 7850 0 17:02 pts/0 00:00:00 grep --color=auto rsync

 

九、客户端验证推送

1.输入密码的方式
#推送数据
[root@web01 ~]# rsync -avz file2 [email protected]::backup
Password: 123456
sending incremental file list
file2

sent 87 bytes received 43 bytes 37.14 bytes/sec
total size is 0 speedup is 0.00

#拉取数据
[root@web01 ~]# rsync -avz [email protected]::backup ./
Password:
receiving incremental file list
./
qiudaodsb

sent 53 bytes received 173 bytes 64.57 bytes/sec
total size is 0 speedup is 0.00

2.指定密码文件的方式
#客户端配置密码文件
[root@web01 ~]# vim /etc/rsyncd.password
123456
[root@web01 ~]# echo "123456" > /etc/rsyncd.password

#授权
[root@web01 ~]# chmod 600 /etc/rsyncd.password

#推送数据
[root@web01 ~]# rsync -avz file3 [email protected]::backup --password-file=/etc/rsyncd.password
sending incremental file list
file3

sent 87 bytes received 43 bytes 86.67 bytes/sec
total size is 0 speedup is 0.00

#拉取数据
[root@web01 ~]# rsync -avz [email protected]::backup ./ --password-file=/etc/rsyncd.password
receiving incremental file list
./
qiudaocsb

sent 50 bytes received 211 bytes 174.00 bytes/sec
total size is 0 speedup is 0.00

3.配置环境变量的方式
[root@web01 ~]# export RSYNC_PASSWORD=123456

#拉取数据
[root@web01 ~]# rsync -avz [email protected]::backup ./

#推送数据
[root@web01 ~]# rsync -avz file3 [email protected]::backup