rsync服务

Rsync备份服务知识点.png

什么是rsync?

rsync：remote synchronization
rsync是开源、高速、可实现本都及远程，全量以及增量的数据复制（拷贝）工具。
官方链接资料：http://www.samba.org/ftp/rsync/rsync.html

全量和增量区别

1、什么是全量复制
你有你有文件，全量就是把所有东西复制过去
2、什么是增量复制
你在这个文件下又新创建了几个的文件，增量就是只把你新增加的或者修改过的文件复制过去。

应用场景

不同服务器之间数据备份
定时任务+rsync
存储服务器实时备份（同步）
serync+rsync
项目
全网备份
存储实时同步

rsync各种姿势（模式）

预备知识
推
你把数据给其他服务器
拉
你<---拉·-其他服务器

rsync详解

基础用法和 cp 类似

复制文件

[root@backup ~]# rm -rf /tmp/*
[root@backup ~]# cp /etc/hosts /tmp/
[root@backup ~]# ll /tmp
total 4
-rw-r--r-- 1 root root 349 May 18 10:58 hosts
[root@backup ~]# rm -rf /tmp/*
[root@backup ~]# rsync /etc/hosts /tmp/
[root@backup ~]# ll /tmp
total 4
-rw-r--r-- 1 root root 349 May 18 10:59 hosts

复制目录

[root@backup ~]# cp /etc/ /tmp/
cp: omitting directory ‘/etc/’
[root@backup ~]# rsync  /etc/ /tmp/
skipping directory .

和cp 命令一样默认都不能复制复制 加上-r 参数解决，为了方便也可以使用-a 参数。

[root@backup ~]# cp -r /etc/ /tmp/
[root@backup ~]# ll /tmp
total 12
drwxr-xr-x 79 root root 8192 May 18 11:06 etc
[root@backup ~]# rm -rf /tmp/*
[root@backup ~]# ll /tmp
total 0
[root@backup ~]# rsync -a /etc /tmp/
[root@backup ~]# ll /tmp
total 12
drwxr-xr-x 79 root root 8192 May 17 16:00 etc

在之前学习当中/etc /etc/ 当目标地址没有太大差别，但是你要复制东西当原地址就不行了，/etc 表示复制这个目录以及目录下的东西 /etc/则表示只复制目录下的所有东西。

rsync --delete参数介绍

[root@backup ~]# ll /tmp/
total 12
drwxr-xr-x 79 root root 8192 May 17 16:00 etc
[root@backup ~]# ll /mnt
total 0
[root@backup ~]# rsync -avz --delete /tmp/ /mnt/
……………………执行过程省略
[root@backup ~]# ll /mnt
total 12
drwxr-xr-x 79 root root 8192 May 17 16:00 etc

上面的例子可以看到原来/tmp/下有一个目录 /mnt下是没有的。在我执行这个命令后/mnt/下也有了，假如/tmp/ 没有东西 /mnt/ 使用这条命令后/mnt/下的东西会被清除。所以这个参数比较危险。

--delete 含义:目标地址必须与源地址里面的东西一模一样，

两台服务器之间传输文件--全量同步

172.16.1.31 nfs01
172.16.1.41 backup
推送 本地 /etc/hostname 到 nfs01 的 /tmp下面

在backup下

[root@backup ~]# scp /etc/hostname 172.16.1.31:/tmp
[email protected]'s password:           ##这里让你输入对方的root密码
hostname 

在nfs下

[root@nfs01 ~]# ll /tmp/
total 4
-rw-r--r-- 1 root root 7 May 18 11:30 hostname
[root@nfs01 ~]# cat /tmp/hostname
backup

把 /etc目录 推送到 nfs01的 /tmp下面

在backup下

[root@backup ~]# scp /etc/  172.16.1.31:/tmp
[email protected]'s password: 
/etc: not a regular file
[root@backup ~]# scp -r  /etc/  172.16.1.31:/tmp
[email protected]'s password: 

在nfs下

[root@nfs01 ~]# rm -rf /tmp/*
[root@nfs01 ~]# ll /tmp/
total 12
drwxr-xr-x 87 root root 8192 May 18 11:39 etc

两台服务器之间传输文件-增量同步

在backup下

[root@backup ~]# rsync -av /etc 172.16.1.31:/tmp
[email protected]'s password: 
sending incremental file list

sent 46,751 bytes  received 640 bytes  10,531.33 bytes/sec
total size is 27,447,709  speedup is 579.18

刚才已经·使用scp命令同步过了，没有新文件的情况下所以不会再进行传输。

[root@backup ~]# touch /etc/olboy.txt
[root@backup ~]# rsync -av /etc 172.16.1.31:/tmp
[email protected]'s password: 
sending incremental file list
etc/
etc/olboy.txt

sent 46,806 bytes  received 654 bytes  10,546.67 bytes/sec
total size is 27,447,709  speedup is 578.33
[root@backup ~]# 

在/etc/下新建一个文件后，他只把新建的文件传输了过去。

把 /etc目录 推送到 nfs01的 /tmp下面

scp /etc/ 172.16.1.31:/tmp

把/etc目录推到 nfs01的/tmp下面

rsync -av /etc 172.16.1.31:/tmp/

把nfs01的/etc/hostname 拉到本地/tmp下面

rsync -avz 172.16.1.31:/etc/hostname /tmp/

rsync常见的参数

-v 显示同步过程
-z 同步时进行压缩
--delete 目标内容必须与源内容一模一样
--exclude= 排除（除某文件外其他传递）
--

-a代表的参数

-r 递归复制
-l 复制软连接
-t mtime
-o 保持onwer所有着不变
-g group所属用户组不变
-p permission 权限
-D 复制特殊设备

rsync守护进程模式详解

预备知识

Push: rsync [OPTION...] SRC... [USER@]HOST::DEST

SRC     --本地主机上要进行上传的数据信息
[USER@] --指定一个认证用户信息
HOST    --指定远程主机IP地址或者主机名称
DEST    --将本地主机信息保存到远程主机的什么模块信息

环境准备

rsync服务端 backup 10.0.0.41 172.16.1.41
rsync客户端 nfs01 10.0.0.31 172.16.1.31

配置rsync配置文件

[root@backup ~]# cat /etc/rsyncd.conf
#Rsync server
##created by oldboy 15:01 2009-6-5
###rsyncd.conf start##
fake super = yes
uid = rsync 
gid = rsync 
use chroot = no
max connections = 2000
timeout = 600
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors
read only = false
list = false
hosts allow = 10.0.0.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
#####################################
[data]
comment = www by old0boy 14:18 2012-1-13
path = /data

rsync配置文件详解

rsync_config
#created by HQ at 2017
##rsyncd.conf start## -- 注释信息
uid = rsync -- 管理备份目录(属主信息是rsync)
gid = rsync -- 管理备份目录(属组信息是rsync)
port = 873 -- 守护进程服务端口信息
#fake super = yes --相当于root权限
use chroot = no -- 安全的配置
max connections = 200 -- 同时可以有多少客户端连接rsync服务器
timeout = 300 -- 超时时间,显示空闲连接存活时间
pid file = /var/run/rsyncd.pid --- 保存进程pid号码信息
lock file = /var/run/rsync.lock --- 真正的限制同时的连接数
log file = /var/log/rsyncd.log --- rsync程序日志文件
ignore errors -- 在备份传输数据时,一些不严重问题先进行忽略
read only = false -- 备份目录设置为可读可写
list = false
hosts allow = 172.16.1.0/24 --- 设置允许哪些主机或网段可以向备份服务器存储数据(白名单)
hosts deny = 0.0.0.0/32 --- 设置禁止哪些主机或网段可以向备份服务器存储数据(黑名单)
auth users = rsync_backup --- 认证用户
secrets file = /etc/rsync.password --- 认证用户密码文件(信息:rsync_backup:oldboy123)
[backup] --- 模块信息
comment = "backup dir by oldboy" --- 模块注释说明信息
path = /backup --- 定义一个备份目录

rsync服务端部署流程

到这一步先不要着急启动服务，因为我们系统默认没有rsync这个用户，没有/data这个目录。没有/etc/rsync.password这个文件。所以我们需要先创建这些东西

创建rsync用户并设置为虚拟用户，不创建家目录。

[root@backup ~]# useradd -s /sbin/nologin -M rsync
[root@backup ~]# id rsync
uid=1003(rsync) gid=1003(rsync) groups=1003(rsync)
[root@backup ~]# grep rsync /etc/passwd
rsync:x:1003:1003::/home/rsync:/sbin/nologin

创建/data目录并把所有者改为rsync

[root@backup ~]# mkdir -p /data
[root@backup ~]# chown rsync:rsync /data
[root@backup ~]# ll -d /data
drwxr-xr-x 2 rsync rsync 6 May 20 19:26 /data

首先我们要知道的是备份是有rsync这个虚拟用户完成的，虚拟用户是不能在所有者为root用户的目录下创建文件的。所有需要更改所有者

创建rsync_backup密码文件 并设置权限为600

[root@backup ~]# touch /etc/rsync.password
[root@backup ~]# chmod 600 /etc/rsync.password
[root@backup ~]# ll /etc/rsync.password
-rw------- 1 root root 20 May 20 19:52 /etc/rsync.password
[root@backup ~]# vim /etc/rsync.password
rsync_backup:123456

检查进程和端口号

[root@backup ~]# ps -ef|grep rsyncd
root      15514  14582  0 16:13 pts/0    00:00:00 grep --color=auto rsyncd
[root@backup ~]# ss -lntup|grep rsync
tcp    LISTEN     0      5         *:873                   *:*                   users:(("rsync",pid=15286,fd=3))
tcp    LISTEN     0      5        :::873                  :::*                   users:(("rsync",pid=15286,fd=5))

出现上面的结果就表示服务已经启动成功了。

rsync服务实战

[root@nfs01 ~]# rsync -avz /etc/hostname [email protected]::data
Password: 
sending incremental file list
hostname

sent 101 bytes  received 43 bytes  41.14 bytes/sec
total size is 6  speedup is 0.04

这就表示已经传输成功了，稍后我们检查一下

[root@backup ~]# ll /data
total 4
-rw-r--r-- 1 rsync rsync 6 May 16 17:52 hostname

已经传输过去了。
可以现在有一个问题，我们我们需要的是自动备份，可这还得需要密码。

下面来解决这个问题在nfs01主机下创建一个rsync_backup密码文件,并设置权限为600

123456
[root@nfs01 ~]# chmod 600 /etc/rsync.password

然后在向备份服务器推文件

sending incremental file list

sent 51 bytes  received 20 bytes  142.00 bytes/sec
total size is 6  speedup is 0.08

这样就可以免交互式使用备份服务了。

免交互的基本概念·是交互式需要我们手工输入密码
免交互式是系统输入密码。

还有个问题我们我们不止一个客户需要上传文件·。如何让不同用户上传到不同的模块呢。

设置配置文件

#Rsync server
##created by oldboy 15:01 2009-6-5
###rsyncd.conf start##
fake super = yes
uid = rsync
gid = rsync
use chroot = no
max connections = 2000
timeout = 600
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors
read only = false
list = false
#hosts allow = 10.0.0.0/24
#hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
#####################################
[data]
comment = www by old0boy 14:18 2012-1-13
path = /data
#####################################
[backup]
comment = www by old0boy 14:18 2012-1-13
path = /backup            

此配置文件另加项就是再创建一个backup模块

创建/backup目录并修改所有者

[root@backup ~]# chown rsync:rsync /backup
[root@backup ~]# ll -d /backup
drwxr-xr-x 2 rsync rsync 19 May 20 14:57 /backup

执行备份命令

sending incremental file list
hostname

sent 101 bytes  received 43 bytes  96.00 bytes/sec
total size is 6  speedup is 0.04

这样就可以往不同的模块传输数据了

rsync执行流程

image.png

rsync正确提示

[root@backup ~]# rsync -avz /etc/hosts [email protected]::data
Password:
sending incremental file list

hosts
sent 221 bytes received 43 bytes 75.43 bytes/sec
total size is 349 speedup is 1.32

rsync错误提示

[root@nfs01 ~]# rsync -avz /etc/hostname [email protected]::data --password-file /etc/rsync.password
ERROR: password file must not be other-accessible
rsync error: syntax or usage error (code 1) at authenticate.c(196) [sender=3.1.2]

查看日志

2019/05/20 16:52:32 [15755] secrets file must be owned by root when running as root (see strict modes)
password file must not be other-accessible

密码文件不能被他人访问
[root@nfs01 ~]# rsync -avz /etc/hostname [email protected]::data --password-file /etc/rsync.password
ERROR: password file must not be other-accessible
rsync error: syntax or usage error (code 1) at authenticate.c(196) [sender=3.1.2]

解决修改权限为600
chmod 600 /etc/rsync.password

其他可能出现的问题
1、/etc/rsyncd.conf配置文件有问题，仔细检查
2、命令行书写错误
3、密码输入错误