开源服务专题之-------rsync数据备份

 　　RSYNC是Remote Sync 远程同步的简称，与SCP的比较，SCP= 无法备份大量数据，类似windows的复制，而rsync=边复制 ，边统计，边比较，可以备份大量数据。可以镜像保存整个目录树和文件系统。可以很容易做到保持原来文件的权限、时间、软硬链接等等。无须特殊权限即可安装。快速：第一次同步时 rsync 会复制全部内容，但在下一次只传输修改过的文件。压缩传输：rsync 在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽。安全：可以使用scp、ssh等方式来传输文件，当然也可以通过直接的socket连接。支持匿名传输，以方便进行网站镜象。选择性保持：符号连接，硬链接，文件属性，权限，时间等。考虑到scp也是像类似的远程备份工具，为了便于比较，本文从以下几个方面来讲述如何用rsync进程远程备份。

• 一、scp远程拷贝文件

• 二、acl权限控制

• 三、rsync数据备份

• 四、Rsync+Inotify 实时同步

 说明：客户端（或称本地服务器）：xiaolyu77  192.168.31.77 

　　　 服务器（或称远程服务器）：xiaolyu76　192.168.31.76

一、scp远程拷贝文件

　　scp是secure copy的简写，用于在Linux下进行远程拷贝文件的命令，和它类似的命令有cp，不过cp只是在本机进行拷贝不能跨服务器，而且scp传输是加密的。可能会稍微影响一下速度。当你服务器硬盘变为只读 read only system时，用scp可以帮你把文件移出来。另外，scp还非常不占资源，不会提高多少系统负荷，在这一点上，rsync就远远不及它了。虽然 rsync比scp会快一点，但当小文件众多的情况下，rsync会导致硬盘I/O非常高，而scp基本不影响系统正常使用。

1. scp的用法：

　　可以man scp看一下：

 

 

scp的参数还是蛮多的，这里之所以不厌其烦的截图列出来，是想表达一种观点，任何新东西的学习其实都是有章可循的，那就是借助所给出的已知信息，比如man 一个命令，比如查看readme文件。这里简单翻译如下：

命令格式：scp [参数] [原路径] [目标路径]

命令参数：

　　　　-1  强制scp命令使用协议ssh1  

　　　　-2  强制scp命令使用协议ssh2

　　　　-4  强制scp命令只使用IPv4寻址

　　　　-6  强制scp命令只使用IPv6寻址

　　　　-B  使用批处理模式（传输过程中不询问传输口令或短语）

　　　　-C  允许压缩。（将-C标志传递给ssh，从而打开压缩功能） 

　　　　-p 保留原文件的修改时间，访问时间和访问权限。  

　　　　-q  不显示传输进度条。

　　　　-r  递归复制整个目录。

　　　　-v 详细方式显示输出。scp和ssh(1)会显示出整个过程的调试信息。这些信息用于调试连接，验证和配置问题。

　　　　-c cipher  以cipher将数据传输进行加密，这个选项将直接传递给ssh。   

　　　　-F ssh_config  指定一个替代的ssh配置文件，此参数直接传递给ssh。

　　　　-i identity_file  从指定文件中读取传输时使用的密钥文件，此参数直接传递给ssh。

　　　　-l limit  限定用户所能使用的带宽，以Kbit/s为单位。   

　　　　-o ssh_option  如果习惯于使用ssh_config(5)中的参数传递方式， 

　　　　-P port  注意是大写的P, port是指定数据传输用到的端口号   

　　　　-S program  指定加密传输时所使用的程序。此程序必须能够理解ssh(1)的选项。

2.用法及实例：

1. 从本地服务器复制到远程服务器：

　（1）复制文件:

　　　　   scp local_file remote_username@remote_ip:remote_folder   # 指定了ssh远程服务的用户名，scp复制时，需要输入密码。

　　　　   scp local_file remote_username@remote_ip:remote_file       # 指定了ssh远程服务的用户名，scp复制时，需要输入密码。

     说明：我看有人提出了，在这个地方可以不用写ssh远程登录的用户名（即scp local_file  remote_ip:remote_file），在命令执行时，会提示输入用户名和密码，本人亲身多次，不可以的，故该方法没有列出来。一般ssh登录默认是root用户，不写就代表是root用户。

   （2）复制目录：

　　　　   scp -r local_folder remote_username@remote_ip:remote_folder  #指定了ssh远程服务的用户名，命令执行后需要输入用户密码；

 

2. 从远程服务器复制到本地服务器： 

 

　　从远程复制到本地的scp命令与上面的命令雷同，只要将从本地复制到远程的命令后面2个参数互换顺序就行了。　

 

说明一下：因为我前面已经对root用户做了免秘钥登录了，所以就不用root用户做实验了，用普通用户。

实战1：上传本地文件到远程服务器指定目录下，如果用的是相对路径，默认在登录ssh服务器用户的根目录下。

#ssh本地客户端：

[root@xiaolyu77 ~]# cp /etc/passwd ./
[root@xiaolyu77 ~]# ls -ltr
total 48
-rw-r--r--. 1 root root 5890 Sep 16 08:58 install.log.syslog
-rw-r--r--. 1 root root 26271 Sep 16 09:00 install.log
-rw-------. 1 root root 1243 Sep 16 09:00 anaconda-ks.cfg
-rw-r--r-- 1 root root 1058 Sep 20 02:42 passwd
[root@xiaolyu77 ~]# scp passwd xiao@xiaolyu76:pass
xiao@xiaolyu76's password:
passwd 100% 1058 1.0KB/s 00:00

#ssh远端服务器：

[root@xiaolyu76 ~]# cd /home/xiao   #客户端登录ssh用的是该用户，相对目录，默认就是在此目录下。
[root@xiaolyu76 xiao]# mkdir pass
[root@xiaolyu76 xiao]# ls -l pass
total 0
[root@xiaolyu76 xiao]# ls -l
total 4
drwxr-xr-x 2 root root 4096 Sep 20 02:54 pass
[root@xiaolyu76 xiao]# chmod 777 pass   #这个地方一定要注意，因为用的不是root用户，所以要给scp命令中ssh服务器端文件夹以777的权限。
[root@xiaolyu76 xiao]# ls -l
total 4
drwxrwxrwx 2 root root 4096 Sep 20 02:55 pass
[root@xiaolyu76 xiao]# ls -l pass
total 4
-rw-r--r-- 1 xiao xiao 1058 Sep 20 02:55 passwd
[root@xiaolyu76 xiao]#

 

注意：在客户端 执行 scp local_file remote_username@remote_ip:remote_folder 用的是普通用户登录ssh服务器，而不是root用户，

而我在服务器端创建的remote_folder文件夹（目录）用的是root用户，所以要给scp命令中ssh服务器端文件夹remote_folder以777权限。

否则在客户端执行scp命令时会报如下错误：

这是因为：对于文件夹（目录）来说777权限代表了：

r（Read，读取）：      对文件而言，具有读取文件内容的权限；对目录来说，具有浏览目录的权限。

w（Write,写入）：       对文件而言，具有新增、修改文件内容的权限；对目录来说，具有删除、移动目录内文件的权限。

x（eXecute，执行）： 对文件而言，具有执行文件的权限；对目录了来说该用户具有进入目录的权限。

实战2：上传本地文件到远程服务器，不指定远程服务器的存放目录。默认在登录ssh服务器用户的根目录下。

#ssh本地客户机：

[root@xiaolyu77 ~]# scp passwd xiao@xiaolyu76:testscp
xiao@xiaolyu76's password: 
passwd 100% 1058 1.0KB/s 00:00 
[root@xiaolyu77 ~]#

#ssh远端服务器：

[root@xiaolyu76 xiao]# ls -l
total 8
drwxrwxrwx 2 root root 4096 Sep 20 02:55 pass
-rw-r--r-- 1 xiao xiao 1058 Sep 20 03:19 testscp  #注意和客户机比较文件大小。
[root@xiaolyu76 xiao]#

实战3. 从远程服务器下载文件夹到本地

[root@xiaolyu77 ~]# scp -r  xiao@xiaolyu76:/home/xiao/pass ./

总结：scp命令就是利用ssh登录，来远程复制文件。可以从本地到远程，也可以从远程到本地。当同一ip三次登录失败后，fail2ban一样会禁止该ip登录。就是说每执行一次scp命令，实际上就发起了一次ssh登录。

 二、acl权限控制

 　　这里为什么会谈到acl权限控制呢？因为后面我做那个rsync数据备份时，需要针对单个用户对单个目录设置权限，这就需要用到acl权限控制。

　　 什么是ACL 权限控制呢？ACL是Access Control List 的缩写，主要目的是针对在传统的三种身份和三种权限之外，提供更加细化的局部权限设定。官方手册来讲，它主要针对用户、用户组、以及掩码方面控制权限。
       简单去理解就是，ACL 可以针对单个用户、单个用户组来进行权限细化的控制。主要目的是提供传统的 owner,group,other 的 read,wirte,execute 权限之外的具体权限设置，可以针对单一用户或组来设置特定的权限。而在windows系统上，没有这个ACL，ACL是类Unix（Unix-like）操作系统权限的额外支持项目，因此要使用ACL必须要有文件系统的支持才行。主要包括ReiserFS, EXT2/EXT3/ext4, JFS, XFS等文件系统。

 

1. 判断当前文件系统是否支持acl。 

当然了，我们可以先man acl看一下，是否有相关的信息：

man acl 

也可以通过文件系统来判断：

 df -T -h

最好用如下两个命令来判断当前文件系统是否支持

dumpe2fs -h /dev/sda1 |grep acl
或者
tune2fs -l /dev/sda1 | grep options

 

2. ACL相关命令详解：

ACL操作的命令主要有三个：getfacl 、setfacl 和chacl，但是常用的就getfacl 和 setfacl 。

(1) 查看 ACL 权限

语法：getfacl filename

(2) 设置 ACL 权限

语法：setfacl [-bkRd] [-m|-x acl 参数]  目标文件名
选项介绍：
-m:设置后续的 acl 参数，不可与-x 一起使用
-x: 删除后续的 acl 参数，不可与-m 一起使用
-b:删除所有的 acl 参数
-k:删除默认的 acl 参数
-R:递归设置 acl 参数
-d:设置默认 acl 参数，只对目录有效

　　先来看看在ACL里面每一个名词的定义，这些名词我大多从man page上摘下来虽然有些枯燥,但是对于理解下面的内容还是很有帮助的。

简单翻译如下：

　　ACL是由一系列的Access Entry所组成的，每一条Access Entry定义了特定的类别可以对文件拥有的操作权限。Access Entry有三个组成部分：Entry tag type, qualifier (optional), permission。 我们先来看一下最重要的Entry tag type，它有以下几个类型：

　　ACL_USER_OBJ：相当于Linux里file_owner的permission

　　ACL_USER：定义了额外的用户可以对此文件拥有的permission

　　ACL_GROUP_OBJ：相当于Linux里group的permission

　　ACL_GROUP：定义了额外的组可以对此文件拥有的permission

　　ACL_MASK：定义了ACL_USER, ACL_GROUP_OBJ和ACL_GROUP的最大权限 (这个我下面还会专门讨论)

　　ACL_OTHER：相当于Linux里other的permission

我们来举例说明一下，我就用getfacl命令来查看一个已经定义好的ACL文件。

前面三个以#开头的定义了文件名，file owner和group。这些信息没有太大的作用，接下来我们可以用--omit-header来省略掉。 

 

user::rw- 定义了ACL_USER_OBJ, 说明file owner拥有read and write permission

user:miao:rwx 定义了ACL_USER,这样用户miao就拥有了对文件的读写权限,实现了我们一开始要达到的目的

group::--- 定义了ACL_GROUP_OBJ,说明文件的group对该文件没有权限。

group:develop:r-- 定义了ACL_GROUP,使得develop组拥有了对文件的read and write permission

mask::rw- 定义了ACL_MASK的权限为read  write and execute permission

other::--- 定义了ACL_OTHER，说明其它组的用户对该文件没有权限

 

从这里我们就可以看出ACL提供了我们可以定义特定用户和用户组的功能，那么接下来我们就来看一下如何设置一个文件的ACL：
如何设置ACL文件

首先我们还是要讲一下设置ACL文件的格式，从上面的例子中我们可以看到每一个Access Entry都是由三个被：号分隔开的字段所组成，第一个就是Entry tag type。

user 对应了ACL_USER_OBJ和ACL_USER

group 对应了ACL_GROUP_OBJ和ACL_GROUP

mask 对应了ACL_MASK

other 对应了ACL_OTHER

 

第二个字段称之为qualifier，也就是上面例子中的miao和develop组，它定义了特定用户和特定组对于文件的权限。这里我们也可以发现只有user和group才有qualifier，其他的都为空。第三个字段就是我们熟悉的permission了。它和Linux的permission一样定义，这里就不多讲了。

通俗一点就是说：ACL参数主要由三部分组成，结构如下：

四种身份:对应身份的名称:三种权限。

[u|g|o|m]:[用户名|组名]:[rwx] 

只有user和group才可以有对应的名称，其余的都为空。

好了，下面进入实战，在实战中，讲述如何设置文件和目录的ACL权限。只要一个文件或目录被设置了ACL权限，那么它就被称为ACL文件。

3.实战：

实战1：针对某一个特定用户，做一个ACL文件，并用getfacl命令来查看。

[root@xiaolyu77 tmp]# mkdir -m 700 ./acldir && ll -d ./acldir/
drwx------ 2 root root 4096 Sep 20 08:42 ./acldir/
[root@xiaolyu77 tmp]# su hello
[hello@xiaolyu77 tmp]$ cd ./acldir/
bash: cd: ./acldir/: Permission denied　　#权限不够，用户hello对该目录没有x权限。
[hello@xiaolyu77 tmp]$ exit
exit
[root@xiaolyu77 tmp]# setfacl -m u:hello:x ./acldir/ #针对用户hello设置目录acldir权限为x。
[root@xiaolyu77 tmp]# ll -d ./acldir/
drwx--x---+ 2 root root 4096 Sep 20 08:42 ./acldir/　
#通过setacl设置权限后，会在权限末尾添加一个"+"，同时文件原本权限也将发生变化。
[root@xiaolyu77 tmp]# getfacl ./acldir/　　#通过getacl查看原始目录的权限。
# file: acldir/
# owner: root
# group: root
user::rwx
user:hello:--x                            #hello用户对此目录有x权限。
group::--- 
mask::--x
other::---   #只有hello用户对此目录有x权限，其它用户还是没有权限。

[root@xiaolyu77 tmp]# su hello
[hello@xiaolyu77 tmp]$ cd ./acldir/  #hello用户对此目录有x权限，可以进入此目录。
[hello@xiaolyu77 acldir]$ 

在文件permission的最后多了一个+号，当任何一个文件拥有了ACL_USER或者ACL_GROUP的值以后我们就可以称它为ACL文件，这个+号就是用来提示我们的。我们还可以发现当一个文件拥有了ACL_USER或者ACL_GROUP的值时ACL_MASK同时也会被定义。

实战2：针对某一个特定组，做一个ACL文件，并用getfacl 查看。

 

[root@xiaolyu77 tmp]# setfacl -m g:miao:rx ./acldir/ #针对miao组用户，设置目录acldir的rx权限
[root@xiaolyu77 tmp]# ll -d ./acldir/
drwxr-x---+ 2 root root 4096 Sep 20 08:42 ./acldir/
[root@xiaolyu77 tmp]# getfacl ./acldir/
# file: acldir/
# owner: root
# group: root
user::rwx
user:hello:--x
group::---
group:miao:r-x　　　#miao组中的用户对该目录具有rx权限。
mask::r-x
other::---

[root@xiaolyu77 tmp]# su miao  #miao用户属于miao组。
[miao@xiaolyu77 tmp]$ cd ./acldir/  #miao组用户对acldir目录具有rx权限。
[miao@xiaolyu77 acldir]$ id miao
uid=501(miao) gid=501(miao) groups=501(miao)
[miao@xiaolyu77 acldir]$ 

 

实战3：为文件 aclfile 增加 acl 权限，使 miao 组的所有用户都能读写执行该文件

[root@xiaolyu77 tmp]# touch aclfile.sh
[root@xiaolyu77 tmp]# chmod 700 aclfile.sh
[root@xiaolyu77 tmp]# ll aclfile.sh
-rwx------ 1 root root 0 Sep 20 09:39 aclfile.sh
[root@xiaolyu77 tmp]# echo "date" >> ./aclfile.sh
[root@xiaolyu77 tmp]# cat ./aclfile.sh
date
[root@xiaolyu77 tmp]# ./aclfile.sh
Tue Sep 20 09:40:54 CST 2016
[root@xiaolyu77 tmp]# su miao
[miao@xiaolyu77 tmp]$ echo "echo $HOME" >> ./aclfile.sh
bash: ./aclfile.sh: Permission denied
[miao@xiaolyu77 tmp]$ cat ./aclfile.sh
cat: ./aclfile.sh: Permission denied
[miao@xiaolyu77 tmp]$ ./aclfile.sh
bash: ./aclfile.sh: Permission denied
[miao@xiaolyu77 tmp]$ exit
exit
[root@xiaolyu77 tmp]# setfacl -m g:miao:rwx ./aclfile.sh
[root@xiaolyu77 tmp]# ll ./aclfile.sh
-rwxrwx---+ 1 root root 5 Sep 20 09:40 ./aclfile.sh
[root@xiaolyu77 tmp]# getfacl ./aclfile.sh
# file: aclfile.sh
# owner: root
# group: root
user::rwx
group::---
group:miao:rwx
mask::rwx
other::---

[root@xiaolyu77 tmp]# su miao
[miao@xiaolyu77 tmp]$ cat ./aclfile.sh
date
[miao@xiaolyu77 tmp]$ echo "echo $PWD" >> ./aclfile.sh
[miao@xiaolyu77 tmp]$ ./aclfile.sh
Tue Sep 20 09:43:18 CST 2016
/tmp
[miao@xiaolyu77 tmp]$ 

实战4：删除文件aclfile 上，关于 miao 组的 acl 权限

[root@xiaolyu77 tmp]# setfacl -x g:miao ./aclfile.sh
[root@xiaolyu77 tmp]# ll aclfile.sh
-rwx------+ 1 root root 15 Sep 20 09:43 aclfile.sh
[root@xiaolyu77 tmp]# getfacl ./aclfile.sh
# file: aclfile.sh
# owner: root
# group: root
user::rwx
group::---
mask::---
other::---

[root@xiaolyu77 tmp]# 

 

实战5：删除目录 acldir 的所有 ACL 权限

[root@xiaolyu77 tmp]# setfacl -b ./acldir
[root@xiaolyu77 tmp]# ll -d ./acldir
drwx------ 2 root root 4096 Sep 20 08:42 ./acldir
[root@xiaolyu77 tmp]# getfacl ./acldir
# file: acldir
# owner: root
# group: root
user::rwx
group::---
other::---

[root@xiaolyu77 tmp]# 

4.重点：ACL_MASK和Effective permission

这里需要重点讲一下ACL_MASK，因为这是掌握ACL的另一个关键，在Linux file permission里面大家都知道比如对于rw-rw-r--来说, 当中的那个rw-是指文件组的permission. 但是在ACL里面这种情况只是在ACL_MASK不存在的情况下成立。如果文件有ACL_MASK值，那么当中那个rw-代表的就是mask值而不再是group permission了。

让我们看一下下面的这个例子：

这里说明test.sh文件只有file owner: root拥有read, write, execute/search permission。admin组只有read and write permission，现在我们想让用户john也对test.sh具有和root一样的permission。

这里我们看到john已经拥有了rwx的permission，mask值也被设定为rwx，那是因为它规定了ACL_USER，ACL_GROUP和ACL_GROUP_OBJ的最大值，现在我们再来看test.sh的Linux permission，它已经变成了：

那么如果现在admin组的用户想要执行test.sh的程序会发生什么情况呢？它会被permission deny。原因在于实际上admin组的用户只有read and write permission，这里当中显示的rwx是ACL_MASK的值而不是group的permission。 所以从这里我们就可以知道，如果一个文件后面有+标记，我们都需要用getfacl来确认它的permission，以免发生混淆。 下面我们再来继续看一个例子，假如现在我们设置test.sh的mask为read only，那么admin组的用户还会有write permission吗？

这时候我们可以看到ACL_USER和ACL_GROUP_OBJ旁边多了个#effective:r--，这是什么意思呢？让我们再来回顾一下ACL_MASK的定义。它规定了ACL_USER，ACL_GROUP_OBJ和ACL_GROUP的最大权限。那么在我们这个例子中他们的最大权限也就是read only。虽然我们这里给ACL_USER和ACL_GROUP_OBJ设置了其他权限，但是他们真正有效果的只有read权限。也就是说ACL_USER和ACL_GROUP_OBJ及ACL_GROUP它们的实际权限不能超过mask的权限（因为mask定义了它们三个当中最大权限）。 这时我们再来查看test.sh的Linux file permission时它的group permission也会显示其mask的值( r--)

Default ACL

上面我们所有讲的都是Access ACL，也就是对新创建的文件，没有涉及到ACL权限继承的问题。下面我简单讲一下Default ACL。Default ACL是指对于一个目录进行Default ACL设置，并且在此目录下建立的文件都将继承此目录的ACL。 同样我们来做一个试验说明，比如现在root用户建立了一个dir目录：

它希望所有在此目录下建立的文件都可以被john用户所访问，那么我们就应该对dir目录设置Default ACL。

 这里我们可以看到ACL定义了default选项，john用户拥有了default的read, write, excute/search permission。所有没有定义的default都将从file permission里copy过来，现在root用户在dir下建立一个test.txt文件。

这里我们看到在dir下建立的文件john用户自动就有了read,write,excute/search permissionpermission。
想一想：为什么这里./dir/test.txt文件的mask的权限只有rw吗？这是因为对于从目录继承过来的文件的ACL权限，mask最大只能是rw。结果就是

CL_USER，ACL_GROUP_OBJ和ACL_GROUP的最大实际权限只能是rw。也就是说系统为了安全起见，不允许直接继承的权限带x。如果想要改变，可以手工修改文件的mask的值。这样的话，CL_USER，ACL_GROUP_OBJ和ACL_GROUP的最大实际权限可能也会跟着变化。

 三、rsync数据备份

1. RSYNC概述：　

　　RSYNC是Remote Sync 远程同步的简称，与SCP的比较，SCP= 无法备份大量数据，类似windows的复制，而rsync=边复制 ，边统计，边比较，可以备份大量数据。

 Rysnc特性和优点

　　可以镜像保存整个目录树和文件系统。

　　可以很容易做到保持原来文件的权限、时间、软硬链接等等。

　　无须特殊权限即可安装。

　　快速：第一次同步时 rsync 会复制全部内容，但在下一次只传输修改过的文件。

　　压缩传输：rsync 在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽。

　　安全：可以使用scp、ssh等方式来传输文件，当然也可以通过直接的socket连接。

　　支持匿名传输，以方便进行网站镜象。

　　选择性保持：符号连接，硬链接，文件属性，权限，时间等。

官方网站：https://rsync.samba.org/

常见备份分类

　　完整备份，差异备份，增量备份

　　完整备份：每次备份都是从备份源将所有的文件或目录备份到目的地

　　差异备份：备份上次完全备份以后有变化的数据(他针对的上次的完全备份,他备份过程中不清除存档属性)

　　增量备份：备份上次备份以后有变化的数据.(他才不管是那种类型的备份,有变化的数据就备份,他会清除存档属性)

运行模式和端口

采用C/S模式（客户端/服务器模式）

[ 就是一个点到点的传输，直接使用rsync命令 ]  端口873

 

发起端和备份源

四个名词的解释：

发起端：负责发起rsync同步操作的客户机叫做发起端，通知服务器我要备份你的数据

备份源：负责相应来自客户机rsync同步操作的服务器在备份源，需要备份的服务器

服务端：运行rsyncd服务，一般来说，需要备份的服务器

客户端：存放备份数据

数据同步方式

推push：一台主机负责把数据传送给其他主机，服务器开销很大，比较适合后端服务器少的情况

拉pull：所有主机定时去找一主机拉数据，可能就会导致数据缓慢

推：目的主机配置为rsync服务器，源主机周期性的使用rsync命令把要同步的目录推过去（需要备份的机器是客户端，存储备份的机器是服务端）

拉：源主机配置为rsync服务器，目的主机周期性的使用rsync命令把要同步的目录拉过来（需要备份的机器是服务端，存储备份的机器是客户端）

两种方案，rsync都有对应的命令来实现

 

Xinetd管理Rsync工作原理 

       使用rsync来同步是先通过xinetd监听873号端口，如果rsync进来的是873号端口，那么xinetd就会通知它所管辖的rsync服务来做回应，接下来就是rsync俩服务于之间的通讯。

Rsync服务安装

       实验拓扑：

　　　　　　　　xiaolyu76（Server 192.168.31.76）====xiaolyu77（Client 192.168.31.77）

Rsync服务依赖Xinetd，是使用超级服务来管理的

  yum 安装：

[root@xiaolyu76 ~]# yum install -y xinetd   

 

 

[root@xiaolyu76 ~]# vim /etc/xinetd.d/rsync

 

[root@xiaolyu76 ~]# /etc/init.d/xinetd restart      #重启xinetd。

[root@xiaolyu76 ~]# netstat -antup | grep 873    #查看873号端口是否是xinetd。

Rsync命令

       rsync命令和scp命令很相似，可以man rsync看一下。

 

-a, --archive archive mode 权限保存模式,相当于 -rlptgoD 参数，存档，递归，保持属性等

-r, --recursive 复制所有下面的资料，递归处理

-p, --perms 保留档案权限 ，文件原有属性

-t, --times 保留时间点，文件原有时间

-g, --group 保留原有属组

-o, --owner 保留档案所有者(root only)

-D, --devices 保留device资讯(root only)

-l, --links 复制所有的连接 ，拷贝连接文件

-z, --compress 压缩模式, 当资料在传送到目的端进行档案压缩.

-H, --hard-links 保留硬链接文件

-A, --acls 保留ACL属性文件，需要配合--perms

-P,-P参数和 --partial --progress 相同.只是为了把参数简单化,表示传进度

--version， 输出rsync版本

-v , --verbose 复杂的输出信息

-u, --update 仅仅进行更新，也就是跳过已经存在的目标位置，并且文件时间要晚于要备份的文件，不覆盖新的文件

--port=PORT， 定义rsyncd(daemon)要运行的port(预设为tcp 873)

--delete， 删除那些目标位置有的文件而备份源没有的文件

--password-file=FILE ，从 FILE 中得到密码

--bwlimit=KBPS， 限制 I/O 带宽

--filter “-filename”，需要过滤的文件

--exclude=filname，需要过滤的文件

--progress，显示备份过程

常用的 –avz

使用rsync备份数据

对xiaolyu76网站根目录的/var/www/html目录备份到xialyu77的/web-back 

 

2.  用系统用户，实现rsync远程数据备份

 

1. 建立测试用户

[root@xiaolyu76 ~]# useradd rget1                         　　　　　　　    //测试用户，rget1用于下载
[root@xiaolyu76 ~]# echo rget1:123456 | chpasswd
[root@xiaolyu76 ~]# useradd rput1;echo rput1:123456 | chpasswd   //测试用户，rput1用户上传、

对目录赋予ACL权限

[root@xiaolyu76 ~]# setfacl -R -m user:rput1:rwx /var/www/html/　　//rput1用户可以对目录拥有读写权限
[root@xiaolyu76 ~]# setfacl -R -m default:user:rput1:rwx /var/www/html/ //设置默认情况下，rput1对目录/var/www/html下的所有文件拥有读写权限

[root@xiaolyu76 ~]# setfacl -R -m user:rget1:rwx /var/www/html/
[root@xiaolyu76 ~]# setfacl -R -m default:rget1:rwx /var/www/html/
[root@xiaolyu76 ~]# getfacl --omit-header /var/www/html
getfacl: Removing leading '/' from absolute path names
user::rwx
user:rget1:rwx
user:rput1:rwx
group::r-x
mask::rwx
other::r-x
default:user::rwx
default:user:rget1:rwx
default:user:rput1:rwx
default:group::r-x
default:mask::rwx
default:other::r-x

2. 数据的准备工作；

[root@xiaolyu76 ~]# cp -r /boot/* /var/www/html/     #  /boot目录下的所有数据作为测试数据。

注意：因为我们这里在创建测试用户的时候，针对某一个用户赋予某一个目录的ACL默认权限，这实际上是用到了ACL的权限继承。ACL的权限继承只有在设置好目录的默认权限之后，在该目录下，新创建的文件才可以继承该目录的权限。所以一定要在创建用户和ACL权限设置完成后，再做测试数据的准备工作。

3.开始测试：

       //boot目录下的所有数据作为测试数据

 [root@xiaolyu77 ~]# rsync -avz --delete [email protected]:/var/www/html/ /web-back/

格式几乎同scp一模一样，所以在前面详细讲了scp的用法。

              ……

rsync: send_files failed to open "/var/www/html/initramfs-2.6.32-431.el6.x86_64.img": Permission denied (13)

……

 

……

rsync: send_files failed to open "/var/www/html/grub/grub.conf": Permission denied (13)

#几行报错，排错

同步数据出错排查：根据我们前面对acl文件的了解，显然acl文件出现权限问题，第一步就是getfacl查看实际权限。

[root@xiaolyu76 ~]# getfacl --omit-header /var/www/html/initramfs-2.6.32-431.el6.x86_64.img

[root@xiaolyu76 ~]# getfacl --omit-header /var/www/html/initramfs-2.6.32-431.el6.x86_64.img

[root@xiaolyu76 ~]# getfacl --omit-header /var/www/html/lost+found

显然，由于我们前面的分析，知道因为mask没有权限，所以rget1实际上没有任何权限。解决方法就是加上权限。

解决方法：添加权限。

[root@xiaolyu76 ~]# chmod 744 /var/www/html/initramfs-2.6.32-431.el6.x86_64.img
[root@xiaolyu76 ~]# getfacl --omit-header /var/www/html/initramfs-2.6.32-431.el6.x86_64.img

同理方法修改

/var/www/html/grub/grub.conf

/var/www/html/lost+found

 

[root@xiaolyu76 ~]# chmod 744 /var/www/html/grub/grub.conf
[root@xiaolyu76 ~]# chmod 744 /var/www/html/lost+found

再次客户端测试

[root@xiaolyu77 ~]# rm -rf /web-back/*
[root@xiaolyu77 ~]# rsync -avz --delete [email protected]:/var/www/html/ /web-back/

3.非系统用户备份数据

　　非系统用户备份数据，是使用系统配置文件/etc/rsyncd.conf来备份数据，创建备份账户，最后把rsync以deamon方式运行。

1.  rsyncd.conf配置文件说明：

　　配置文件分为两部分：全局参数，模块参数

　　全局参数：对rsync服务器生效，如果模块参数和全局参数冲突，冲突的地方模块参数生效

　　模块参数：定义需要通过rsync输出的目录定义的参数

(1)  常见的全局参数：

port          #→指定后台程序使用的端口号，默认为873。

uid            #→该选项指定当该模块传输文件时守护进程应该具有的uid，配合gid选项使用可以确定哪些可以访问怎么样的文件权限，默认值是" nobody"。

gid            #→该选项指定当该模块传输文件时守护进程应该具有的gid。默认值为" nobody"。

max connections        #→指定该模块的最大并发连接数量以保护服务器，超过限制的连接请求将被告知随后再试。默认值是0，也就是没有限制。

lock file                  #→指定支持max connections参数的锁文件，默认值是/var/run/rsyncd.lock。

motd file         #→" motd file"参数用来指定一个消息文件，当客户连接服务器时该文件的内容显示给客户，默认是没有motd文件的。

log file             #→" log file"指定rsync的日志文件，而不将日志发送给syslog。

pid file              #→指定rsync的pid文件，通常指定为“/var/run/rsyncd.pid”，存放进程ID的文件位置。

hosts allow =    #→单个IP地址或网络地址   //允许访问的客户机地址

(2) 常见的模块参数：

　　主要是定义服务器哪个要被同步输出，其格式必须为“ [ 共享模块名 ]” 形式，这个名字就是在 rsync 客户端看到的名字，其实很像 Samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的。

Comment         #→给模块指定一个描述，该描述连同模块名在客户连接得到模块列表时显示给客户。默认没有描述定义。

Path                  #→指定该模块的供备份的目录树路径，该参数是必须指定的。

read only         #→yes为只允许下载，no为可以下载和上传文件到服务器

exclude             #→用来指定多个由空格隔开的多个文件或目录(相对路径)，将其添加到exclude列表中。这等同于在客户端命令中使用―exclude或----filter来指定某些文件或目录不下载或上传(既不可访问)

exclude from   #→指定一个包含exclude模式的定义的文件名，服务器从该文件中读取exclude列表定义，每个文件或目录需要占用一行

include             #→用来指定不排除符合要求的文件或目录。这等同于在客户端命令中使用--include来指定模式，结合include和exclude可以定义复杂的exclude/include规则。

include from   #→指定一个包含include模式的定义的文件名，服务器从该文件中读取include列表定义。

auth users       #→该选项指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系。如果" auth users"被设置，那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议。用户的名和密码以明文方式存放在" secrets file"选项指定的文件中。默认情况下无需密码就可以连接模块(也就是匿名方式)。

secrets file      #→该选项指定一个包含定义用户名:密码对的文件。只有在" auth users"被定义时，该文件才有作用。文件每行包含一个username:passwd对。一般来说密码最好不要超过8个字符。没有默认的secures file名，注意：该文件的权限一定要是600，否则客户端将不能连接服务器。

hosts allow      #→指定哪些IP的客户允许连接该模块。定义可以是以下形式：

    单个IP地址，例如：192.167.0.1，多个IP或网段需要用空格隔开，

    整个网段，例如：192.168.0.0/24，也可以是192.168.0.0/255.255.255.0

“*”则表示所有，默认是允许所有主机连接。

hosts deny      #→指定不允许连接rsync服务器的机器，可以使用hosts allow的定义方式来进行定义。默认是没有hosts deny定义。

list              #→该选项设定当客户请求可以使用的模块列表时，该模块是否应该被列出。如果设置该选项为false，

可以创建隐藏的模块。默认值是true。

timeout   #→通过该选项可以覆盖客户指定的IP超时时间。通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端。超时单位为秒钟，0表示没有超时定义，这也是默认值。对于匿名rsync服务器来说，一个理想的数字是600。

2. 用配置文件定义目录输出。

     [root@xiaolyu76 ~]# vim /etc/rsyncd.conf   //该配置文件不存在，需要手工编写。  

[root@xiaolyu76 ~]# vim /etc/rsyncd.conf

uid=nobody             #运行进程的身份
gid=nobody             #运行进程的组
address=192.168.31.76  #监听iP
port=873               #监听端口
hosts allow=192.168.31.77  #允许同步客户端的IP地址，可以是网段，或者用*表示所
use chroot=yes     #是否囚牢，锁定家目录，rsync被黑之后，黑客无法在rsync运行的家目录之外创建文件，选项设置为yes
max connections=5
pid file=/var/run/rsyncd.pid   #进程PID，自动生成
lock file=/var/run/rsync.lock  #指max connectios参数的锁文件
log file=/var/log/rsyncd.log   #日志文件位置
motd file=/etc/rsyncd.motd     #客户端登陆之后弹出的消息，需要创建
[wwwroot]                 #共享模块名称   
path=/var/www/html  #路径
comment=used for wed-data root #描述
read only=yes  #只读方式(只可以下载)
list=yes   #是否允许查看模块信息
auth users=rsyncuser  #备份的用户，和系统用户无关
secrets file=/etc/rsync.passwd #存放用户的密码文件，格式是   用户名：密码。

创建提示文件和用户密码

[root@xiaolyu76 ~]# echo "Welcome to Backup Server" > /etc/rsyncd.motd
[root@xiaolyu76 ~]# echo "rsyncuser:password123" > /etc/rsync.passwd
[root@xiaolyu76 ~]# chmod 600 /etc/rsync.passwd     #目录权限必须是700或者600，否则设置rsync user的时候，需要身份验证。

启动服务测试

[root@xiaolyu76 ~]# vim /etc/xinetd.d/rsync

        disable = no        #将原来的yes改为no（部分版本可能是no，则不用改）

我们新建了一个配置文件/etc/rsyncd.conf, 目的是用该配置文件来实现非系统用户实现远程数据备份，就需要让该配置文件生效。

两种方法：

1. 重启/etc/init.d/xinetd 服务。即：

[root@xiaolyu76 ~]# /etc/init.d/xinetd restart  
Stopping xinetd: [ OK ]
Starting xinetd: [ OK ]

 2.  直接把rsync以deamon方式运行： 即：启用方式用daemon。
[root@xiaolyu76 ~]# rsync --daemon --config=/etc/rsyncd.conf

--------------------------------------------------------------------------------------------------------------------------------------------------------------

[root@xiaolyu76 ~]# netstat -antup | grep :873     #查看873端口是否启动。
tcp 0 0 192.168.31.76:873 0.0.0.0:* LISTEN 4019/rsync
[root@xiaolyu76 ~]# chkconfig xinetd on              #设置xinetd服务开机自启动。 
[root@xiaolyu76 ~]# chkconfig xinetd --list           
xinetd 0:off 1:off 2:on 3:on 4:on 5:on 6:off  
[root@xiaolyu76 ~]# 

开始测试：

rsync语法：   rsync 选项 用户名@备份源服务器IP::共享模块名 目标目录

 

[root@xiaolyu77 ~]# rsync -avz [email protected]::wwwroot /web-back/

或者：使用下面的命令，输出详细信息

[root@xiaolyu77 ~]# rsync -avz --progress --delete [email protected]::wwwroot /web-back/

  

密码处理

新建一个文件保存好密码，然后在rsync命令中使用--password-file指定此文件即可

 

[root@xiaolyu77 ~]# echo "password123" > ./passfile
[root@xiaolyu77 ~]# chmod 600 passfile
[root@xiaolyu77 ~]# rm -rf /web-back/*
[root@xiaolyu77 ~]# rsync -avz rsyncuser@xiaolyu76::wwwroot --password-file=passfile /web-back/

脚本实现定时自动备份

 

[root@xiaolyu77 ~]# vim autobackup.sh

 

#!/bin/bash
rsync -avz rsyncuser@xiaolyu76::wwwroot --password-file=passfile /web-back/

 

定时自动备份：每天凌晨3:01自动进行备份。

[root@xiaolyu77 ~]# echo "01 3 * * * sh /root/autoback.sh &" >> /var/spool/cron/root

 

四、Rsync+Inotify 实时同步

　　Linux 内核从 2.6.13 版本开始提供了 inotify 通知接口，用来监控文件系统的各种变化情况，如文件存取、删除、移动等。利用这一机制，可以非常方便地实现文件异动告警、增量备份，并针对目录或文件的变化及时作出响应。可以监控某个用户，什么时间，做了什么动作！

　　使用 rsync 工具与 inotify 机制相结合，可以实现触发式备份（实时同步），只要原始位置的文档发生变化，则立即启动增量备份操作，否则处于静态等侍状态，这样一来，就避免了按固定周期备份进存在的延迟性、周期过密等问题。

下载地址：http://sourceforge.net/projects/inotify-tools/                 notify-tools-3.13

我们把xiaolyu76上/var/www/html目录实时同步到xiaolyu77的/web-back目录中

1. 查看内核支持inotify和调整

[root@xiaolyu76~]# uname -r                //inotify从kernel2.6.13开始正式并入内核，开始支持

2.6.32-431.el6.x86_64

[root@xiaolyu76 ~]# ls /proc/sys/fs/inotify/                 //查看调控参数

max_queued_events         #表示监控时间队列           默认16384 可以使用cat命令查看

max_user_instances          #表示最多监控实例数        默认128

max_user_watches           #表示每个实例最多监控文件数    默认8192

#在Linux内核中，默认的Inotify机制提供了三种调控参数，当要监控的目录，文件数比较多的时候或者变化比较频

繁的时候，要加大三个数值

可以直接修改/etc/sysctl.conf配置文件，将管理队列设置为32786，实例数：1024，文件数：9000000（大于监控目标总数即可）

[root@xiaolyu76 ~]# vim /etc/sysctl.conf

#在末尾添加下面三行

fs.inotify.max_queued_events =32768

fs.inotify.max_user_instances =1024

fs.inotify.max_user_watches =90000000

 

 

2. 安装inotify-tools

安装 inotify-tools 后，将拥有 inotifywait、inotifywatch 辅助工具程序，从而来监控、汇总文件系统改动情况。

[root@xiaolyu76~]# tar xvf inotify-tools-3.13.tar.gz -C /usr/local/src/;echo $?

[root@xiaolyu76 ~]# cd /usr/local/src/inotify-tools-3.13/

[root@xiaolyu76 inotify-tools-3.13]# ./configure --prefix=/usr/local/inotify-tools ; make ; make install ;echo $?

 注意：每一步做完了，要echo $?看一下是否成功，尤其是在非常大的源码包安装时。

也可以通过yum方式来安装：yum install inotify*  -y  //傻瓜式安装，哈哈。

3.测试inotifywait

       使用 inotifywait 命令监控网站目录/var/www/html发生的变化。然后在另一个终端向/var/www/html目录下添加文件、移动文件，查看屏幕输出结果。

[root@xiaolyu76 ~]# ln -s /usr/local/inotify-tools/bin/* /usr/bin/        //方便直接调用命令,当然了，也可以直接复制到/usr/bin下面的。随意啦。

inotifywait常用参数：

-e  用来指定要监控哪些事件。这些事件包括： create 创建,move 移动,delete 删除,modify 修改文件内容,attrib 属性更改。

-m 表示持续监控

-r  表示递归整个目录

-q 表示简化输出信息。

在监控终端执行下面的命令：

[root@XueGod6 ~]# inotifywait -mrq -e create,move,delete,modify /var/www/html/

另外开一终端，做一些改动

[root@xiaolyu76 ~]# echo "watch rsync" > /var/www/html/watch.html
[root@xiaolyu76 ~]# mkdir /var/www/html/test
[root@xiaolyu76 ~]# cp /etc/passwd /var/www/html/test/
[root@xiaolyu76 ~]# rm -rf /var/www/html/test/passwd

查看监控终端

/var/www/html/ CREATE watch.html
/var/www/html/ MODIFY watch.html
/var/www/html/ CREATE,ISDIR test
/var/www/html/test/ CREATE passwd
/var/www/html/test/ MODIFY passwd
/var/www/html/test/ DELETE passwd

监控端执行命令后，进入监控等待：

发起终端：

监控终端变为：

#使用 inotifywait 输出的监控结果中，每行记录中依次包括目录、事件、文件。据此可以识别变动情况。

4.触发式同步脚本

首先要做好免密码链接

 #说明：本质上，scp，rsync都是ssh登录，前面博客已经详细说过ssh免密码登录，这里一笔带过。

[root@xiaolyu76 ~]# ssh-keygen

[root@xiaolyu76 ~]# ssh-copy-id root@xiaolyu76

编写脚本

[root@xiaolyu76 ~]#  vim inotify.sh

#!/bin/bash
src=/var/www/html
dest=root@xiaolyu77:/web-back
inotifywait -mrq -e modify,delete, create,attrib  ${src} | while read D E F 
do
    /usr/bin/rsync -avz --delete $src $dest
done

[root@xiaolyu76 ~]# chmod +x inotify.sh ; echo "sh /root/inotify.sh &" >> /etc/rc.local

 说明：上面脚本中的三个变量，就对应

inotifywait -mrq -e modify,delete, create,attrib  ${src} 执行后的结果中的三列，例如：

只要检测到变动时间，执行rsync上行同步操作，拉数据。
脚本执行的检测终端：

发起变化的终端：

 

除了上面rsync + inotify的备份方法，还有rsync + sersync。 当有海量的小数据文件的时候，inotify 会有延迟！然而，rsync + sersync 也很危险。

当黑客将你的数据删除后，rsync + sersync 后将删除同步更新到你的备份数据。慎用！

 　　国庆期间，这篇博客，写了两天，好累啊，最可气的是中间居然不小心将电脑关掉了，有两个多小时的东西没有保存住。然而终于写完了，尽量力求清晰和完善，将每一个用法都搞得清清楚楚。