远程数据同步工具－－Rsync的介绍与使用
目录：
一、什么是Rsync
二、Rsync同步算法
三、Rsync安装配置
（一）rsync的安装配置
1 rsync软件包的获取
2 rsync的安装
3 rsync的配置
（二）rsyncd.conf配置文件参数说明
1 全局参数
2 模块参数
（三）rsync常用命令
四、Rsync实例测试
（一）测试环境
（二）测试目的
（三）测试方式及测试结果
1 SSH方式
2 后台服务方式
3 使用crontab建立脚本 实现定期同步备份文件
4 与最佳搭档inotify的合作 实现实时触控式自动更新
5 使用inotify+rsync实现双向同步更新文件
（四）测试结果数据分析
1 测试目的
2 测试数据来源
3 测试结果数据（三次测试结果）
4 测试结果数据分析
五、问题排除及注意事项
附录一：源主机和备份服务器的配置文档
附录二：Rsync的INSTLL文档
附录三：Inotify的INSTALL文档
一、什么是Rsync
Rsync（remote synchronize），顾名思义，可以知道这是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。Rsync使用所谓的“Rsync算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。
Rsync本来是用于替代rcp的一个工具，目前由rsync.samba.org维护，所以rsync.conf文件的格式类似于samba 的主配置文件。Rsync可以通过rsh或ssh使用，也能以daemon模式去运行，在以daemon方式运行时Rsync server会打开一个873端口，等待客户端去连接。连接时，Rsync server会检查口令是否相符，若通过口令查核，则可以开始进行文件传输。第一次连通完成时，会把整份文件传输一次，以后则就只需进行增量备份。
Rsync支持大多数的类Unix系统，无论是Linux、Solaris还是BSD上都经过了良好的测试。此外，它在windows平台下也有相应的版本，如cwRsync和Sync2NAS等工具。
Rsync的基本特点如下：
1.可以镜像保存整个目录树和文件系统；
2.可以很容易做到保持原来文件的权限、时间、软硬链接等；
3.无须特殊权限即可安装；
4.优化的流程，文件传输效率高；
5.可以使用rsh、ssh等方式来传输文件，当然也可以通过直接的socket连接；
6.支持匿名传输。
二、Rsync同步算法
Rsync之所以同步文件的速度相当快，是因为“Rsync同步算法”能在很短的时间内计算出需要备份的数据，关于Rsync的同步算法描述如下：假定在1号和2号两台计算机之间同步相似的文件A与B，其中1号对文件A拥有访问权，2号对文件B拥有访问权。并且假定主机1号与2号之间的网络带宽很小。那么rsync算法将通过下面的五个步骤来完成：
1、2号将文件B分割成一组不重叠的固定大小为S字节的数据块，最后一块可能会比S 小
2、2号对每一个分割好的数据块执行两种校验：一种是32位的滚动弱校验，另一种是128位的MD4强校验
3、2号将这些校验结果发给1号
4、1号通过搜索文件A的所有大小为S的数据块(偏移量可以任选，不一定非要是S的倍数)，来寻找与文件B的某一块有着相同的弱校验码和强校验码的数据块。这项工作可以借助滚动校验的特性很快完成
5、1号发给2号一串指令来生成文件A在2号上的备份。这里的每一条指令要么是对文件B经拥有某一个数据块而不须重传的证明，要么是一个数据块，这个数据块肯定是没有与文件B的任何一个数据块匹配上的
三、Rsync的安装配置
Rsync目前由rsync.samba.org维护，所以rsync.conf文件的格式类似于samba 的主配置文件，其主配置文件为rsyncd.conf。
（一）rsync的安装配置
1、rsync软件包的获取
rsync的主页地址为：http://rsync.samba.org/
最新版为rsync-3.0.8.tar.gz
下载到本地src文件夹：
[promise@bogon src]# wget http://rsync.samba.org/ftp/rsync/src/rsync-3.0.8.tar.gz
2、rsync的安装
解压：
[promise@bogon src]# tar -zxvf rsync-3.0.8.tar.gz
进入rsync-3.0.8文件夹：
[promise@bogon src]# cd rsync-3.0.8
切换到root权限：
[promise@bogon src]# su -
编译安装：
[root@bogon rsync-3.0.8]# ./configure –prefix=/usr
[root@bogon rsync-3.0.8]# make && make install
清理现场：
[root@bogon rsync-3.0.8]# make clean
3、rsync的配置
修改/etc/xinetd.d/rsync文件：
# default: off
# description: The rsync server is a good addition to an ftp server, as it \
# allows crc checksumming etc.
service rsync
{
disable = yes
socket_type = stream
wait = no
user = root
server = /usr/bin/rsync
server_args = –daemon
log_on_failure += USERID
}
将 disable ＝ yes
改为 disable ＝ no
保存退出
（二）rsyncd.conf配置文件参数说明
1、全局参数
在文件中[module]之前的所有参数都是全局参数，当然也可以在全局参数部分定义模块参数，这时候该参数的值就是所有模块的默认值。
Port
指定后台程序使用的端口号，默认为873。
motd file
“motd file”参数用来指定一个消息文件，当客户连接服务器时该文件的内容显示给客户，默认是没有motd文件的。
log file
“log file”指定rsync的日志文件，而不将日志发送给syslog。比如可指定为“/var/log/rsyncd.log”。
pid file
指定rsync的pid文件，通常指定为“/var/run/rsyncd.pid”。
syslog facility
指定rsync发送日志消息给syslog时的消息级别，常见的消息级别是：uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7。默认值是daemon。
2、模块参数
主要是定义服务器哪个目录要被同步。其格式必须为“[module]”形式，这个名字就是在rsync 客户端看到的名字，其实有点象Samba服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的。我们可以根据自己的需要，来指定多个模块，模块中可以定义以下参数：
comment
给模块指定一个描述，该描述连同模块名在客户连接得到模块列表时显示给客户。默认没有描述定义。
path
指定该模块的供备份的目录树路径，该参数是必须指定的。
use chroot
如果”use chroot”指定为true，那么rsync在传输文件以前首先chroot到path参数所指定的目录下。这样做的原因是实现额外的安全防护，但是缺点是需要以root权限，并且不能备份指向外部的符号连接所指向的目录文件。默认情况下chroot值为true。
uid
该选项指定当该模块传输文件时守护进程应该具有的uid，配合gid选项使用可以确定哪些可以访问怎么样的文件权限，默认值是”nobody”。
gid
该选项指定当该模块传输文件时守护进程应该具有的gid。默认值为”nobody”。
max connections
指定该模块的最大并发连接数量以保护服务器，超过限制的连接请求将被告知随后再试。默认值是0，也就是没有限制。
list
该选项设定当客户请求可以使用的模块列表时，该模块是否应该被列出。如果设置该选项为false，可以创建隐藏的模块。默认值是true。
read only
该选项设定是否允许客户上载文件。如果为true那么任何上载请求都会失败，如果为false并且服务器目录读写权限允许那么上载是允许的。默认值为true。
exclude
用来指定多个由空格隔开的多个文件或目录(相对路径)，并将其添加到exclude列表中。这等同于在客户端命令中使用–exclude来指定模式，一个模块只能指定一个exclude选项。但是需要注意的一点是该选项有一定的安全性问题，客户很有可能绕过exclude列表，如果希望确保特定的文件不能被访问，那就最好结合uid/gid选项一起使用。
exclude from
指定一个包含exclude模式的定义的文件名，服务器从该文件中读取exclude列表定义。
include
用来指定不排除符合要求的文件或目录。这等同于在客户端命令中使用–include来指定模式，结合include和exclude可以定义复杂的exclude/include规则。
include from
指定一个包含include模式的定义的文件名，服务器从该文件中读取include列表定义。
auth users
该选项指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系。如果”auth users”被设置，那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的 challenge/response认证协议。用户的名和密码以明文方式存放在”secrets file”选项指定的文件中。默认情况下无需密码就可以连接模块(也就是匿名方式)。
secrets file
该选项指定一个包含定义用户名:密码对的文件。只有在”auth users”被定义时，该文件才有作用。文件每行包含一个username:passwd对。一般来说密码最好不要超过8个字符。没有默认的 secures file名，需要限式指定一个(例如：/etc/rsyncd.passwd)。注意：该文件的权限一定要是600，否则客户端将不能连接服务器。
strict modes
该选项指定是否监测密码文件的权限，如果该选项值为true那么密码文件只能被rsync服务器运行身份的用户访问，其他任何用户不可以访问该文件。默认值为true。
hosts allow
该选项指定哪些IP的客户允许连接该模块。客户模式定义可以是以下形式：单个IP地址，例如：172.16.10.16；整个网段，例如：172.16.10.0/24，也可以是172.16.0.0/255.255.255.0 多个IP或网段需要用空格隔开，“*”则表示所有，默认是允许所有主机连接。
hosts deny
指定不允许连接rsync服务器的机器，可以使用hosts allow的定义方式来进行定义。默认是没有hosts deny定义。
ignore errors
指定rsyncd在判断是否运行传输时的删除操作时忽略server上的IO错误，一般来说rsync在出现IO错误时将将跳过–delete操作，以防止因为暂时的资源不足或其它IO错误导致的严重问题。
ignore nonreadable
指定rysnc服务器完全忽略那些用户没有访问权限的文件。这对于在需要备份的目录中有些文件是不应该被备份者得到的情况是有意义的。
lock file
指定支持max connections参数的锁文件，默认值是/var/run/rsyncd.lock。
transfer logging
使rsync服务器使用ftp格式的文件来记录下载和上载操作在自己单独的日志中。
log format
通过该选项用户在使用transfer logging可以自己定制日志文件的字段。其格式是一个包含格式定义符的字符串，可以使用的格式定义符如下所示：
%h 远程主机名
%a 远程IP地址
%l 文件长度字符数
%p 该次rsync会话的进程id
%o 操作类型：”send”或”recv”
%f 文件名
%P 模块路径
%m 模块名
%t 当前时间
%u 认证的用户名(匿名时是null)
%b 实际传输的字节数
%c 当发送文件时，该字段记录该文件的校验码
默认log格式为：”%o %h [%a] %m (%u) %f %l”，一般来说,在每行的头上会添加”%t [%p] “。在源代码中同时发布有一个叫rsyncstats的perl脚本程序来统计这种格式的日志文件。
timeout
通过该选项可以覆盖客户指定的IP超时时间。通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端。超时单位为秒钟，0表示没有超时定义，这也是默认值。对于匿名rsync服务器来说，一个理想的数字是600。
refuse options
通过该选项可以定义一些不允许客户对该模块使用的命令参数列表。这里必须使用命令全名，而不能是简称。但发生拒绝某个命令的情况时服务器将报告错误信息然后退出。如果要防止使用压缩，应该是：”dont compress = *”。
dont compress
用来指定那些不进行压缩处理再传输的文件，默认值是*.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz
（三）rsync常用命令
在对rsync服务器配置结束以后，下一步就需要在客户端发出rsync命令来实现将服务器端的文件备份到客户端来。rsync是一个功能非常强大的工具，其命令也有很多功能特色选项，下面就对它的选项一一进行分析说明。 Rsync的命令格式可以为以下六种：
rsync [OPTION]… SRC DEST
rsync [OPTION]… SRC [USER@]HOST:DEST
rsync [OPTION]… [USER@]HOST:SRC DEST
rsync [OPTION]… [USER@]HOST::SRC DEST
rsync [OPTION]… SRC [USER@]HOST::DEST
rsync [OPTION]… rsync://[USER@]HOST[:PORT]/SRC [DEST]
对应于以上六种命令格式，rsync有六种不同的工作模式：
1)拷贝本地文件。当SRC和DES路径信息都不包含有单个冒号”:“分隔符时就启动这种工作模式。如：rsync -a /data /backup
2)使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号”:“分隔符时启动该模式。如：rsync -avz *.c foo:src
3)使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号”:“分隔符时启动该模式。如：rsync -avz foo:src/bar /data
4)从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含”::“分隔符时启动该模式。如：rsync -av [email protected]::www /databack
5)从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含”::“分隔符时启动该模式。如：rsync -av /databack [email protected]::www
6)列远程机的文件列表。这类似于rsync传输，不过只要在命令中省略掉本地机信息即可。如：rsync -v rsync://172.16.10.16/www
rsync参数的具体解释如下：
-v, –verbose 详细模式输出
-q, –quiet 精简输出模式
-c, –checksum 打开校验开关，强制对文件传输进行校验
-a, –archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD
-r, –recursive 对子目录以递归模式处理
-R, –relative 使用相对路径信息
-b, –backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用–suffix选项来指定不同的备份文件前缀。
–backup-dir 将备份文件(如~filename)存放在在目录下。
-suffix=SUFFIX 定义备份文件前缀
-u, –update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)
-l, –links 保留软链结
-L, –copy-links 想对待常规文件一样处理软链结
–copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结
–safe-links 忽略指向SRC路径目录树以外的链结
-H, –hard-links 保留硬链结
-p, –perms 保持文件权限
-o, –owner 保持文件属主信息
-g, –group 保持文件属组信息
-D, –devices 保持设备文件信息
-t, –times 保持文件时间信息
-S, –sparse 对稀疏文件进行特殊处理以节省DST的空间
-n, –dry-run现实哪些文件将被传输
-W, –whole-file 拷贝文件，不进行增量检测
-x, –one-file-system 不要跨越文件系统边界
-B, –block-size=SIZE 检验算法使用的块尺寸，默认是700字节
-e, –rsh=COMMAND 指定使用rsh、ssh方式进行数据同步
–rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息
-C, –cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件
–existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件
–delete 删除那些DST中SRC没有的文件
–delete-excluded 同样删除接收端那些被该选项指定排除的文件
–delete-after 传输结束以后再删除
–ignore-errors 及时出现IO错误也进行删除
–max-delete=NUM 最多删除NUM个文件
–partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输
–force 强制删除目录，即使不为空
–numeric-ids 不将数字的用户和组ID匹配为用户名和组名
–timeout=TIME IP超时时间，单位为秒
-I, –ignore-times 不跳过那些有同样的时间和长度的文件
–size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间
–modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0
-T –temp-dir=DIR 在DIR中创建临时文件
–compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
-P 等同于 –partial
–progress 显示备份过程
-z, –compress 对备份的文件在传输时进行压缩处理
–exclude=PATTERN 指定排除不需要传输的文件模式
–include=PATTERN 指定不排除而需要传输的文件模式
–exclude-from=FILE 排除FILE中指定模式的文件
–include-from=FILE 不排除FILE指定模式匹配的文件
–version 打印版本信息
–address 绑定到特定的地址
–config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件
–port=PORT 指定其他的rsync服务端口
–blocking-io 对远程shell使用阻塞IO
-stats 给出某些文件的传输状态
–progress 在传输时现实传输过程
–log-format=formAT 指定日志文件格式
–password-file=FILE 从FILE中得到密码
–bwlimit=KBPS 限制I/O带宽，KBytes per second
-h, –help 显示帮助信息
四、Rsync实例测试
（一）测试环境：
两台主机H1和H2：
H1
系统 CentOS 5.5
主机名 promise
IP地址 172.16.10.189
要备份的目录 /home/promise/tarbak/
备份的路径 /home/www/
H2
系统 CentOS 5.5 x86_64
主机名 qqing
IP地址 172.16.10.3
要备份的目录 /home/bak/
备份的路径 /home/bakup
（二）测试目的：
分别采用SSH方式和后台服务方式同步文件，测试单向、双向文件同步功能，当文件夹或文件有更新（包括增加、删除、移动、新建等）时手动或者自动检测更新备份文件，并保持权限的一致性。
（三）测试方式及测试结果：
1、SSH方式（将H1中/home/promise/tarbak/的文件备份至H2的/home/bakup/）
1）在源主机(H1)上启动ssh服务：
[root@bogon ~]# /etc/init.d/sshd start
启动 sshd： [确定]
2）在备份服务器(H2)上使用rsync备份（SSH方式是通过系统用户来进行备份的）：
[root@bogon bakup]# rsync -avz –progress -e ssh –delete [email protected]:/home/promise/tarbak/ /home/bakup
出现如下信息：
Address 172.16.10.189 maps to bogon, but this does not map back to the address – POSSIBLE BREAK-IN ATTEMPT!
[email protected]′s password:
3）测试结果：
receiving incremental file list
./
Document.tar.gz
3911680 100% 11.44MB/s 0:00:00 (xfer#1, to-check=8/10)
Document2.tar.gz
4628480 100% 6.13MB/s 0:00:00 (xfer#2, to-check=7/10)
Document3.tar.gz
4628480 100% 3.96MB/s 0:00:01 (xfer#3, to-check=6/10)
Images.tar.gz
532480 100% 3.19MB/s 0:00:00 (xfer#4, to-check=5/10)
QuickSync.zip
264979 100% 1.39MB/s 0:00:00 (xfer#5, to-check=4/10)
discuz.png
502105 100% 2.12MB/s 0:00:00 (xfer#6, to-check=3/10)
inotify-tools-3.14.tar.gz
358772 100% 1.34MB/s 0:00:00 (xfer#7, to-check=2/10)
rsync-3.0.8.tar.gz
790722 100% 2.33MB/s 0:00:00 (xfer#8, to-check=1/10)
src.tar.gz
4854407 100% 6.29MB/s 0:00:00 (xfer#9, to-check=0/10)
sent 185 bytes received 20479655 bytes 718590.88 bytes/sec
total size is 20472105 speedup is 1.00
上面的信息描述了整个的备份过程，以及总共备份数据的大小。
2、后台服务方式（将H1中/home/promise/tarbak/的文件备份至H2的/home/bakup/）
1）启动rsync服务，然后编辑/etc/xinetd.d/rsync文件，将其中的disable=yes改为disable=no，并重启xinetd服务，如下：
[root@bogon ~]# vim /etc/xinetd.d/rsync
# vi /etc/xinetd.d/rsync
#default: off
# description: The rsync server is a good addition to an ftp server, as it \
# allows crc checksumming etc.
service rsync
{
disable = no
socket_type = stream
wait = no
user = root
server = /usr/bin/rsync
server_args = –daemon
log_on_failure += USERID
}
[root@bogon ~]# /etc/init.d/xinetd restart
停止 xinetd： [确定]
启动 xinetd： [确定]
2）创建配置文件，在安装好rsync程序后，并不会自动创建rsync的主配置文件，需要手工来创建，其主配置文件为rsyncd.conf
[root@bogon ~]# mkdir /etc/rsyncd
//创建rsync的配置目录
[root@bogon ~]#
touch /etc/rsyncd/rsyncd.conf
//创建rsync的主配置文件
[root@bogon ~]# touch /etc/rsyncd/rsyncd.secrets
//创建rsync的密码文件
[root@bogon ~]#
chmod 600 /etc/rsyncd/rsyncd.secrets
//设置创建的密码文件权限为600
[root@bogon ~]# touch /etc/rsyncd/rsyncd.motd
//创建客户连接服务器时显示给客户的消息
rsyncd.conf内容如下：
[root@bogon ~]# vim /etc/rsyncd/rsyncd.conf
pid file = /var/run/rsyncd.pid //运行rsync时进程ID文件
port = 873 //默认端口为873
address = 172.16.10.189 //把源主机(H1)的IP写进配置文件
uid = root //传输文件时守护进程应该具有的uid
gid = root //传输文件时守护进程应该具有的gid
use chroot = no //不使用chroot功能
read only = no //禁止只读功能
hosts allow = 172.16.10.1/255.255.255.0 //指定哪个网段允许连接
hosts deny = * //除了指定的IP或网段以外禁止连接
max connections = 5 //设置最大并发连接数以保护服务器
motd file = /etc/rsyncd/rsyncd.motd //指定消息文件路径
log file = /var/log/rsync.log //指定日志文件路径
log format = %t %a %m %f %b //使用transfer logging时定制日志文件的字段
transfer logging = yes //使用transfer logging功能
syslog facility = local3 //指定发送日志消息给syslog时的消息级别
timeout = 300 //设置覆盖客户指定的IP超时时间
[bakup] //认证的模块名，在备份服务端需要指定
path = /home/bakup //指定备份目录路径
list = yes //允许列出客户请求时可以使用的模块列表
ignore errors //指定rsyncd忽略在判断运行传输时的删除操作时源主面上的IO错误
auth users = promise //设置允许连接的用户
secrets file = /etc/rsyncd/rsyncd.secrets //指定密码文件路径
comment = bakup web //描述该模块
rsyncd.secrets内容如下：
[root@bogon ~]# vim /etc/rsyncd/rsyncd.secrets
qqing:qqing99
rsyncd.motd内容如下：
[root@bogon ~]# vim /etc/rsyncd/rsyncd.motd
Welcome to linuxrsync system！
3）以—daemon方式启动rsync服务
[root@bogon ~]# /usr/bin/rsync --daemon --config=/etc/rsyncd/rsyncd.conf
4）完成以上工作，现在对数据进行备份：
[root@bogon bakup]# rsync -avz –progress –delete [email protected]::bakup /home/bakup/
出现如下信息：
Welcome to linuxrsync system!
Password:
5）测试结果：
receiving incremental file list
./
Document.tar.gz
3911680 100% 11.51MB/s 0:00:00 (xfer#1, to-check=8/10)
Document2.tar.gz
4628480 100% 6.14MB/s 0:00:00 (xfer#2, to-check=7/10)
Document3.tar.gz
4628480 100% 3.97MB/s 0:00:01 (xfer#3, to-check=6/10)
Images.tar.gz
532480 100% 3.21MB/s 0:00:00 (xfer#4, to-check=5/10)
QuickSync.zip
264979 100% 1.40MB/s 0:00:00 (xfer#5, to-check=4/10)
discuz.png
502105 100% 2.15MB/s 0:00:00 (xfer#6, to-check=3/10)
inotify-tools-3.14.tar.gz
358772 100% 1.35MB/s 0:00:00 (xfer#7, to-check=2/10)
rsync-3.0.8.tar.gz
790722 100% 2.35MB/s 0:00:00 (xfer#8, to-check=1/10)
src.tar.gz
4854407 100% 6.30MB/s 0:00:00 (xfer#9, to-check=0/10)
sent 230 bytes received 20479749 bytes 4551106.44 bytes/sec
total size is 20472105 speedup is 1.00
上面的信息描述了整个的备份过程，以及总共备份数据的大小。
6）恢复备份的内容，当服务器的数据出现问题时，那么这时就需要通过客户端的数据对服务端进行恢复，但前提是服务端允许客户端有写入权限，否则也不能在客户端直接对服务端进行恢复，使用rsync对数据进行恢复的方法如下：
[root@bogon bakup]# rsync -avz –progress /home/bakup/ [email protected]::bakup
出现如下信息：
Welcome to linuxrsync system!
Password:
输入密码，按Enter后看到整个恢复过程：
sending incremental file list
./
Document.tar.gz
3911680 100% 30.07MB/s 0:00:00 (xfer#1, to-check=8/10)
Document2.tar.gz
4628480 100% 13.84MB/s 0:00:00 (xfer#2, to-check=7/10)
Document3.tar.gz
4628480 100% 9.33MB/s 0:00:00 (xfer#3, to-check=6/10)
Images.tar.gz
532480 100% 1.01MB/s 0:00:00 (xfer#4, to-check=5/10)
QuickSync.zip
264979 100% 507.39kB/s 0:00:00 (xfer#5, to-check=4/10)
discuz.png
502105 100% 928.67kB/s 0:00:00 (xfer#6, to-check=3/10)
inotify-tools-3.14.tar.gz
358772 100% 650.02kB/s 0:00:00 (xfer#7, to-check=2/10)
rsync-3.0.8.tar.gz
790722 100% 1.31MB/s 0:00:00 (xfer#8, to-check=1/10)
src.tar.gz
4854407 100% 6.15MB/s 0:00:00 (xfer#9, to-check=0/10)
sent 20479633 bytes received 182 bytes 561090.82 bytes/sec
total size is 20472105 speedup is 1.00
7）创建用户密码验证文件，免去输入密码的麻烦
[root@bogon bakup]# vim /etc/rsyncd.pass
#密码验证文件
qqing99
保存退出
同样要设置密码验证文件的权限为600
[root@bogon bakup]# chmod 600 /etc/rsyncd.pass
进行备份，无需输入密码验证：
[root@bogon bakup]# rsync -avz –progress –delete –password-file=/etc/rsyncd.pass [email protected]::bakup /home/bakup/
出现如下信息：
Welcome to linuxrsync system!
receiving incremental file list
./
Document.tar.gz
3911680 100% 11.44MB/s 0:00:00 (xfer#1, to-check=8/10)
Document2.tar.gz
4628480 100% 6.13MB/s 0:00:00 (xfer#2, to-check=7/10)
Document3.tar.gz
4628480 100% 3.97MB/s 0:00:01 (xfer#3, to-check=6/10)
Images.tar.gz
532480 100% 3.19MB/s 0:00:00 (xfer#4, to-check=5/10)
QuickSync.zip
264979 100% 1.39MB/s 0:00:00 (xfer#5, to-check=4/10)
discuz.png
502105 100% 2.14MB/s 0:00:00 (xfer#6, to-check=3/10)
inotify-tools-3.14.tar.gz
358772 100% 1.34MB/s 0:00:00 (xfer#7, to-check=2/10)
rsync-3.0.8.tar.gz
790722 100% 2.34MB/s 0:00:00 (xfer#8, to-check=1/10)
src.tar.gz
4854407 100% 6.29MB/s 0:00:00 (xfer#9, to-check=0/10)
sent 230 bytes received 20479749 bytes 1638398.32 bytes/sec
total size is 20472105 speedup is 1.00
可见不再提示输入密码
3、使用crontab建立脚本，实现定期同步备份文件
[root@bogon bakup]# crontab -e
设置每隔5分钟自动同步备份：
*/5 * * * * rsync -avz –progress –delete –password-file=/etc/rsyncd.pass [email protected]::bakup /home/bakup/
4、与最佳搭档inotify的合作，实现实时触控式自动更新
Inotify的使用
查看是否支持inotify，从kernel 2.6.13开始正式并入内核，RHEL5已经支持。看看是否有 /proc/sys/fs/inotify/目录，以确定内核是否支持inotify
[root@bogon Rsync]# ll /proc/sys/fs/inotify
total 0
-rw-r–r– 1 root root 0 Oct 9 09:36 max_queued_events
-rw-r–r– 1 root root 0 Oct 9 09:36 max_user_instances
-rw-r–r– 1 root root 0 Oct 9 09:36 max_user_watches
1）获取Inotify：
[root@bogon]# wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
2）Inotify的安装：
[root@bogon]# cd inotify-tools-3.14
[root@bogon]# ./configure
[root@bogon]# make
[root@bogon]# make install
3）创建脚本文本：
[root@bogon]# cd /usr/local/sbin
[root@bogon]# touch rsync.sh
[root@bogon]# chmod a+x rsync.sh
[root@bogon]# vim rsync.sh
rsync.sh内容如下:
#!/bin/sh
src=/home/promise/bakup/ //需要备份的目录
des=bakup //配置文件里的模块名
ip=172.16.10.3 //备份服务器的IP
user=promise
/usr/local/bin/inotifywait -mrq –timefmt ‘%d/%m/%y %H:%M’ –format ‘%T %w%f’ -e modify,delete,create,attrib ${src} | while read file
do
rsync -avz –delete –progress –password-file=/etc/rsyncd.pass ${src} ${user}@${ip}::${des} &&
echo “${src} was rsynced”
echo “—————————————————–”
done
注：–password-file存放用户${user}的密码
password-file的添加如下：密码与上文中的用户名对应于rsync.secrets文件中的用户名和密码。
[root@bogon bakup]# vim /etc/rsyncd.pass
[root@bogon bakup]# chmod 600 rsyncd.pass
[root@bogon bakup]# vim rsyncd.pass
#添加密码
qqing99
4）执行：
rsyncd.sh
PS：将rsync.sh添加到开机启动:
sed -i ‘$i \/usr/local/sbin/rsync.sh’ /etc/rc.local
5、使用inotify+rsync实现双向同步更新文件
网上有很多资料说rsync不能双向同步，其实，在两台主机上同时安装rsync和inotify，并按以上基础配置就可以实现双向同步更新备份文件。
（四）测试结果数据分析
1、测试目的
分析rsync在同步时加参数-z进行压缩时的压缩比例
2、测试数据来源
1）源主机（H1）上的sof.tar压缩文件包
详细资料：
[root@bogon www]# ls -al sof.tar
-rw-r–r– 1 root root 498739200 04-19 14:24 sof.tar
[root@bogon www]# ls -hl sof.tar
-rw-r–r– 1 root root 476M 04-19 14:24 sof.tar
2）通过实时触控式（inotify+rsync）同步更新，将源主机（H1）上的sof.tar同步备份到备份服务器（H2）上
3、测试结果数据（三次测试结果）
第一次测试结果：
不加参数-z（即不进行压缩同步）
[root@bogon sbin]# rsync.sh
Welcome to linuxrsync system!
building file list …
4 files to consider
./
sof.tar
498739200 100% 7.87MB/s 0:01:00 (xfer#1, to-check=2/4)
deleting html/
sent 498800218 bytes received 30 bytes 6786397.93 bytes/sec
total size is 28907509760 speedup is 57.95
/home/www/ was rsyncd.
——————————————————–
加参数-z（即进行压缩同步）
[root@bogon sbin]# rsync.sh
Welcome to linuxrsync system!
building file list …
4 files to consider
./
sof.tar
498739200 100% 6.93MB/s 0:01:08 (xfer#1, to-check=2/4)
deleting html/
sent 492633703 bytes received 30 bytes 6119673.70 bytes/sec
total size is 28907509760 speedup is 58.68
/home/www/ was rsyncd.
——————————————————–
第二次测试结果：
不加参数-z
[root@bogon sbin]# rsync.sh
Welcome to linuxrsync system!
building file list …
5 files to consider
./
sof.tar
498739200 100% 7.26MB/s 0:01:05 (xfer#1, to-check=3/5)
htl/
sent 498800233 bytes received 33 bytes 6274217.18 bytes/sec
total size is 28907509760 speedup is 57.95
/home/www/ was rsyncd.
——————————————————–
加参数-z
[root@bogon sbin]# rsync.sh
Welcome to linuxrsync system!
building file list …
4 files to consider
./
sof.tar
498739200 100% 5.80MB/s 0:01:21 (xfer#1, to-check=2/4)
deleting htl/
sent 492633703 bytes received 30 bytes 5213055.38 bytes/sec
total size is 28907509760 speedup is 58.68
/home/www/ was rsyncd.
第三次测试结果：
不加参数-z
[root@bogon sbin]# rsync.sh
Welcome to linuxrsync system!
building file list …
4 files to consider
./
sof.tar
498739200 100% 6.96MB/s 0:01:08 (xfer#1, to-check=2/4)
deleting html/
sent 498800218 bytes received 30 bytes 6196276.37 bytes/sec
total size is 28907509760 speedup is 57.95
/home/www/ was rsyncd.
——————————————————–
加参数-z
[root@bogon sbin]# rsync.sh
Welcome to linuxrsync system!
building file list …
5 files to consider
./
sof.tar
498739200 100% 6.95MB/s 0:01:08 (xfer#1, to-check=3/5)
html/
sent 492633723 bytes received 33 bytes 6044585.96 bytes/sec
total size is 28907509760 speedup is 58.68
/home/www/ was rsyncd.
——————————————————–
4、测试结果数据分析
由以上测试结果数据可得：
1）不加参数-z，共发送的数据大小，取三次平均值：
S1=（498800218＋498800233＋498800218）/3=498800223
2）加参数-z，共发送的数据大小，取三次平均值：
S2=（492633703＋492633703＋492633723）/3=492633710
3）sof.tar压缩包实际大小：
T= 498739200
[root@bogon www]# ls -al sof.tar
-rw-r–r– 1 root root 498739200 04-19 14:24 sof.tar
4）压缩比例：
P＝(S1-S2)/T
＝(498800223-492633710)/498739200
＝6166513/498739200
＝0.012364204
＝1.2364204％
五、问题排除及注意事项
问题排除：
1、问题1
rsync: read error: Connection reset by peer (104)
rsync error: error in rsync protocol data stream (code 12) at io.c(614) [receiver=2.6.8]
解决：在服务器上查看日志，看到有这么一行：
rsync: unable to open configuration file “/etc/rsyncd.conf”: No such file or directory
于是执行如下命令：
[root@bogon ~]# ln -s /etc/rsyncd/rsyncd.conf /etc/rsyncd.conf
但是继续报如下错误：
sending incremental file list
ERROR: module is read only
rsync error: syntax or usage error (code 1) at main.c(879) [Receiver=3.0.8]
rsync: read error: Connection reset by peer (104)
rsync error: error in rsync protocol data stream (code 12) at io.c(760) [sender=3.0.8]
到备份服务器上修改主配置文件
[root@bogon ~]# vim /etc/rsyncd/rsyncd.conf
把
read only=yes
改为
read only=no
问题解决，实现单向同步
2、问题2
[root@www backup]# rsync -vzrtopg –progress –delete [email protected]::promise /home/bak/
Password:
@ERROR: chdir failed
rsync error: error starting client-server protocol (code 5) at main.c(1516) [Receiver=3.0.8]
解决：目录设置错误
确定配置文件里的目录正确
3、问题3
在Linux下使用rsync同步时，出现以下错误：
@ERROR: auth failed on module bakup
其中，bakup是rsync服务模块名称。
出现这种情况，先检查了用户名和密码正确性，经检查无误，排除了这个可能性，另外可能的原因是：rsync服务器的帐户密码文件的权限没有设置为600，修改/etc/rsyncd/rsyncd.secrets文件：
[root@bogon ~]#
chmod 600 /etc/rsyncd/rsyncd.secrets
问题解决。
4、问题4
在备份路径后面一定要加“/”，否则在双向同步时会一直循环同步。如：
src=/var/www/ //后面一定要加“/”
5、问题5
同步mysql数据时需要注意：
本地源主机（H1）是一台web服务器，把/var/lib/mysql备份到备份服务器（H2），当web服务器上的数据受损时需要从备份服务器把数据同步到web服务器
执行脚本文件：/usr/local/sbin/rsync.sh
同步备份服务器上的/var/lib/mysql到web服务器后仍然无法访问网站，此时需要重启mysql
#/etc/init.d/mysqld restart
问题解决。
网上相关资料：
资料一：
最近在配置rsync服务器镜像备份。中间遇到@ERROR: auth failed on module 这个问题，网上找了好多资料，也具体对照测试了。
1、
[root@bo bin]# /usr/local/rsync/bin/rsync -vazu -progress –delete [email protected]::www /tmp –password-file=/etc/backserver.pas
rsync: Failed to exec ss: No such file or directory (2)
rsync error: error in IPC code (code 14) at pipe.c(86) [receiver=2.6.9]
rsync: writefd_unbuffered failed to write 12 bytes [receiver]: Broken pipe (32)
rsync error: error in rsync protocol data stream (code 12) at io.c(1122) [receiver=2.6.9]
[root@ht-store bin]#
以上错误可能是上面使用的参数前面的符号不正确。换成下面的就没有上面的错误了
[root@bo /]# usr/local/rsync/bin/rsync -vzrtopgu –progress –delete –password-file=/etc/backserver.pas [email protected]:www /tmp
2、
[root@ht-store /]# usr/local/rsync/bin/rsync -vzrtopgu –progress –delete [email protected]:www /tmp/ –password-file=/etc/backserver.pas
[email protected]′s password:
Permission denied, please try again.
[email protected]′s password:
Permission denied, please try again.
[email protected]′s password:
Permission denied (publickey,gssapi-with-mic,password).
rsync: connection unexpectedly closed (0 bytes received so far) [receiver]
rsync error: unexplained error (code 255) at io.c(453) [receiver=2.6.9]
[root@ht-store /]#
更改成
[root@ht-store /]# usr/local/rsync/bin/rsync -vzrtopgu –progress –delete –password-file=/etc/backserver.pas
[email protected]::www /tmp
@ERROR: auth failed on module www
rsync error: error starting client-server protocol (code 5) at main.c(1383) [receiver=2.6.9]
[root@ht-store /]#
3、
[root@ht-store /]# /usr/local/rsync/bin/rsync -vazu –progress –delete –password-file=/etc/backserver.pas
[email protected]::www /tmp
@ERROR: auth failed on module www
rsync error: error starting client-server protocol (code 5) at main.c(1383) [receiver=2.6.9]
检查一下用户名是否错误backserver 应该是backup
4、
[root@ht-store /]# /usr/local/rsync/bin/rsync -vzar –progress –delete –password-file=/etc/backserver.pas [email protected]:www /tmp
[email protected]′s password:
Permission denied, please try again.
[email protected]′s password:
rsync error: received SIGINT, SIGTERM, or SIGHUP (code 20) at rsync.c(244) [receiver=2.6.9]
是双引号“::”[email protected]::www 而不是单引号“:”[email protected]:www
5、
[root@ht-store /]# /usr/local/rsync/bin/rsync -vzrtopgu –progress –delete –password-file=/etc/backserver.pas [email protected]::www /tmp
@ERROR: Unknown module ‘www’
rsync error: error starting client-server protocol (code 5) at main.c(1383) [receiver=2.6.9]
这是因为服务器端hosts allow 没有允许该主机访问
资料二：
1. Q: 出現以下這個訊息, 是怎麼一回事?
@ERROR: auth failed on module xxxxx
rsync: connection unexpectedly closed (90 bytes read so far)
rsync error: error in rsync protocol data stream (code 12) at io.c(150)
A: 這是因為密碼設錯了, 無法登入成功, 請再檢查一下 rsyncd.pwd ,rsyncd.sec中的密碼設定, 二端是否一致?有时服务器
端没有起动服务也会出现这种情况
2. Q: 出現以下這個訊息, 是怎麼一回事?
password file must not be other-accessible
continuing without password file
Password:
A: 這表示 rsyncd.pwd rsyncd.sec 的檔案權限屬性不對, 應設為 600
請下 chmod 600 rsyncd.pwd rsyncd.sec
3. Q: 出現以下這個訊息, 是怎麼一回事?
@ERROR: chroot failed
rsync: connection unexpectedly closed (75 bytes read so far)
rsync error: error in rsync protocol data stream (code 12) at io.c(150)
A: 這通常是您的 rsyncd.conf 中
的 path 路徑所設的那個目錄並不存在所致.
請先用 mkdir 開設好備份目錄.
4.Q:出现一下信息是怎么回事
rsync: failed to connect to 218.107.243.2: No route to host (113)
rsync error: error in socket IO (code 10) at clientserver.c(104) [receiver=2.6.9]
所以情況會是:
1. 對方主機沒開機
2. 對方有 firewall 阻擋
3. 所通過的網路上有 firewall 阻擋
shell>setup #关闭防火墙，其实最重要的也就是把tcp udp 的873端口打开。
5.Q:出现一下信息是怎么回事
当
/server/rsync/bin/rsync -vzrutogp –progress –password-file=/etc/rsyncclien
t.pwd [email protected]:backup /var/www/backup
出现
[email protected]′s password
Permission denied, please try again.
最有可能的情况是，系统没有认出来，你现在的通信是rsync，所以请仔细检查一下上面加红的那句话中ip地址后面是否为两个:也就是说::为rsync通信，:为ssh通信
6.Q:
当/server/rsync/bin/rsync rsync://[email protected]/backup时，出现如下
rsync: link_stat “/.” (in backup) failed: Permission denied (13)
rsync error: some files could not be transferred (code 23) at main.c(1385) [receiver=2.6.9]
解决方法：更改你的rsyncd.conf中的
uid=nobody
gid=nobody
为
uid=root
gid=root
解决方法2
出现这样问题的原因是我要同步的这个root目录在掩位的最后一位
不是r-x或以上的权限，也就是说root这个目录一定要等于或大于drwxr-xr-x才能同步。
附录一：源主机和备份服务器的配置文档
源主机配置文件
见附件
备份服务器配置文件
见附件
附录二：Rsync的INSTALL文档
见附件
附录三：Inotify的INSTLL文档
见附件
uid = nobody
gid = nobody
use chroot = no
read only = yes
timeout = 600
max connections = 40
hosts allow =192.168.105.157,10.10.82.196,192.168.132.206,192.168.105.204,10.11.31.17,192.168.105.0/24,10.59.96.235
secrets file = /etc/rsyncd.secrets
#motd file = /etc/rsyncd.motd
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
path=/pic2008/HEAD/Pickoo/Pic2008/WebRoot/out/2008/pic/
comment=my rsync site
[rsync_cate]
path=/usr/local/pickoo/inc/cate/
comment=my rsync site
path=/pic2008/HEAD/Pickoo/Pic2008/WebRoot/
comment=my rsync site
path=/usr/local/pickoo/
comment=my rsync site
path=/pic2008/HEAD/Pickoo/Pic2008/WebRoot/out/2008/deploy/
comment=my rsync site
path=/opt/ftp/
comment=my rsync site
path=/usr/local/pickoo/inc/channel/
comment=my rsync site
path=/pic2008/HEAD/Pickoo/Pic2008/WebRoot/out/2008/deploy/inc/17173/
comment=my rsync site
root:
gid = nobody
use chroot = no
read only = no
hosts allow = 10.11.85.34
secrets file = /etc/rsyncd/rsyncd.secrets
max connections = 5
motd file = /etc/rsyncd/rsyncd.motd
log file = /var/log/rsync.log
log format = %t %a %m %f %b
transfer logging = yes
syslog facility = local3
timeout = 300
path = /home/bakup
comment = bakup web