rsync来实现文件同步

转自http://future.blog.51cto.com/26959/83651

使用rsync来实现文件同步

部分参考

程序 技术 — SuperTaoer

www.xfocus.net/articles/200107/214.html
www.sinzy.net/Blog/Read.asp?ID=10&BID=6900
blogger.org.cn/blog/more.asp?name=lhwork&id=21039
cmuch.com/article.asp?id=87

第一步，先来下载这个免费的软件。

rsync.samba.org/ 或者 samba.anu.edu.au/rsync

一定要去官方网站下载最新的版本，

解压缩后，编译很简单
./configure –prefix=/usr/local/rsync && make && make install

然后先来配置服务端吧

先来编辑服务端配置文件

#vi /etc/rsyncd.conf

# 全局配置
uid = root
gid = root
hosts allow = 192.168.0.1，192.168.1.2（中间无空格）
#hosts deny = 0.0.0.0/32

use chroot = no # 不使用chroot
max connections = 10 # 最大连接数为10
#motd file = /etc/rsyncd.motd #欢迎信息文件名称和存放位置（此文件没有，可以自行添加）
pid file = /var/run/rsyncd.pid #指定rsync的pid文件
lock file = /var/run/rsync.lock #指定支持max connections参数的锁文件，默认值是/var/run/rsyncd.lock
log file = /var/log/rsyncd.log #指定rsync的日志文件，而不将日志发送给syslog

# 下面就是每个模块的配置了
[rsync_module_name1] # 这里是认证的模块名，在client端需要指定
path = /rsync_path/dir1 # 需要做镜像的目录
comment = rsync files
ignore errors # 可以忽略一些无关的IO错误
read only = yes # 只读
list = no # 不允许列文件
auth users = rsync_user # 认证的用户名，如果没有这行，则表明是匿名，多个用户用,分隔
secrets file = /etc/rsyncd.pas # 认证文件名
#pid file = /var/run/rsyncd.pid
#log file = /var/log/rsyncd.log
#lock file = /var/run/rsync.lock

[rsync_module_name2]
……

其中，个人认为，没项配置都可以既在全局配置，也可以在模块内部配置，其中如果模块内部如果有与全局相同的配置，
则模块内部的配置覆盖全局的配置。

然后编辑你上面指定的认证文件，我这里是: /etc/rsyncd.pas

#vi /etc/rsyncd.pas
格式为： username:password
rsync_user:rsyncofpass

安全起见，更改认证文件属性
#chmod 0600 /etc/rsyncd.pas

ok ，现在启动下试试看吧。

#/usr/local/rsync/bin/rsync –daemon
你也可以指定rsync运行的端口
#/usr/local/rsync/bin/rsync –daemon –port=873

如果要在启动时把服务起来，有几种不同的方法，比如：

加入inetd.conf
编辑/etc/services，加入rsync 873/tcp，指定rsync的服务端口是873
编辑/etc/inetd.conf，加入rsync stream tcp nowait root /bin/rsync rsync –daemon

加入rc.local

在各种操作系统中，rc文件存放位置不尽相同，可以修改使系统启动时rsync –daemon加载进去。

我这里是直接加入 /etc/rc.local
/usr/local/rsync/bin/rsync –daemon –port=873
873就是rsync的默认端口号。

记得配置防火墙，允许你rsync端口的tcp和udp协议。
873:tcp 873:udp

下面开始配置客户端

下面这个命令行中-vzrtopg里的v是verbose，
z是压缩传输，
r是recursive，
topg都是保持文件原有属性如属主、时间的参数。
u是只同步已经更新的文件，避免没有更新的文件被重复更新一次，不过要注意两者机器的时钟的同步。
–progress是指显示出详细的进度情况，
–delete是指如果服务器端删除了这一文件，那么客户端也相应把文件删除，保持真正的一致。后面的[email protected]::rsync_module_name1中，之后的rsync_module_name1是模块名，也就是在/etc/rsyncd.conf中自定义的名称，rsync_user是指定模块中指定的可以同步的用户名。最后的/tmp是备份到本地的目录名。在这里面，还可以用-e ssh的参数建立起加密的连接。
可以用–password-file=/password/path/file来指定密码文件，这样就可以在脚本中使用而无需交互式地输入验证密码了，这里需要注意的是这份密码文件权限属性要设得只有属主可读。

#/usr/local/rsync/bin/rsync -vzrtopg –progress –delete [email protected]::rsync_module_name1 /tmp/
Password:
或者你也可以制定password文件
由于需要系统crontab执行，所以这里采用读入密码文件的方式，
这个时候就成功了。

#vi /etc/rsyncd.pas
加入

注意，客户端的密码文件只需要密码，而不需要用户名！

更改文件权限:
#chmod 0600 /etc/rsyncd.pas

#/usr/local/rsync/bin/rsync -vzrtopgu –progress –delete –password-file=/etc/rsyncd.pas [email protected]::rsync_module_name1 /tmp/

实际操作：

服务端

uid = nobody （也可换成root）

gid = nobody （也可换成root）

hosts allow = 192.168.1.38,192.168.1.3,192.168.1.138

#hosts deny = 0.0.0.0/32

use chroot = no

max connections = 4

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

 

[www]

path = /www

ignore errors

read only = yes

list = no

auth users = backup

secrets file = /etc/backserver.pas

[snmp]

path = /usr/local/net-snmp

ignore errors

read only = yes

list = no

auth users = backup

secrets file = /etc/backserver.pas

建立backserver.pas

#echo “backup:backserver” > /etc/backserver.pas

服务器启动服务

/usr/local/rsync/bin/rsync --daemon --config=/etc/rsyncd.conf

客户端运行的命令

/usr/local/rsync/bin/rsync -vzrtopgu --progress --delete --password-file=/etc/backserver.pas [email protected]::snmp /tmp

/usr/local/rsync/bin/rsync -vzrtopgu --progress --delete --password-file=/etc/backserver.pas [email protected]::www /tmp

问题排除：

1 、

[root@bo bin]# /usr/local/rsync/bin/rsync -vazu -progress --delete [email protected]::www /tmp --password-file=/etc/backserver.pas

rsync: Failed to exec ss: No such file or directory (2)

rsync error: error in IPC code (code 14) at pipe.c(86) [receiver=2.6.9]

rsync: writefd_unbuffered failed to write 12 bytes [receiver]: Broken pipe (32)

rsync error: error in rsync protocol data stream (code 12) at io.c(1122) [receiver=2.6.9]

[root@ht-store bin]#

以上错误可能是上面使用的参数前面的符号不正确。换成下面的就没有上面的错误了

[root@bo /]# usr/local/rsync/bin/rsync -vzrtopgu --progress --delete --password-file=/etc/backserver.pas [email protected]:www /tmp

2 、

[root@ht-store /]# usr/local/rsync/bin/rsync -vzrtopgu --progress --delete [email protected]:www /tmp/ --password- file=/etc/backserver.pas

[email protected]'s password:

Permission denied, please try again.

[email protected]'s password:

Permission denied, please try again.

[email protected]'s password:

Permission denied (publickey,gssapi-with-mic,password).

rsync: connection unexpectedly closed (0 bytes received so far) [receiver]

rsync error: unexplained error (code 255) at io.c(453) [receiver=2.6.9]

[root@ht-store /]#

更改成

[root@ht-store /]# usr/local/rsync/bin/rsync -vzrtopgu --progress --delete --password-file=/etc/backserver.pas

[email protected]::www /tmp

@ERROR: auth failed on module www

rsync error: error starting client-server protocol (code 5) at main.c(1383) [receiver=2.6.9]

[root@ht-store /]#

3 、

[root@ht-store /]# /usr/local/rsync/bin/rsync -vazu --progress --delete --password-file=/etc/backserver.pas

[email protected]::www /tmp

@ERROR: auth failed on module www

rsync error: error starting client-server protocol (code 5) at main.c(1383) [receiver=2.6.9]

检查一下用户名是否错误backserver 应该是backup

4 、

[root@ht-store /]# /usr/local/rsync/bin/rsync -vzar --progress --delete --password-file=/etc/backserver.pas [email protected]:www /tmp

[email protected]'s password:

Permission denied, please try again.

[email protected]'s password:

rsync error: received SIGINT, SIGTERM, or SIGHUP (code 20) at rsync.c(244) [receiver=2.6.9]

是双引号“::”[email protected]::www  尔不是单引号“:”[email protected]:www

5 、

[root@ht-store /]# /usr/local/rsync/bin/rsync -vzrtopgu --progress --delete --password-file=/etc/backserver.pas [email protected]::www /tmp

@ERROR: Unknown module 'www'

rsync error: error starting client-server protocol (code 5) at main.c(1383) [receiver=2.6.9]

这是因为服务器端hosts allow 没有允许该主机访问

6 、

# chmod 600 rsyncd.conf rsyncd.secrets

-rw-------    1 root     root          795 Aug 23 06:21 rsyncd.conf

-rw-------    1 root     root           37 Aug 23 06:23 rsyncd.secrets

注意：这个安全配置很重要，假如不这样做客户机连接服务器时会提示：

 

@ERROR: auth failed on module smb_recover_files

rsync: connection unexpectedly closed (102 bytes read so far)

rsync error: error in rsync protocol data stream (code 12) at io.c(165)

服务器端日志将出现错误提示：

 

2005/08/23 06:32:01 [8388] secrets file must not be other-accessible (see strict modes option)

2005/08/23 06:32:01 [8388] continuing without secrets file

2005/08/23 06:32:01 [8388] auth failed on module smb_recover_files from documentserver (192.168.0.159)

 

安装Windows rsync安装程序cwRsync_2.0.10_Installer.zip

安装可以一路next。

 

同步目录的时候执行

D:/LinuxBak/backup>rsync -vzrtopgu --progress --delete [email protected]::mysqldb c:/
The source and destination cannot both be remote.
rsync error: syntax or usage error (code 1) at main.c(1068) [receiver=2.6.9]

换一个备份目录就可以了。

 

在Windows下采取从文件读取密码方式出现的错误信息

D:inuxBak/bbsweb>rsync -vzrtopgu --progress --delete --password-file=D:/LinuxB
ak/bbsweb/pass.txt [email protected]::bbsweb ./
password file must not be other-accessible
continuing without password file
Password:

 

必需条件密码文件存放的位置一定要是ntfs分区，另一定要注意是下面的书写格式，--password-file=F:/pw一定要在后面指定

D:/LinuxBak/bbsweb>rsync -vzrtopgu --progress --delete rsync://[email protected]/bbsweb ./ --password-file=F:/pw

 

 

当执行以下命令，出现错误信息时

D:/LinuxBak/mysqldb>rsync -vzrtopgu --progress --delete rsync://[email protected]/mysqldb ./ --password-file=F:/pw

 

错误信息：

rsync: mkstemp "/cygdrive/d/LinuxBak/mysqldb/mysql/.dbvpopmail081213-14:01.tar.g
z.3favI3" failed: No such file or directory (2)
      101974 100%  529.70kB/s    0:00:00 (xfer#11, to-check=1/15)
rsync: mkstemp "/cygdrive/d/LinuxBak/mysqldb/mysql/.dbvpopmail081213-15:01.tar.g
z.xI3P0F" failed: No such file or directory (2)
      101975 100%  529.71kB/s    0:00:00 (xfer#12, to-check=0/15)

sent 352 bytes  received 1826513 bytes  3653730.00 bytes/sec
total size is 1833358  speedup is 1.00
rsync error: some files could not be transferred (code 23) at main.c(1385) [gene
rator=2.6.9]

 

这是因为在服务器端的备份文件dbvpopmail081213-15:01.tar.gz中有非法符号，可能造成Windows同步数据时无法识别文件名，尔导致问题。将服务器端文件改名为dbvpopmail0812131501.tar.gz 。这样在执行同样的命令就OK了！ :) :) :)