rsync同步服务器数据

 

简介

rsync是类unix系统下的数据镜像备份工具。本文以Nexue数据备份的实践应用为案例，介绍整个应用过程。作为入门材料，rsync的高级配置和应用不在本文范畴。

官方网站：http://rsync.samba.org/

功能及特点：（从百度抄的）

 

• 可以镜像保存整个目录树和文件系统。
• 可以很容易做到保持原来文件的权限、时间、软硬链接等等。
• 无须特殊权限即可安装。
• 快速：第一次同步时 rsync 会复制全部内容，但在下一次只传输修改过的文件。rsync 在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽。
• 安全：可以使用scp、ssh等方式来传输文件，当然也可以通过直接的socket连接。
• 支持匿名传输，以方便进行网站镜象。

使用场景：

1、服务器数据备份

2、集群服务器中数据同步（增量是两点啊）

 

安装配置

rsync是应用模式是标准的C/S模式，原始数据所在的服务器A作为服务器，其他备份和同步的服务器B为客户端。所以分为服务器端配置和客户端配置。方案规划如下：

方案规划

服务器角色	服务器名称	服务器IP	用户	备份同步目录
服务端	服务器A	192.168.30.202	root	/data/sonatype-work
客户端	服务器B	192.168.30.208	root	/data/sonatype-work

 

rsync安装

rsync的安装，服务器端和客户端完全相同。

# wget http://rsync.samba.org/ftp/rsync/rsync-3.0.9.tar.gz

# tar -xzvf rsync-3.0.9.tar.gz

# cd cd rsync-3.0.9

# ./configure --prefix=/usr

……

# make

……

# make install

……

说明：编译安装需要gcc支持，如果没有安装，请先安装。我使用的是centOS6.3，所以就直接:yum install gcc.就OK了。

 

OK，安装完成。

 

服务端配置（服务器A）

服务器端的需求是通过rsync提供对/data/sonatype-work目录的同步备份服务，同时要求服务器启动自动启动服务。rsync通配置主要通过3个配置文件配置完成。如下：

[root@localhost etc]# ll rsyncd.*

-rw-r--r-- 1 root root 918 Mar  6 22:44 rsyncd.conf

-rw-r--r-- 1 root root 191 Mar  6 22:06 rsyncd.motd

-rw------- 1 root root  14 Mar  6 22:04 rsyncd.secrets

 

• rsyncd.conf：主配置文件，配置rsync服务的公共参数（IP,端口，进程文件，IP限制，日志，连接超时等）和需要同步的模块（需要同步的目录及常规参数）
• rsyncd.secrets：客户端请求同步时的账户安全认证文件。类似samba的模式（user:passwsord[明文哈]），这个文件的需要特别注意权限设置为宿主可访问才行（chmod 600 rsyncd.secrets）。
• rsyncd.motd：该文件就是客户端请求上来的时候，立即回复的欢迎信息，就和FTP登录时显示差不多意思。

下面我们分配配置和说明这些配置文件。

rsyncd.conf

别拷贝，直接到下面下载附件的好。

# Minimal configuration file for rsync daemon
# See rsync(1) and rsyncd.conf(5) man pages for help

##################################### 以下是公共参数配置 #############################################
# This line is required by the /etc/init.d/rsyncd script
pid file = /var/run/rsyncd.pid
# 服务的端口
port = 873
# 服务的IP
address = 192.168.30.202  
# 运行的宿主账户，这里为简单就root了
uid = root   
gid = root  
# 这个参数复杂，有空去查查。打开（yes）后有个功能是让符号链接可以同步过去（不通过符号链接对应的实际文件）
use chroot = yes
# 客户端只读
read only = yes
#limit access to private LANs
hosts allow=192.168.30.0/255.255.255.0
hosts deny=*
# 最大连接数
max connections = 5 
# 欢迎信息对应的文件
motd file = /etc/rsyncd.motd
# 客户端链接的超时时间
timeout = 300

# 以下是日志相关配置，可选使用独立日志文件和系统日志，这里选择的是系统日志（/var/log/message）
# This will give you a separate log file
# log file = /var/log/rsync.log
# This will log every file transferred - up to 85,000+ per user, per sync
# transfer logging = yes
log format = %t %a %m %f %b
syslog facility = local3

##################################### 同步模块配置 #############################################
[nexus]
# 需要同步的路径
path = /data/sonatype-work
# 客户端可以使用list命令列表显示
list=yes
# 忽略错误
ignore errors
# 认证用户
auth users = root
# 认证使用的账户密码文件
secrets file = /etc/rsyncd.secrets
# 备注信息
comment = This is nexus data
# 如果有忽略的子目录，可以通过exclude定义
# exclude = easylife/  samba/

 

 rsyncd.secrets

 

 

# 用户名:密码明文了
root:1qaz@WSX

 

 

rsyncd.motd

 

+++++++++++++++++++++++++++++++++++++++++++++++++++++
　　      Welcome to Nexus rsync services
           2012--2013 create by zhangpu
++++++++++++++++++++++++++++++++++++++++++++++++++++

 

 

防火墙

如果你开启了操作系统的防火墙，请使用iptables配置873端口可用。我反反正是直接关闭了，简单点。

 

 启动服务

 手动方式

#/usr/bin/rsync --daemon  --config=/etc/rsyncd.conf 　#--config用于指定rsyncd.conf的位置,如果在/etc下可以不写

xinetd方式

如果没有安装xinet，请先安装，对应本系统（CentOS）,我直接 yum install xinet 就OK了

在rsync默认安装完成后，安装程序会自动在建立/etc/xinetd.d/rsync文件，但是默认情况是disable = yes（也就是不可用的），需要修改为disable=no 即可

然后，我们通过xinet启动rsync:

# service xinetd start/restart

测试下，可以查看进程，端口监听等，我还是喜欢最笨最原始的方式：telnet,哈哈

 

# telnet 192.168.30.202 873

Trying 192.168.30.202...

Connected to 192.168.30.202 (192.168.30.202).

Escape character is '^]'.

@RSYNCD: 30.0

+++++++++++++++++++++++++++++++++++++++++++++++++++++

　　      Welcome to Nexus rsync services

           2012--2013 create by zhangpu

++++++++++++++++++++++++++++++++++++++++++++++++++++

 

 

都看到欢迎界面了，肯定服务起来了。

 

客户端配置（服务器B）

客户端是备份服务器，负责使用rsync命令从服务器备份或同步数据到本地指定目录。这里使用crontab+rsync实现定时自动增量同步的功能。

我决定在/data/rsync下建立一个脚本来实现启动rsync同步的功能，然后再使用crontab来实现定时调度。

 

[root@localhost rsync]# ll /data/rsync

total 8

-rwxr-xr-x 1 root root 177 Mar  6 15:27 rsync_client_nexus.sh

-rwx------ 1 root root   9 Mar  6 15:17 rsyncd.secrets

 

 

rsync_client_nexus.sh

 

#!/bin/sh
# backup 192.168.30.202 nexus data with rysnc
# 参数说明：
# -avzP表示归档，压缩并显示进度；
# --delete表示如果服务端删除的文件，客户端也需要删除；
# --password-file: 指定用户密码文件，不用用户交互输入。
# [email protected]::nexus 表示：使用root用户访问192.168.30.202的nexus模块，‘::’表示从服务器端拷贝数据
# /data/sonatype-work ： 本地保存同步文件的目录。
/usr/bin/rsync -avzP --delete --password-file=/data/rsync/rsyncd.secrets [email protected]::nexus /data/sonatype-work

 rsyncd.secrets

该文件保存rsync命令中使用的用户名的密码明文，这里就是上面的root用户的密码。同时注意这里和服务器端一样，该文件的权限为宿主可以读写（chmod 600 rsyncd.secrets）

# root（rsync的，非操作系统）用户的密码
1qaz@WSX

 

crontab配置

这是配置每天凌晨1点1分进行同步处理。

# crontab -e

1 1 * * * /data/rsync/rsync_client_nexus.sh   1> /dev/null

 

测试

 

测试就比较简单了，在服务器A的/data/sonatype-work下建立一个testfile,随便输入些东西，然后在服务器B中手动运行同步脚本rsync_client_nexus.sh，完成后在服务器B中相同目录检查是否有该文件。通过这种方式，你可以再修改文件，删除文件等测试。