使用rsync从linux到linux做备份
一、软件简介
rsync是Linux系统下的数据镜像备份工具,从软件的命名上就可以看出来了――remote sync。rsync支持大多数的类Unix系统,无论是Linux、Solaris还是BSD上都经过了良好的测试。它的特性如下: 1、可以镜像保存整个目录树和文件系统。
2、可以很容易做到保持原来文件的权限、时间、软硬链接等等。 3、无须特殊权限即可安装。
4、优化的流程,文件传输效率高。
5、可以使用rcp、ssh等方式来传输文件,当然也可以通过直接的socket连接。 本文介绍了如何使用rsync服务从Linux到Windows和linux进行远程备份
二、安装软件
rysnc的主页地址为:http://rsync.samba.org/,可以从这里下载rsync的安装软件。 编译安装
rsync的编译安装非常简单,只需要以下简单的几步(在两台服务器中都要安装):
$ tar xvf rsync-2.6.3.tgz
$ cd rsync-2.6.3
$ ./configure
$ make
$ make install
//如果是已安装了RPM版的Rsync,并且要安装新版的Rsync,需要先删除Rsync #rpm -e rsync
(Redhat会有一个包依赖rsync,可以使用rpm -e rsync --nodeps卸载)
另外,RPM版的rsync带了一个服务端的启动脚本,/etc/xinetd.d/rsync可以保留
但是需要注意的是 :必须在主服务器和同步服务器上都安装rsync,其中主服务器上是以服务器模式运行rsync,而同步上则以客户端方式运行rsync。这样在主服务器上运行rsyn守护进程,在同步上用crond定时运行客户程序来同步主服务器上需要同步的内容
三、配置rsync服务器端
rsync服务器的配置文件为/etc/rsyncd.conf,其控制认证、访问、日志记录等等。该文件是由一个或多个模块结构组成。一个模块定义以方括弧中的模块名开始,直到下一个模块定义开始或者文件结束,模块中包含格式为name=value的参数定义。每个模块其实就对应需要备份的一个目录树,比方说在我们的实例环境中,有三个目录树需要备份:/www/和/mirror/file0/和/mirror/file1/目录,那么就需要在配置文件中定义三个模块,分别对应三个目录树。配置文件是行为单位的,也就是每个新行都表示一个新的注释、模块定义或者参数赋值。
1 、配置rsync server
vi /etc/xinetd.d/rsync
将disable=yes改为no
service rsync {
disable = yes
socket_type = stream
wait = no
user = root
server = /usr/bin/rsync
server_args = --daemon
log_on_failure += USERID
}
确保etc/services中rsync端口号正确
[root@test etc]# vim /etc/services
rsync 873/tcp
rsync 873/udp
# rsync 配置rsync密码文件/etc/rsync.ps(名字随便写,只要和配置文件里的一致即可),格式(一行一个用户)
[root@test etc]# vi /etc/rsnc.ps ------服务器端的密码文件
schoo:scihoo
配置rsync密码文件权限
[root@test home]# chown root.root /etc/rsync.ps
[root@test home]# chmod 600 /etc/rsync.ps
启动配置
[root@test home]# /etc/init.d/xinetd restart 如果xinetd没有的话,需要安装一下
[root@test home]# yum -y install xinetd
RSYNC服务端启动的几种方法
1,以xinetd为守护进程启动 /etc/init.d/xinetd restart
2,启动rsync服务端(独立启动)
[root@test home]# /usr/bin/rsync --daemon
加入rc.local,可以修改使系统启动时把rsync --daemon加载进去。
[root@test home]# vi /etc/rc.local /usr/local/rsync �Cdaemon #加入一行
重新载入rsync配置
[root@test home]# /etc/init.d/xinetd reload
检查rsync是否启动
[root@test home]# lsof -i :873
COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME
xinetd 4396 root 5u IPv4 633387 TCP *:rsync LISTEN)
=========================================================================================
rsyncd.conf rsync 服务器端配置文件
例子:
手动创建rsync的配置文件vi /etc/rsyncd.conf(前面以#开头的行或注释可以不用写入配置文件中)
uid = nobody# 备份以什么身份进行,用户ID
gid = nobody # 备份以什么身份进行,组ID
#注意这个用户ID和组ID,如果要方便的话,可以设置成root,这样rsync几乎就可
#以读取任何文件和目录了,但是也带来安全隐患。建议设置成只能读取你要备份的目录和文件即可。 use chroot = no
max connections = 0 #最大连接数,0代表没有限制
port = 873 #默认端口873
pid file = /var/log/rsync/rsyncd.pid #运行进程的ID写到哪里
lock file = /var/log/rsync/rsync.lock
log file = /var/log/rsync/rsyncd.log #日志记录文件
motd file = /var/log/rsync/rsyncd.motd #欢迎消息
strict modes =yes #是否检查口令文件的权限
上面是全局配置文件:
下面模块自己定义:
[attachment] # 指定认证的备份模块名
path = /www/htdocs/pub/attachment/ # #指定文件目录所在位置,这是必须指定
comment = BACKUP attachment # 注释
ignore errors # 忽略一些无关的IO错误
read only = yes # 设置为非只读,即可以传至服务器的相应目录。
list = false # 不允许列文件
#exclude = test/ test.php #设置不同步的目录或文件用空格隔开
#hosts allow = 210.51.0.80 #允许连接服务器的主机IP地址,如果多个ip则用空格隔开
#hosts deny = 0.0.0.0/0.0.0.0 #禁止连接服务器的主机IP地址,也可为*,表示所有。
auth users = msyn # 认证的用户名,如果没有这行,则表明是匿名
secrets file = /etc/rsyncd.scrt # 认证文件名,用来存放密码
[root@www /etc]# cat /etc/rsyncd.scrt
www:xxxxxxxxx
注意:该文件只能是root用户可读写的,注意,出于安全目的,这个文件的属性必需是只有属主可读,否则rsync将拒绝运行。
我们可以设置它的属性为600:
[root@www /etc]# chmod 600 /etc/rsyncd.scrt
这些文件配置完毕以后,就需要在主服务器上启动rsyncd服务:
[root@www /etc]# /usr/local/bin/rsync --daemon
执行完毕上面的命令后,rsync即可启动。
rsync默认服务端口为873,服务器在该端口接收客户的匿名或者认证方式的备份请求。
四、配置客户端
1、配置密码文件 (注:为了安全,设定密码档案的属性为:600。rsync.scrt的密码一定要和Rsync Server
密码设定案里的密码一样)
[root@aj1 home]# vi /etc/rsync.scrt ---客户端的密码文件只有密码,没有用户名
123456
[root@aj1 home]# chown root.root /etc/rsync.scrt # 注意必须给权限
[root@aj1 home]# chmod 600 /etc/rsync.scrt # 必须修改权限
2. linux下执行rsync客户端命令
下一步就要运行rsync客户端的启动命令了:
[backup@backup /]#/usr/bin/rsync -vzrltogp --progress --delete [email protected]::attachment /usr/local/apache/htdocs/pub/html/ --password-file=/etc/rsync.scrt
上面这个命令行中-vzrtopg代表的意思是: -v表示verbose(详细) -z表示zip(压缩)
-r表示recursive(递归目录)
-topg是保持文件原有属性如o=owner(属主)、t=times(时间)、p=perms(权限)、g=group(组)的参数 -H表示保持硬连接
-l:保留软链结
-u:表示只更新源文件比目标时间新的文件
--progress是指显示出详细的进度情况
--delete是指如果服务器端删除了这一文件,那么客户端也相应把文件删除,保持真正的一致。 [email protected]::attachment 是表示对服务器x.x.x.168中的attachment模块进行备份,登录帐号是user --password-file = /etc/rsync.scrt来指定密码文件,这里需要注意的是这份密码文件权限属性要设得只有属主可读(权限为600),属主为正在运行此命令的用户。
-a:(-a, --archive equivalent to -rlptgoD)以archive模式操作,复制目录、符号连接在这里面
========================================================================================
扩展知识:
1、Rsync的命令格式可以为以下六种:
rsync [OPTION]... SRC DEST
rsync [OPTION]... SRC [USER@]HOST:DEST
rsync [OPTION]... [USER@]HOST:SRC DEST
rsync [OPTION]... [USER@]HOST::SRC DEST
rsync [OPTION]... SRC [USER@]HOST::DEST
rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
2、常用为以下两种:
(1)、rsync [OPTION]... [USER@]HOST::SRC DEST
从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。
如:rsync -vzrlpotgt [email protected]::www /databack
www 为在服务器端定义的模块名字 /databack 为备份到本地的路径
(2)、rsync [OPTION]... SRC [USER@]HOST::DEST
从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。
如:rsync -av /databack [email protected]::www
3、下面为实例:
服务器ip为192.168.8.126,客户端ip为192.168.8.122
(1)、把服务器上的/home/hyj/workspace/test文件夹中的内容备份到客户端的/usr/local/share/rsync_backup中:
在192.168.8.122客户端中如下操作:
[root@hyj ~]# /usr/bin/rsync -vzrtopg --delete --progress [email protected]::test /usr/local/share/rsync_backup
192.168.8.126 服务器端的/etc/rsyncd.conf中模块的内容
[test]
path = /home/hyj/workspace/test --服务器端的路径
comment = rsync files
ignore errors
read only = yes
list = no
auth users = rsync
secrets file = /etc/rsync.passwd
上面这个命令行中-vzrtopg里的v是verbose,z是压缩,r是recursive,topg都是保持文件原有属性如属主、时间的参数(也可以用直接用a来代替rtopg, a为 --archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD)。--progress是指显示出详细的进度情况,--delete是指如果服务器端删除了这一文件,那么客户端也相应把文件删除,保持真正的一致。
(2)、上面的命令需要在备份的时候需要输入密码,可以在客户端建立一个密码文件,在命令中把密码文件作为参数带入:
[root@hyj rsync_backup]# vim /etc/rsync.pass
密码文件中不用输入用户名,只需输入密码即可:
这份密码文件权限属性要设得只有root可读,不然会报错,修改属性:
[root@hyj rsync_backup]# chmod 600 /etc/rsync.pass,
用下面这条命令,可以不输入密码:
/usr/bin/rsync -vzrtopg --delete --progress [email protected]::test /usr/local/share/rsync_backup --password-file=/etc/rsync.pass
4、 带exclude 参数:
把服务器上的/home/hyj/workspace/test文件夹中的内容备份到客户端的/usr/local/share/rsync_backup中,但不包括:res目录和default.properties文件:
/usr/bin/rsync -vzrtopg --delete --exclude "res/" --exclude "default.properties" --progress [email protected]::test /usr/local/share/rsync_backup --password-file=/etc/rsync.pass
exclude/include规则实例
Here are some exclude/include examples:
--exclude "*.o" would exclude all filenames matching *.o
--exclude "/foo" would exclude a file in the base directory called foo
--exclude "foo/" would exclude any directory called foo.
--exclude "/foobar" would exclude any file called bar two or more levels below a base directory called foo.
--include "*/" --include "*.c" --exclude "*" would include all directories and C source files
--include "foo/" --include "foo/bar.c" --exclude "*" would include only foo/bar.c
(the foo/ directory must be explicitly included or it would be excluded by the "*")
5、 把客户端上的/home/hyj/vitest文件夹中的内容备份到服务器的/usr/local/share/rsync_backup中,在客户端执行如下命令:
相当于从客户端上传到服务器端
/usr/bin/rsync -vzrtopg --delete --progress /home/hyj/vitest [email protected]::clientdata --password-file=/etc/rsync.pass
此时服务器的配置文件/etc/rsyncd.conf内容为:
uid = root
gid = root
hosts allow = 192.168.8.122, 192.168.8.123
#hosts deny = 0.0.0.0/32
use chroot = no
max connections = 10
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
timeout=600
[test]
path = /home/hyj/workspace/test
comment = rsync files
ignore errors
read only = yes
list = no
auth users = rsync
secrets file = /etc/rsync.passwd
# 上面的命令中,客户端的数据备份到clientdata模块中,备份到/usr/local/share/rsync_backup文件夹下,read only改为no,# # 否则会报ERROR: module is read only的错误
[clientdata]
path = /usr/local/share/rsync_backup
comment = rsync files
ignore errors
read only = no *******************************
list = no
auth users = rsync
secrets file = /etc/rsync.passwd