rsync是一个开源的快速备份工具,可以在不同主机之间镜像同步整个目录树,支持增量备份,保持链接和权限,且采用优化的同步算法,传输前执行压缩,因此非常适合于异地备份,镜像服务器等应用。
rsync的官方为http://rsync.samba.org,可以去官网下载最新版本的rsync。系统默认就已经安装好了rsync软件了,如果没装的可以使用yum或rpm安装即可。
[root@localhost /]#rpm -q rsync rsync-3.0.6-5e16_0.i686
在远程同步任务中,负责发起rsync同步操作的客户机称为客户端,而负责响应来自客户端的rsync同步操作的服务器称为备份源。在下行同步(下载)中,备份源负责提供文档的原始位置,发起端应对该位置有读取权限;在上行同步中(上传)中,备份源负责提供文档的目标位置,发起端应对该位置具有写入权限。如下图所示:
使用rsync同步工具时,备份源既可以是SSH服务器,也可以是以服务模式运行的rsync程序。下面分别讲解配置SSH备份源和rsync备份源的方法。
一、配置SSH备份源
1、创建备份用户rget,rput分别用来下载,上传。
[root@localhost /]#useradd rget [root@localhost /]#passwd rget [root@localhost /]#useradd rput [root@localhost /]#passwd rput
2、确认sshd服务正常运行,允许用户rget,rput访问。
[root@localhost /]#vim /etc/ssh/sshd_config ...//省略部分内容 UseDNS no AllowUsers rget rput //启用此行,值允许用户rget和rput使用sshd服务。 [root@localhost /]#service sshd start
3、调整同步目录的权限,使rget有读取权限、rput有写入权限。
这里作者以网站根目录为例,讲解如何设置rsync备份源的权限设置。
在linux文件系统中,正常创建的目录权限为755,文件权限为644,因此对于rget用户来说,默认权限已经满足下行备份的要求了。但是对于rput用户来说,要能够写入才有权限做上行备份。建议将目录的属主修改为备份用户;另外,为了不影响网站服务器对相关目录的访问,需要为WEB服务的运行用户指定额外的权限。这时就需要使用“setfacl”了,有关于“setfacl”的详细文档请自行查阅相关文档,作者这里只做简单的介绍。
[root@localhost /]#chown -R rput:rput /var/www/html [root@localhost /]#setfacl -R -m user:daemon:rwx /var/www/html //设置ACL
“setfacl”命令常用的参数解释如下:
-R:表示递归操作
-m:指定用户以及设置的权限
-x:删除某一项ACL属性
-b:删除所有的ACL属性
如果希望建立的文件,子目录也具有相同的ACL属性,则应为指定目录设置默认ACL属性,即在“setfacl”权限模式中添加“default”参数。查看已设置好的ACL可以使用“getfacl”命令。
[root@localhost /]#setfacl -m default:user:daemon:rwx /var/www/html //设置默认ACl [root@localhost /]#getfacl /var/www/html //查看设置好的ACL
二、配置rsync备份源
rsync不仅仅用作远程同步发起端(客户端),也可以作为守护进程运行,为其他客户机提供备份源。配置rsync备份源需要建立配置文件rsync.conf,创建备份账号。然后将rsync程序以“--daemon”选项运行。
1、创建rsync.conf配置文件
[root@localhost /]#vim /etc/rsyncd.conf uid = nobody gid = nobody use chroot = yes //禁锢在源目录 address = 192.168.1.10 //指定监听地址 port = 873 //指定监听的端口 log file = /var/log/rsyncd.kog //存放日志的位置 pid file = /var/run/rsyncd.pid //存放PID文件的位置 host allow = 192.168.1.0 //允许访问的客户机地址 [wwwroot] //共享模块名称 path = /var/www/html //源目录的实际路径 comment = Document Root of file.benet.com read only = yes //是否为只读 dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z //同步不压缩的类型 auth users = backup //授权用户 secrets file = /etc/rsyncd_users.db //存放用户的数据文件
基于安全性考虑,对于rsync的备份源最好仅允许只读方式做下行同步,若确实需要做上行同步时,建议改用SSH备份源。另外,下行备份可以采用匿名的方式,只要将其中的“autusers”和“secretsfile”配置记录去掉就可以了。
2、创建备份用户的数据文件
根据上一步的设置,创建账号的数据文件,添加一行用户记录,以冒号分。列如:用户名为“backup”,密码为“pwd@back”。由于账号信息采用明文存放,因此应调整文件权限,避免账号信息泄露。
[root@localhost /]#vim /etc/rsync_users.db backup:pwd@back [root@localhost /]#chmod 600 /etc/rsync_users.db
与配置SSH备份源类似,备份用户backup也需要对源目录/var/www/html/有相应的读取权限。实际上只要other组有读取权限就可以了。
3、启动rsync服务程序
执行“rsync--daemon”命令就可以启动rsync服务,以独立监听服务的方式运行。若要关闭rsync服务,可以采取kill进程的方式。
[root@localhost /]#rsync --daemon [root@localhost /]#netstat -anpt | grep rsync tcp 0 0 192.168.1.10:873 0.0.0.0:* LISTEN 21182/rsync [root@localhost /]#kill $(cat /var/run/rsync.pid)
4、将rsync进程交给超级服务xinetd管理
考虑到异地备份的特殊性,通常并不需要全天不间断运行,最好是在有客户练接的时候才启用。因此可将rsync交给超级服务xinetd管理,只要修改相应配置并启动xinetd服务,就可以提供rsync服务了。
[root@localhost /]#yum -y install xinetd //安装xinetd软件包 [root@localhost /]#service xinetd start //启动xinetd服务 [root@localhost /]#vim /etc/xinetd.d/rsync service rsync { disable = no //将原有的yes改为no ...//省略部分内容 server = /usr/bin/rsync server_args = --daemon //确认有--daemon服务选项 log_no_failure += USERID }
三、客户端使用rsync备份工具
有了备份源服务器以后,就可以使用rsync工具来执行远程同步了。现在我们就在客户端执行备份命令。
1、rsync命令的基本用法
[root@localhost/]#rsync[选项][备份源地址][目标地址]
命令格式及备份选项解释如下:
-r:递归模式,包含目录及子目录中的所有文件。
-l:对于符号链接文件仍然复制为符号链接文件。
-v:显示同步过程的详细信息。
-a:归档模式,保留文件的权限,属性等信息,等同于组合选项“-rlptgoD”
-z:在传文件时进行压缩。
-p:保留文件的权限标记。
-t:保留文件的时间标记。
-g:保留文件的属组标记(仅root使用)。
-o:保留文件的属主标记(仅root使用)。
-H:保留硬链接文件。
-A:保留ACL属性信息。
-D:保留设备文件及其它特殊文件。
--delete:删除目标位置有而原始位置没有的文件。
--checksum:根据校验和(而不是文件大小,修改时间)来决定是否跳过文件。
2、配置源的表示方法
在执行远程同步任务时,rsync命令需指定源服务器中的资源位置,对于下行备份操作,备份源对应“原始位置”,对于上行备份操作,备份源对应“目标位置”,根据备份源的类型不同,其资源表示方法也不同。
SSH备份源:表示为“用户名@主机地址:目录路径”的形式,用一个冒号分隔,验证字串与SSH登录类似。
例如:ssh的下行备份语法如下:
[root@localhost /]#rsync -avz [email protected]:/var/www/html /opt
例如:ssh的上行备份语法如下:
[root@localhost /]#rsync -avz /var/www/html [email protected]:/var/www/html
rsyn备份源:表示为“用户名@主机地址::共享模块名”或者“rsync://用户名@主机地址/共享模块名的形式,前者为两个冒号分隔,后者为URL路径。
例如:rsync的下行备份语法如下:
[root@localhost /]#rsync -avz [email protected]::wwwroot /opt
或者
[root@localhost /]#rsync -avz rsync://[email protected]/wwwroot /opt
四:配置rsync+inotify实时同步
Linux内核从2.6.13版本开始提供了inotify通知接口,用来监控文件系统的各种变化情况,如文件存取,删除,移动,修改等。利用这一机制,可以非常方便的实现文件异动告警,增量备份,并针对目录或文件的变化及时作出响应。
使用rsync工具与inotify机制想结合,可以实现触发式备份及实时同步,只要原始位置的文档发生变化,则立即启动增量备份操作,否则处于静态等待状态。这样一来,就避免了按固定周期备份时存在延迟性,周期过密等问题。
1、配置无密码自动登陆的SSH备份用户
真因为inotify通知机制有Linux内核提供,因此主要做本机监控,在触发式备份中应用时更适合上行同步。因此使用SSH备份源比较合适,由于编写触发式脚本在后台运行,无法根据提示来输入密码。因此需要做无密码自动登录的SSH用户。对于SSH服务器来说,采用秘钥验证是避免交互式登录的最佳方法。例如:只要在客户机中创建无私钥短语的秘钥对,然后将公钥文件发送给服务器中的备份用户,就可以实现无密码自动登录了。
[root@localhost /]#ssh-keygen -t rsa //创建秘钥对 [root@localhost /]#ssh-copy-id [email protected] //将公钥发送给服务器 [root@localhost /]#ssh [email protected] //无密码自动登录 [rput@localhost /]#
2、调整inotify内核参数
[root@localhost /]#vim /etc/sysctl.conf ......//省略部分内容 fs.inotify.max_queued_events = 16384 //监控事件队列 fs.inotify.max_user_instances = 1024 //最多监控实例数 fs.inotify.max_user_watches = 1048576 //每个实例最多监控文件数 [root@localhost /]#sysctl -p
3、安装inotify-tools工具
使用inotify机制还需要安装inotify-tools,以便提供inotifywait,inotifywatch辅助工具程序,用来监控,汇总改动情况。inotify-tools可从http://inotify-tools.sourceforge.net下载。
[root@localhost media]#tar zxf inotify-tools-3.14.tar.gz -C /usr/src/ [root@localhost media]#cd /usr/src/inotify-tools-3.14 [root@localhost inotify-tools-3.14]#./configure [root@localhost inotify-tools-3.14]#make && make install
下面以监控网站目录“/var/www/html”目录为例,执行inotify命令,然后再另一个终端向“/var/www/html”目录下添加文件,移动文件,跟踪屏幕输出结果。
[root@localhost /]#inotify -mrq -e modify,create,move,delete /var/www/html Setting up watches.Beware:since -r was given,this may take a while! Watches established. /var/www/html/ CREATE index.php //创建index.php文件 /var/www/html/ MODIFY index.php //修改index.php文件 /var/www/html/ MOVED_FROM index.php //重命名index.php文件 /var/www/html/ MOVED_TO test.php //改名为test.php文件 ......//省略部分内容
上述命令中“-m”表示持续监控,“-r”表示递归整个目录,“-q”表示简化输出信息,“-e”表示指定监控事件(如:“modify”修改,“create”创建,“move”移动,“delete”删除,“attrib”属性更改)等各种事件,一有变动立即输出结果。
4、编写触发式同步脚本
使用inotifywait输出的监控结果中,每行记录中依次包括目录,事件,文件,据此可以识别变动情况。为了简单起见,只要检测到变动时执行rsync上行同步操作即可。需要注意的是,当更新较频繁时,应避免并发执行rsync备份——若rsync进程已经存在则忽略本次同步,或者根据rsync进程数量(取决于实际任务)来决定是否同步。
[root@localhost /]#vim rsync.sh #!/bin/bash INOTIFT_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/" RSYNC_CMD="rsync -azH --delete /var/www/html [email protected]:/var/www/html" $INOTIFY_CMD | while read DIRECTORY EVENT FILE do if [ $(pgrep rsync | wc -l) -le 0 ];then $RSYNC_CMD if done [root@localhost /]#chmod +x rsync.sh