rsync远程同步

rsync 远程同步


正确有效的备份方案是保障系统及数据安全的重要手段,在服务器中通常会结合计划任务,shell脚本来执行本地备份。


rsync(Remote Sync,远程同步)是一个开源的快速安全高效的异地备份工具,可以在不同的主机之间镜像同步整个目录树,支持增量备份,保持链接和权限,

采用优化的同步算法,传输前执行压缩。适合异地备份,镜像服务等应用,是一种常用的文件备份工具。


官方站点:http://rsync.samba.org 

维护人员:Waync Davison

版本:3.0.9


负责发起rsync同步操作的客户机称为发起端

负责响应来自客户机的rsync同步操作的服务器称为备份源


下载:在下行同步中,备份源负责提供文档的原始位置,发起端应对文件具有读取权限

上传:在上行同步中,备份源负责提供文档的目标位置,发起端应对文件具有写入权限


rsync 两种源模式:


SSH备份源

rsync备份源




配置SSH备份源


优点:远程连接安全,增强备份的保密性,容易实现。


配置过程:

a、确认备份源文件夹位置

b、准备备份操作用户


案例:

A机器的网站目录/var/www/html作为备份源

用户rget做下行(下载)备份

用户rput做上行(上传)备份



A机器为rsync服务端 IP:192.168.200.128

B机器为rsync客户端 IP:192.168.200.129



A机器上的操作:192.168.200.128:


yum -y install httpd  

rpm -q rsync


rsync-3.0.6-9.el6_4.1.x86_64


useradd rget

echo "123456" |passwd --stdin rget

useradd rput

echo "123456" |passwd --stdin rput


vi /etc/ssh/sshd_config

122 UseDNS no

#110 AllowUsers rget rput


关闭UseDNS加速SSH登录

限定登录用户


service sshd restart


调整/var/www/html目录权限,使rget用户有读取权限,rput用户有写入权限,建议将目录的属主修改为备份用户,另外需要为web服务的运行用户指定额外的权限,


cd /var/www/html

mkdir upload


chown -R rput:rput /var/www/html/

setfacl -R -m user:apache:rwx /var/www/html/upload

getfacl /var/www/html/upload


acl访问控制机制参数详解


setfacl 设置acl权限

getfacl 查看acl权限

-R 递归

-m 制定权限

-x 个别删除

-b  全部删除



* 下面两行不需要执行,作为了解

setfacl -R -b /var/www/html 表示删除所有ACL属性

setfacl -R -x user:apache /var/www/html/upload 只删除某一项

---------------------------------------------


凡是以后在/var/www/html/upload/新建立的文档,apache用于都具有rwx权限

setfacl -m default:user:apache:rwx /var/www/html/upload

getfacl /var/www/html/upload |grep default






配置rsync备份源


rsync 不仅用作远程同步发起端(客户端),也可以作为守护进程(服务端),为其他客户机提供备份源。

1、建立/etc/rsyncd.conf配置文件

2、为备份账户创建数据文件

3、启动rsync服务进程


1、建立/etc/rsyncd.conf配置文件,以源目录 /var/www/html/,备份帐号 backuper作为事例:


[root@rsync-master html]# vim /etc/rsyncd.conf


uid = nobody

gid = nobody

use chroot = yes

address = 192.168.200.128

port = 873

log file = /var/log/rsyncd.log

pid file = /var/run/rsyncd.pid

hosts allow = 192.168.200.0/24

[wwwroot]

        path = /var/www/html

        comment = Document Root os www.crushlinux.com

        read only = yes

        dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z

        auth users = backuper

        secrets file = /etc/rsyncd_users.db


uid = nobody //用户名

gid = nobody //组名

use chroot = yes //禁锢在源目录

address = 192.168.200.128 //监听地址

port = 873 //监听端口

log file = /var/log/rsyncd.log //日志文件位置

pid file = /var/run/rsyncd.pid //存放进程ID文件位置

hosts allow = 192.168.200.0/24 //允许访问的客户端地址

[wwwroot] //共享模块名称

        path = /var/www/html //源目录的实际路径

        comment = Document Root os www.crushlinux.com //描述信息

        read only = yes //是否为只读

        dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z //同步时不再压缩的文件类型

        auth users = backuper //备份授权用户

        secrets file = /etc/rsyncd_users.db //存放账户信息的数据文件


对于rsync的备份源最好仅允许以只读的方式做下行同步

若需要做上行同步时,建议用SSH备份源

下行同步可采用匿名的方式,只要去掉auth users 、secrets file 配置记录即可

2、为备份账户创建数据文件,以冒号分割,密码信息在文件中以明文方式存放,为避免信息泄漏,需要调整权限

[root@rsync-master ~]# vim /etc/rsyncd_users.db

backuper:pwd123


chmod 600 /etc/rsyncd_users.db 


备份用户backuper也需要对/var/www/html/有相应的读取权限


ll /var/www/html/


drwxrwxr-x+ 2 rput rput 4096 1月  18 23:06 upload



3、启动服务,运行参数为"--daemon",关闭rsync可采用kill命令


rsync --daemon

netstat -anpt |grep rsync


关闭服务

kill $(cat /var/run/rsyncd.pid)


4、异地备份的特殊性,不需要全天不间断运行,配置成只有客户机连接的时候才启动(交给xinetd管理)


[root@rsync-master ~]# vim /etc/xinetd.d/rsync 

6  disable = no #将原有的yes改成no

11 server_args     = --daemon #确认有--daemon选项即可


yum -y install xinetd

service xinetd start




使用rsync备份工具(在客户机,发起端执行)


本地备份:备份源和发起端可以是一台机器


rsync /etc/fstab /opt/

rsync -rl /etc/fstab /boot/grub/ /opt/


rsync的常用格式:

rsync [选项] 原始位置 目标位置


-r:递归模式,包含目录及子目录中所有文件

-l:对于符号链接文件仍然复制为符号链接文件

-p:保留文件的权限标记

-t:保留文件的时间标记

-g:保留文件的属组标记(仅超级用户使用)

-o:保留文件的属主标记(仅超级用户使用)

-D:保留设备文件及其他特殊文件


-a:归档模式,递归并保留对象属性,等同于 -rlptgoD

-v:显示同步过程的详细(verbose)信息

-z:在传输文件时进行压缩(compress)

-H:保留硬连接文件

-A:保留ACL属性信息

--delete:删除目标位置有而原始位置没有的文件

--checksum:根据对象的校验和来决定是否跳过文件



异地备份:B机器上的操作:192.168.200.129:


配置源的表示方法:

rsync命令需要指定备份源服务器中的资源位置

下行备份操作:备份源对应 “原始位置”

上行备份操作:备份源对应 “目标位置”


SSH备份源表示为:


用户名@主机地址:目标路径,用一个冒号分割

访问SSH备份源,下载到本地/opt目录

rsync -avz [email protected]:/var/www/html/ /opt/



rsync备份源表示为:


用户名@主机地址::共享模块名称

rsync://用户名@主机地址/共享模块名称


rsync -avz [email protected]::wwwroot /root

rsync -avz rsync://[email protected]/wwwroot /root



1、下行同步ssh备份源

将服务器A的/var/www/html 文件夹与B本地/wwwroot文件夹同步(保持文件权限属性,

软硬连接,ACL属性,删除/wwwroot中多余文件,传输过程进行加密)


mkdir -p /wwwroot

rsync -avzH --delete [email protected]:/var/www/html/ /wwwroot 

ls /wwwroot/



对于同一项远程同步任务,再次执行时,自动做增量更新,同名的文件将不再重复复制


A机器上的操作:192.168.200.128:

cd /var/www/html/

rm -rf index.html upload/

for i in {1..10}; do touch $i.txt; done


B机器上的操作:192.168.200.129:

rsync -avzH --delete [email protected]:/var/www/html/ /wwwroot 

ls /wwwroot/



2、下行同步rsync备份源

当备份源为rsync服务器时,只要将同步操作中的原始位置修改为规范格式,其他操作基本一样

将备份源服务器中的 wwwroot 下载到本地的 /myweb目录

B机器上的操作:192.168.200.129:

mkdir /myweb

rsync -avzH --delete [email protected]::wwwroot /myweb 

ls /myweb



3、上行同步ssh备份源

将客户机中的文件上传到备份源服务器的/var/www/html目录下,由于用户是rput并非root用户,因此 -g -o 等选项无法使用


cd /root

rsync -rlvz --delete install.log [email protected]:/var/www/html



编写rsync备份脚本:


生产环境中的备份工作通常是按计划重复执行的,结合shell和crond服务来完成


1、ssh备份源的无交互验证,由于脚本根据crond时间来执行,用户没办法按时根据提示输入密码

B机器上的操作:192.168.200.129:创建密钥对,将公钥文件发给A服务器中的备份用户,实现无交互登录


创建密钥对:

ssh-keygen -t rsa


复制密钥对:

ssh-copy-id [email protected]

ssh-copy-id [email protected]


连接测试:

ssh [email protected]

ssh [email protected]


rsync -avzH --delete [email protected]:/var/www/html/ /wwwroot 



2、rsync备份源的无交互验证,可以使用export RSYNC_PASSWORD保存密码,脚本执行时,可以自动读取该变量的值,在需要时发送给rsync服务器来进行燕子


export RSYNC_PASSWORD=pwd123

rsync -avzH --delete [email protected]::wwwroot /wwwroot/



相对于 SSH 源的免交互措施来说,使用变量存放密码显得不够安全,因此可在脚本中使用,并将脚本的权限严格控制,避免密码泄漏。


vi rsync_get_wwwroot.sh 

-------------------------------------

#!/bin/bash

CMD="/usr/bin/rsync"

RSYNC_USER="backuper"

export RSYNC_PASSWORD="pwd123"

ARGS="-az --delete"

SRC="192.168.200.128::wwwroot"

DST="/wwwroot"

mkdir -p $DST


$CMD $ARGS $RSYNC_USER@$SRC $DST

------------------------------------


chmod 700 rsync_get_wwwroot.sh

crontab -e

30 20 * * * /root/rsync_get_wwwroot.sh


service crond restart

chkconfig crond on






rsync+inotify实时同步 (B机器上的操作)


Linux 从2.6.13版内核开始提供了inotify通知接口,用来监控文件系统的各种变化情况,如文件的存取,删除,移动,修改等。利用这个机制,可以实现文件异动警告,增量备份,针对目录或文件的变化及时做出响应。


rsync+inotify 可以实现触发式备份,只要原始位置的文档发生变化,则立即启动增量备份,否则处于静默等待状态,避免了按固定周期备份时存在的延迟性,周期过密等问题。



inotify 主要做本机监控,在触发式备份应用中更适合上行同步


inotify机制提供了三个调控参数:


max_queued_events //表示监控事件队列

max_user_instances //最多监控实例数

max_user_watches //每个实例最多监控文件数


cat /proc/sys/fs/inotify/max_queued_events //表示监控事件队列(16384)

16384

cat /proc/sys/fs/inotify/max_user_instances //最多监控实例数(128)

128

cat /proc/sys/fs/inotify/max_user_watches //每个实例最多监控文件数(8192)

8192


当要监控的目录,文件数量较多或者变化频繁时,建议加大这三个参数的值


vi /etc/sysctl.conf 

fs.inotify.max_queued_events = 16384

fs.inotify.max_user_instances = 1024              

fs.inotify.max_user_watches = 1048576


sysctl -p




安装 inotify-tools 主要提供inotifywait,inotifywatch等工具,用来监控,汇总改动情况


官方站点:http://inotify-tools.sourceforge.net


tar xf inotify-tools-3.14.tar.gz 

cd inotify-tools-3.14

./configure && make && make install


以监控网站目录/var/www/html为例,执行inotifywait命令后,在另外一个终端中改动/var/www/html目录下的内容

mkdir /var/www/html -p

inotifywait -mrq -e modify,create,move,delete /var/www/html/


-e 指定要监控的事件

-m 表示持续监控

-r 表示递归整个目录

-q 简化输出信息


另一个终端:在/var/www/html/目录下添加文件、移动文件、跟踪屏幕输出结果


mkdir /var/www/html/a

mkdir /var/www/html/b

mv /var/www/html/b /var/www/html/bb

rm -rf /var/www/html/a


[root@rsync-client ~]# inotifywait -mrq -e modify,create,move,delete /var/www/html/

fy,create,move,delete /var/www/html/

/var/www/html/ CREATE,ISDIR a

/var/www/html/ CREATE,ISDIR b

/var/www/html/ MOVED_FROM,ISDIR b

/var/www/html/ MOVED_TO,ISDIR bb

/var/www/html/ DELETE,ISDIR a


inotifywait 可监控modify(修改),create(创建),move(移动),delete(删除),attrid(属性更改)等各种事件,一有变动立即输出结果,inotifywait可用于收集系统变动情况,并在运行结束后输出汇总的变化情况。



编写触发式同步脚本


inotifywait 输出的监控结果中,每行记录中包括目录,事件,文件,据此可以识别变动情况,只要检测到变动时执行rsync上行同步操作即可。


注意:当更新较频繁时,避免并发执行rsync备份,若rsync进程已经存在则忽略本次同步,或者根据rsync进程数量来决定是否同步


vi inotify_rsync.sh 


#!/bin/bash

INOTIFY_CMD="inotifywait -mrq -e modify,create,move,attrib,delete /var/www/html/"

RSYNC_CMD="rsync -azH --delete /var/www/html/ [email protected]:/var/www/html"

$INOTIFY_CMD | while read DIRECTORY EVENT FILE

do

        if [ $(pgrep rsync | wc -l) -le 0 ]

        then

                $RSYNC_CMD

        fi

done



chmod +x inotify_rsync.sh 

bash inotify_rsync.sh

echo "/bin/bash /root/inotify_rsync.sh" /etc/rc.local 


脚本用来测试本机/var/www/html目录的变动,一旦有更新立刻出发rsync同步操作,上传至服务器192.168.200.128的/var/www/html目录,用户验证采用SSH方式。


1、使用rsync工具执行一次上行同步

2、在本机运行inotify_rsync.sh脚本

3、在本机的/var/www/html目录下,执行创建,删除,修改等操作

4、查看服务器中的/var/www/html目录中的变化


你可能感兴趣的:(服务器,数据安全,保障系统)