rsync+inotify实现服务器数据同步

一、什么是rsync

rsync，remote synchronize是一款实现远程同步功能的软件，它在同步文件的同时，可以保持原来文件的权限、时间、软硬链接等附加信息。rsync是用 “rsync算法”提供了一个客户机和远程文件服务器的文件同步的快速方法，而且可以通过ssh方式来传输文件，这样其保密性也非常好，另外它还是免费的软件。

二、rsync特点

1、能更新整个目录和树和文件系统；
2、有选择性的保持符号链链、硬链接、文件属于、权限、设备以及时间等；
3、对于安装来说，无任何特殊权限要求；
4、对于多个文件来说，内部流水线减少文件等待的延时；
5、能用rsh、ssh 或直接端口做为传输入端口；
6、支持匿名rsync 同步文件，是理想的镜像工具；

三、搭建rsync服务器：

备份服务器信息：

server：192.168.1.161

系统环境：CentOS release 6.5 (Final)

内核版本：2.6.32-431.el6.x86_64

客户端信息

rhel：192.168.1.162

系统环境：Red Hat Enterprise Linux Server release 6.5 (Santiago)内核版本：2.6.32-431.el6.x86_64

需要备份的目录：将客户端/backup中的内容备份到备份服务器的/backup中

1、数据同步rsync

2、本地打包脚本实现

3、配置定时任务

备份服务器的配置

# yum -y install rsync

rsync版本：rsync.x86_64 0:3.0.6-12.el6

配置文件

　　rsync的主要有以下三个配置文件rsyncd.conf(主配置文件)、rsyncd.secrets(密码文件)、rsyncd.motd(rysnc服务器信息)

　　服务器配置文件(/etc/rsyncd.conf)，该文件默认不存在，请创建它。

具体步骤如下：

# touch /etc/rsyncd.conf #创建rsyncd.conf，这是rsync服务器的配置文件。
# touch /etc/rsyncd.secrets #创建rsyncd.secrets ，这是用户密码文件。
# chmod 600 /etc/rsyncd.secrets #将rsyncd.secrets这个密码文件的文件属性设为root拥有, 且权限要设为600, 否则无法备份成功!
# touch /etc/rsyncd.motd

编辑/etc/rsyncd.conf文件

# vim  /etc/rsyncd.conf

pid file = /tmp/rsyncd.pid

port = 873

address = 192.168.1.161

uid = root

gid = root

use chroot = yes

read only = yes

hosts allow=192.168.1.0/24

hosts deny=*

max connections = 5

motd file = /etc/rsyncd.motd

log format = %t %a %m %f %b

syslog facility = local3

log file = /tmp/rsync.log

transger logging = yes

timeout = 300

[mysqldate]

　　path = /backup

　　list=no

　　ignore errors

　　auth users = root

　　secrets file = /etc/rsyncd.secrets

　　comment = zhushi

编辑/etc/ rsyncd.secrets文件

# vim rsyncd.secrets

root:fanjinbao

编辑/etc/rsyncd.motd文件

里面内容想写啥就写啥

启动rsync的服务

# /usr/bin/rsync -–daemon --config=/etc/rsyncd.conf

--daemon参数方式，是让rsync以服务器模式运行

--config用于指定rsyncd.conf的位置,如果在/etc下可以不写

客户端配置：

客户端基本不用配置，直接备份就ok啦

# rsync -azP --delete /backup  [email protected]:/

常见的选项：

-a，--archive(存档) 归档模式，表示以递归的方式传输文件，并且保持文件属性，等同于加了参数-rlptgoD

-z , --compress 表示压缩传输

-P 显示传输进度

--delete 删除那些目标位置有而原始位置没有的文件

具体选项及参数说明：

rsync有六种不同的工作模式：

1、拷贝本地文件；当SRC和DES路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式。

2、使用一个远程shell程序（如rsh、ssh）来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号":"分隔符时启动该模式。

3、使用一个远程shell程序（如rsh、ssh）来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式。

4、 从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。

5、从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。

6、列远程机的文件列表。这类似于rsync传输，不过只要在命令中省略掉本地机信息即可。
-a 以archive模式操作、复制目录、符号连接 相当于-rlptgoD

 

rsync中的参数

-r 是递归;

-l 是链接文件，意思是拷贝链接文件；-p 表示保持文件原有权限；

-L 复制软链接文件的原文件

-t 保持文件原有时间；-g 保持文件原有用户组；-o 保持文件原有属主；-D 相当于块设备文件；

-z 传输时压缩；

-P 传输进度；

-v 传输时的进度等信息，和-P有点关系，自己试试。可以看文档；
-e ssh的参数建立起加密的连接。

-u只进行更新，防止本地新文件被重写，注意两者机器的时钟的同时

--progress是指显示出详细的进度情况

--delete是指如果服务器端删除了这一文件，那么客户端也相应把文件删除，保持真正的一致

--exclude不同步的文件

--password-file=/password/path/file来指定密码文件，这样就可以在脚本中使用而无需交互式地输入验证密码了，这里需要注意的是这份密码文件权限属性要设得只有属主可读。

四、使用ssh密钥实现无交互备份。做成脚本，将rhel上的数据，定期备份到server上。

在rhel上生成密钥对

# ssh-keygen

查看生成的公钥和私钥：

[root@rhel backup]# ls /root/.ssh/

id_rsa  id_rsa.pub  known_hosts

将公钥上传到server数据源

# ssh-copy-id [email protected]

或者

# scp /root/.ssh/id_rsa.pub  [email protected]:/root/.ssh/authorized_keys

注：如果使用scp命令必须两台机器都可以用scp命令，否则不能使用

五、配置rsync+inotify实现实时同步

inotify概述：

Linux内核从2.6.13版本开始提供了inotify通知接口，用来监控文件系统的各种变化情况，如文件存取、删除、移动等。利用这一机制，可以非常方便地实现文件异动告警、增量备份，并针对目录或文件的变化及时作出响应。

使用rsync工具与inotify机制相结合，可以实现触发式备份（实时同步），只要原始位置的文档发生变化，则立即启动增量备份操作，否则处于静态等侍状态，这样一来，就避免了按固定周期备份进存在的延迟性、周期过密等问题。

安装inotify-tools-3.13.tar.gz

# tar zxvf inotify-tools-3.13.tar.gz

# cd inotify-tools-3.13

./configure --prefix=/usr/local/inotify-tools

# make

# make install

设置inotify-tools的环境变量

# vim .bash_profile

加入imotify的路径/usr/local/inotify-tools/bin

# source .bash_profile

执行监控：

# inotifywait -mrq -e create,move,delete,modify /backup

报错：

error while loading shared libraries: libinotifytools.so.0

解决办法：

# ln -sv /usr/local/inotify-tools/lib/libinotify* /usr/lib/

# ln -s /usr/local/inotify-tools/lib/libinotifytools.so.0 /usr/lib64/libinotifytools.so.0

# cp /usr/lib/libinotifytools.so.0 /usr/local/lib

然后在执行监控

# inotifywait -mrq -e create,move,delete,modify /backup

就可以了

同步脚本：

# vim backup.sh

#!/bin/bash

inotifywait -mrq -e create,move,delete,modify /backup  | while read a b c

do

   rsync -azP --delete /backup [email protected]:/

done

# chmod 755 backup.sh

./backup.sh &

六、利用服务方式同步数据

编辑服务端的配置文件

# vim /etc/rsyncd.conf不用怀疑就用这个命令，没有就增加

添加如下内容：

port=8730

log file=/var/log/rsync.log

pid file=/var/run/rsync.pid

[fanjinbao]

path=/backup

use chroot=true

max connection=4

read only=yes

list=yes

uid=root

gid=root

auth users=root

secrets file=/etc/rs.passwd

hosts allow=192.168.1.162

注意：修改文件后不需要重启服务

创建密码文件：

# vim /etc/rs.passwd

# chmod 400 /etc/rs.passwd

启动服务：

# rsync --daemon

去客户端测试：

# rsync -avzP --port 8730 [email protected]::test/ .

在客户端指定密码文件，无交互同步数据

# vim /etc/rsync_passwd编辑密码文件

# chmod 400 /etc/rsync_passwd设置为只读

# rsync -avzP --port 8730 --password-file=/etc/rsync_passwd [email protected]::test/ .