Rsync+Sersync实时数据同步

sersync实时数据同步

Rsync+Inotify-tools与Rsync+sersync这两种架构有什么区别？

1、Rsync+Inotify-tools

（1）：Inotify-tools只能记录下被监听的目录发生了变化（包括增加、删除、修改），并没有把具体是哪个文件或者哪个目录发生了变化记录下来；

（2）：rsync在同步的时候，并不知道具体是哪个文件或者哪个目录发生了变化，每次都是对整个目录进行同步，当数据量很大时，整个目录同步非常耗时（rsync要对整个目录遍历查找对比文件），因此，效率很低。

2、Rsync+sersync

（1）：sersync可以记录下被监听目录中发生变化的（包括增加、删除、修改）具体某一个文件或某一个目录的名字；

（2）：rsync在同步的时候，只同步发生变化的这个文件或者这个目录（每次发生变化的数据相对整个同步目录数据来说是很小的，rsync在遍历查找比对文件时，速度很快），因此，效率很高。

小结：当同步的目录数据量不大时，建议使用Rsync+Inotify-tools；当数据量很大（几百G甚至1T以上）、文件很多时，建议使用Rsync+sersync。

 

通过rsync知道，实际上sersync就是监控本地的数据写入或更新事件，然后，调用rsync客户端的命令，将写入或更新事件对应的文件通过rsync推送到目标服务器（例如：S1，S2）就这么简单

Sersync的服务器配置用前面的rsyncd.conf

在这之前rsync必须测试同步成功，后面sersync才可以成功

Sersync在 推送端 rsync 在接收端 

一、下面部署sersync

sersync (推送端)

sersync2.5_32bit_binary_stable_final.tar.gz

tar -zxf sersync2.5_32bit_binary_stable_final.tar.gz

mv GNU-Linux-x86 /usr/local/sersync

[root@NFSClient sersync]# pwd

/usr/local/sersync

[root@NFSClient sersync]# ls

confxml.xml  sersync2

[root@NFSClient local]# tree sersync

sersync

|-- confxml.xml

`-- sersync2

创建sersync目录结构

mkdir /usr/local/sersync/conf 

mkdir /usr/local/sersync/bin

mkdir /usr/local/sersync/log

[root@NFSClient sersync]# pwd

/usr/local/sersync

[root@NFSClient sersync]# ls

bin  conf  confxml.xml  log  sersync2

[root@NFSClient sersync]# cp confxml.xml conf/

[root@NFSClient sersync]# cp sersync2 bin/

[root@NFSClient conf]# ls

confxml.xml

[root@NFSClient bin]# ls

sersync2

二、创建连接rsync的密码文件，配置rsync的时候已经配好了

三、配置confxml.xml

# cd /usr/local/sersync/conf

# vi confxml.xml

按照注释进行修改

-----------------------------

   # 设置本地IP和端口

   

   # 开启DUBUG模式  

   

   # 开启xfs文件系统

   

   # 同步时忽略推送的文件(正则表达式),默认关闭

   

       

       

       

       

   

   

   # 设置要监控的事件

       

       

       

       

       

       

       

       

   

   # 本地同步的目录路径

       

   # 远程IP和rsync模块名  

             

           

           

       

       

   # rsync指令参数

           

   # rsync同步认证

           

   # 设置rsync远程服务端口，远程非默认端口则需打开自定义

           

   # 设置超时时间

           

   # 设置rsync+ssh加密传输模式,默认关闭，开启需设置SSH加密证书

           

       

    # sersync传输失败日志脚本路径，每隔60会重新执行该脚本，执行完毕会自动清空。

       "/usr/local/sersync/log/rsync_fail_log.sh" timeToExecute="60"/>

    # 设置rsync+crontab定时传输，默认关闭

       

           

               

               

           

       

   # 设置sersync传输后调用name指定的插件脚本，默认关闭

       

   

   # 插件脚本范例

   

         

       

           

           

       

   

   # 插件脚本范例

   

       

           

       

   

   

       

           

           

           

       

   

3.创建推送端sersync同步目录

# mkdir /data

4.设置环境变量：

# echo ‘export PATH=$PATH:/usr/local/sersync/bin’>> /etc/profile

# source /etc/profile

5.启动sersync

# sersync2 -r -d -o /usr/local/sersync/conf/confxml.xml

注：重启操作如下：

# killall sersync2 && sersync2 -r -d -o /usr/local/sersync/conf/confxml.xml

6.设置开机启动

# echo "sersync2 -r -d -o /usr/local/sersync/conf/confxml.xml" >> /etc/rc.local

验证：

(推送端)

# cd /data

# touch 1 2 3 4 5

# echo "test sersync" > 1

(接收端)

# cd /data

# ls

--------------------

1  2  3  4  5

--------------------

# cat 1

--------------------

test sersync