Rsync+sersync 实现数据实时同步

 一、为什么要用rsync+sersync架构？

    1、sersync是基于inotify开发的，类似于inotify-tools的工具。
    2、sersync可以记录下被监听目录中发生变化的（包括增加、删除、修改）具体某一个文件或者某一个目录的名字，然后使用  rsync同步的时候，只同步发生变化的文件或者目录。

二、rsync+inotify-tools与rsync+sersync架构的区别？

    1、rsync+inotify-tools
     a、inotify只能记录下被监听的目录发生了变化（增，删，改）并没有把具体是哪个文件或者哪个目录发生了变化记录下来；
     b、rsync在同步的时候，并不知道具体是哪个文件或目录发生了变化，每次都是对整个目录进行同步，当数据量很大时，整个目录同步非常耗时（rsync要对整个目录遍历查找对比文件），因此效率很低。
     2、rsync+sersync
      a、sersync可以记录被监听目录中发生变化的（增，删，改）具体某个文件或目录的名字；
       b、rsync在同步时，只同步发生变化的文件或目录（每次发生变化的数据相对整个同步目录数据来说很小，rsync在遍历查找对比文件时，速度很快），因此效率很高。

三 项目实践

3.1 准备两台机器

rsync服务器（备份端,目标机器）	192.168.139.136	[root@nfs-server /]# uname -r 3.10.0-862.el7.x86_64
sersync服务器（数据源,源机器）	192.168.139.135	[root@backup /]# uname -r 3.10.0-862.el7.x86_64

3.2 在两台机器上都安装rsync

 [root@rsync-server /]# yum install -y rsync

 [root@backup /]# yum install -y rsync

四 .配置rsync服务器上面的rsync

4.1 编辑配置文件rsyncd.conf

[root@backup /] vi /etc/rsyncd.conf
uid = rsync  #设置rsync运行权限为rsync
gid = rsync   #设置rsync运行权限为rsync
use chroot = no #默认为true，修改为no，增加对目录文件软连接的备份   
max connections = 200   #最大连接数   
timeout = 300   #设置超时时间 
pid file = /var/run/rsyncd.pid     #pid文件的存放位置
lock file = /var/run/rsyncd.lock     #支持max connections参数的锁文件
log file = /var/log/rsyncd.log       #日志文件位置，启动rsync后自动产生这个文件，无需提前创建
read only = false #设置rsync服务端文件为读写权限
list = false #不显示rsync服务端资源列表
hosts allow = 192.168.139.0/24 #允许进行数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开
hosts deny = 0.0.0.0/32 #禁止数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开
auth users = rsyncbak #执行数据同步的用户名，可以设置多个，用英文状态下逗号隔开
secrets file = /etc/rsync.password       #用户认证配置文件，里面保存用户名称和密码，后面会创建这个文件
[backup]   #自定义模块名称  
path = /backup  #rsync服务端数据目录路径

4.2 建立相关测试数据目录和用户

[root@rsync-server /]#useradd -s /no/login -M rsync
[root@rsync-server /]#id rsync
uid=1001(rsync) gid=1001(rsync) groups=1001(rsync)
[root@rsync-server /]#mkdir /backup
[root@rsync-server /]#chown -R rsync.rsync /backup

4.3 创建远程验证用户

[root@rsync-server /]#vi /etc/rsyncd.password
rsyncbak:1

 4.4 启动服务

  [root@rsync-server /]#systemctl start rsyncd
  [root@rsync-server /]#systemctl enable rsyncd
  检查
[root@nfs-server /]# ps aux |grep rsync
root       3813  0.0  0.0 114740  1172 ?        Ss   09:11   0:00 /usr/bin/rsync --daemon --no-detach
root       4033  0.0  0.0 112704   960 pts/0    S+   15:57   0:00 grep --color=auto rsync

五. 搭建sersync  

5.1 在sersync服务器上安装sersync

 [root@backup /]cd /usr/local/src		  
 [root@backup /]wget http://down.whsir.com/downloads/sersync2.5.4_64bit_binary_stable_final.tar.gz
 [root@backup /]tar xzvf sersync2.5.4_64bit_binary_stable_final.tar.gz
 [root@backup /usr/local/src]cd GNU-Linux-x86/
 [root@backup /]cp confxml.xml{,.ori}

5.2 配置sersync

[root@backup GNU-Linux-x86]# cat confxml.xml


    
    
    
    
	
	
	
	
    
	#inotify 事件监听#
    
	
	
	
	
	
	
	
	
    
 
    
	 #本地监控目录#
	     #远程服务器ip地址和模块#
	    
	    
	
	
	    
	     #rsync 远程连接验证的用户名和密码#
	    
	    
	    
	
	
	
	    
		
		
	    
	
	
    

    
		
	
	    
	    
	
    

    
	
	    
	
    
    
	
	    
	    
	    
	
    

5.3 创建本地目录用来测试数据并启动服务

 [root@backup /]mkdir /data
启动服务
 [root@backup /]/usr/local/src/GNU-Linux-x86/sersync2 -d
	   检查
 [root@backup /]ps aux |grep sersync2
root       2562  0.0  0.0 125108   800 ?        Ssl  14:30   0:00 /usr/local/src/GNU-Linux-x86/sersync2 -d
root       2731  0.0  0.0 125108   836 ?        Ssl  14:45   0:00 /usr/local/src/GNU-Linux-x86/sersync2 -d -o /usr/local/src/GNU-Linux-x86/confxml.xml.bbs
root       2959  0.0  0.0 112704   960 pts/0    R+   21:34   0:00 grep --color=auto sersync2

六.测试rsync是否搭建成功

6.1 在sersync服务器上操作：

确保两台服务器上测试目录一样
[root@backup ~]# ll /data
total 0

[root@rsync-server /]# ll /backup
total 0

6.2 测试backup服务器与rsync服务器通信

[root@backup ~]# touch /data/2.txt
[root@backup ~]# rsync -avz /data/ [email protected]::backup
Password: 
sending incremental file list
1.txt

sent 130 bytes  received 43 bytes  69.20 bytes/sec
total size is 0  speedup is 0.00

#在rsync服务器上检查,可以看到我们的2.txt传送过来了#
[root@rsync-server /]# ll /backup
total 0
-rw-r--r-- 1 rsync rsync 0 Jul 16 22:53 2.txt

七.测试sersync是否搭建成功

7.1 在backup服务器上创建 删除 或者修改文件

[root@backup ~]# touch /data/3.txt
[root@backup ~]# ll /data
total 0
-rw-r--r-- 1 root root 0 Jul 16 21:38 1.txt
-rw-r--r-- 1 root root 0 Jul 16 23:07 2.txt
-rw-r--r-- 1 root root 0 Jul 16 23:07 3.txt

7.2在rsync服务器上查看是否成功

//可以看到我们的3.txt已经创建成功
[root@nfs-server /]# ll /backup
total 0
-rw-r--r-- 1 rsync rsync 0 Jul 16 23:07 2.txt
-rw-r--r-- 1 rsync rsync 0 Jul 16 23:07 3.txt

 

 

1.rsync 排错 
 1.1错误：
 [root@backup ~]# rsync -avz /data/ [email protected]::backup
  Password: 
  sending incremental file list
   1.txt
   rsync: chgrp ".1.txt.rnUDvB" (in backup) failed: Operation not permitted (1)

    sent 108 bytes  received 124 bytes  154.67 bytes/sec
     total size is 0  speedup is 0.00
    rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1178) [sender=3.1.2]  
 1.2 解决方法：如果推送的时候出现以下错误，可能是配置文件中需要加入
           fake super = yes