Linux下同步工具sersync+rsync使用详解【实战篇】

1、实战背景

需求:数据在两台物理机上各存储一份,确保第一份备份失效后,第二份有效。

目录关系如下:

     

应用服务器 数据库服务器
CX应用平台    XP应用平台    JS应用平台     CX数据平台    XP数据平台    JS数据平台    
NFS平台提供挂载目录(CX应用平台    XP应用平台    JS应用平台)     NFS平台提供挂载目录(CX数据平台    XP数据平台    JS数据平台)    
rsync+sersync平台同步目录(CX应用平台   XP应用平台   JS应用平台 rsync+sersync同步目录(CX数据平台    XP数据平台    JS数据平台

平台名称 IP地址 绝对路径
CX应用平台 192.168.66.151 /data/sp
NFS平台提供挂载目录 192.168.66.155 /data/sp
rsync+sersync平台同步目录 192.168.66.153 /databackup/sp
平台名称 IP地址 绝对路径
XP应用平台 192.168.66.131/132 /data/sp
NFS平台提供挂载目录 192.168.66.155 /data/sp
rsync+sersync平台同步目录 192.168.66.153 /databackup/sp
平台名称 IP地址 绝对路径
JS应用平台 192.168.66.133/134

/home/js/df

/home/js/ds

NFS平台提供挂载目录 192.168.66.155

/data/df

/data/ds

rsync+sersync平台同步目录 192.168.66.153

/databackup/df

/databackup/ds

平台名称 IP地址 绝对路径
CX数据平台 192.168.66.152

/backupall/cxdb3306/

/backupall/cxdb3307/

/backupall/cxdb3308/

NFS平台提供挂载目录 192.168.66.155

/data/cxdb3306/

/data/cxdb3307/

/data/cxdb/3308/

rsync+sersync平台同步目录 192.168.66.153

/databackup/cxdb3306/

/databackup/cxdb3307/

/databackup/cxdb3308/

平台名称 IP地址 绝对路径
XP数据平台 192.168.66.143

/backupall/xpdb/

NFS平台提供挂载目录 192.168.66.155

/data/xpdb/

rsync+sersync平台同步目录 192.168.66.153

/databackup/xpdb/

平台名称 IP地址 绝对路径
JS数据平台 192.168.66.147

/backupall/jsdb/

NFS平台提供挂载目录 192.168.66.155

/data/jsdb/

rsync+sersync平台同步目录 192.168.66.153

/databackup/jsdb/

二、以CX平台为例,配置如下

1、66.151  (CX平台)

#mkdir /data/sp   (创建相关目录)

#vi /etc/fstab(151挂载NFS目录)

    192.168.66.155:/data/sp /data/sp          nfs     defaults        0 0

    #192.168.66.153:/data/sp /data/sp          nfs     defaults        0 0  (设置备用挂载点

#mount -a (挂载)

#df -h  (确定是否成功挂载)

#####此时挂载的目录权限与nfs服务器对应的目录一致#####


2、66.155(NFS服务器)

#mkdir /data/sp (创建相关目录)

#vi  /etc/exports (设置挂载权限)

   /data/sp     192.168.66.151(rw,sync)

#exportfs  -a  (重新加载/etc/exports文件)

#showmount -e  (查看nfs挂载情况)

#yum install rsync -y (作为rsync客户端rsync在CentOS6上默认已经安装,如果没有则安装,服务端和客户端是同一个安装包。)

#vi /etc/rsync_client.pwd (客户端测试同步,单向同步时,客户端只需要一个包含密码的文件)

#chmod 600 /etc/rsync_client.pwd

#/usr/bin/rsync -auvrtzopgP --progress --password-file=/etc/rsync_client.pwd /data/sp/ [email protected]::sp  将本地/data/sp/目录同步到远程192.168.66.153的/databackup/sp/ 目录(sp指定)    传过去的文件属性是sp模块定义的tomcat:tomcat

#/usr/bin/rsync -auvrtzopgP --progress --password-file=/etc/rsync_client.pwd [email protected]::sp  /data/sp/ (当然你也可以将远程的/databackup/sp/目录同步到本地目录/data/sp/)         拉回来的文件在原主机上是什么属性就是什么属性,与sp模块无关  比如root:root不会改变为tomcat:tomcat

Linux下同步工具sersync+rsync使用详解【实战篇】_第1张图片


3、66.153(rsync服务器)

#mkdir -p /databackup/sp (创建相关目录)

#vi  /etc/exports (提供备用挂载点,设置挂载权限)

   /databackup/sp     192.168.66.151(rw,sync)

#exportfs  -a  (重新加载/etc/exports文件)

#showmount -e  (查看nfs挂载情况)

#yum install rsync -y (作为rsync服务端rsync在CentOS6上默认已经安装,如果没有则安装,服务端和客户端是同一个安装包。)

#vi  /etc/rsyncd.conf

port=873  (监听端口默认为873,也可以是别的端口)

uid = root(以哪个用户的身份来传输,这里只认uid,传输时一定要注意两台设备的ID,如果传输的时候两台ID不一致,请确定目标服务器需要使用什么uid,然后在源设备已该uid权限推送)

gid = root (以哪个组的身份来传输,这里只认gid,传输时一定要注意两台设备的ID
user chroot = no   (是否限定在该目录下,默认为true,当有软连接时,需要改为fasle,如果为true就限定为模块默认目录)
max connections = 20 (指定最大可以连接的客户端数)
timeout = 60
pid file = /var/run/rsyncd.pid (指定pid)
lock file = /var/run/rsyncd.lock
motd file = /etc/rsyncd.motd
log file = /var/log/rsyncd.log  (指定日志)

[sp]

path = /databackup/sp/     (制定数据存放的路径)

ignore errors                (忽略错误)
read only = no            (是否为只读,如果是no的话,客服端可以推送给服务端)
list = no                       (是否可以列出模块名, 如果为yes的话会列出客户端所有的模块名字)
hosts allow = 192.168.66.155   (设置可以允许访问的主机,可以是网段,多个Ip地址用空格隔开)
auth users = rsync                   (指定验证用户名rsync。可以不设置,不设置默认不用密码,设置的话安全性更高点)   

secrets file =/etc/rsyncd.pwd    (指定密码文件,如果设定验证用户,这一项必须设置,设定密码权限为400,密码文件/etc/rsyncd.passwd的内容格式为:username:password )

#chmod 600 /etc/rsync_server.pwd

#vi /etc/xinetd.d/rsync   (修改/etc/xinetd.d/rsync文件,disable 改为 no,服务器启动rsync后台服务)

#service xinetd restart (重启rsync后台进程)

一步就是同步了---------------------------------------------------------------------------------------------------------------------------------------------------------------

(1)当同步的目录数据量不大时,建议使用rsync+inotify

(2)当同步的目录数据量很大时(几百G甚至1T以上)文件很多时,建议使用rsync+sersync

这里使用rsync+sersync,需要搞清楚的是,监控的是NFS平台上的目录,推送到的是rsync备份平台,所以在NFS平台上装好inotify或者sersync工具。除此之外,一般还在rsync备份平台上将rsync配置为daemon运行模式,让其在873端口上处于监听状态。也就是说,对于rsync来说,监控端是rsync的客户端,其他的是rsync的服务端。


三、安装sersync

1.下载地址

# cd  /usr/local/src/

#wget https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/sersync/sersync2.5.4_64bit_binary_stable_final.tar.gz

2.解压软件包

# tar zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz

3.创建目录结构

# mkdir /usr/local/sersync

# mkdir /usr/local/sersync/conf

# mkdir /usr/local/sersync/logs

# mkdir /usr/local/sersync/bin

4.移动文件

# mv  GNU-Linux-x86/sersync2 /usr/local/sersync/bin/

# mv  GNU-Linux-x86/confxml.xml /usr/local/sersync/conf

5.配置环境变量

# vim  /etc/profile.d/sersync.sh

# echo "PATH=$PATH:/usr/local/sersync" > /etc/profile.d/sersync.sh

# source /etc/profile.d/sersync.sh

6.配置

# cd  /usr/local/sersync/conf

# cp confxml.xml confxml.xml.bak

# vim  confxml.xml



      # 设置本地IP和端口
              # 是否开启调试模式,下面所有出现false和true的地方都分别表示关闭和开启的开关
           # 监控的是否是xfs文件系统
              # 是否启用监控的筛选功能,筛选的文件将不被监控,默认关闭
       
       
       
       
   

                            # 设置监控的事件,默认监控的是delete/close_write/moved_from/moved_to/create folder
       
       
       
       
       
       
       
       
   

 
                              # rsync命令的配置段
           # 本地监控同步的目录或文件,同inotify+rsync一样,建议同步目录
              # 目标地址和rsync daemon的模块名,所以远端要以daemon模式先运行好rsync
                # 除非下面开启了ssh start,此时name为远程shell方式运行时的目标目录
       

                             # 指定rsync选项
           
              #rsync同步认证
             # 设置rsync远程服务端口,非默认端口需要打开自定义(若开启rsync+ssh, 则这里需定义SSH端口)
             # 设置超时时间
                 # 是否使用远程shell模式而非rsync daemon运行rsync命令
       

          # 错误重传。sersync传输失败日志脚本路径,每隔60会重新执行该脚本,执行完毕会自动清空。
           # 是否开启crontab功能,默认关闭
                  # crontab定时传输的筛选功能
               
               
           

       

       
   

 
          # 插件脚本范例
         
       
           
           
       

   

 
        # 插件脚本范例
       
           
       

   

   
       
           
           
           
       

   

7.启动
# /usr/local/sersync/bin/sersync2 -d -r -o /usr/local/sersync/conf/confxml.xml

说明:还有些其他参数,使用“-h”选项查看。

--------------------------------------------------

参数-d:启用守护进程模式,让sersync2运行在后台

参数-r:在监控前,将监控目录与远程主机用rsync命令推送一遍,
      :即首先让远端目录和本地一致,以后再同步则通过监控实现增量同步
参数-n:指定开启守护线程的数量,默认为10个
参数-o:指定配置文件,默认使用confxml.xml文件
参数-m:单独启用其他模块,使用 -m refreshCDN 开启刷新CDN模块
参数-m:单独启用其他模块,使用 -m socket 开启socket模块
参数-m:单独启用其他模块,使用 -m http 开启http模块

不加-m参数,则默认执行同步程序

------------------------------------------------------------------

Linux下同步工具sersync+rsync使用详解【实战篇】_第2张图片

对于sersync多实例,也即监控多个目录时,只需分别配置不同配置文件,然后使用sersync2指定对应配置文件运行即可。

# sersync2 -r -d -o /etc/sersync.d/nginx.xml


8.测试

在nfs服务器创建一个文件,实时被同步至rsync服务器。

最后记得在/etc/rc.d/rc.local中添加启动项目。







参考文章

inotify+rsync详细说明和sersync

  Rsync+Sersync实时同步









你可能感兴趣的:(『,系统知识,』)