IT1693

企业实时同步方案----Rsync+Sersync

转发 http://nolinux.blog.51cto.com/4824967/1433623

在博文企业实时同步方案----Sersync介绍中我们详细介绍了Sersync的原理，设计架构以及和 Inotify 等等的优势区别。这里我就带大家一起来做一下 Rsync +Sersync 这个同步分发架构案例。

实验环境介绍：

内核版本：2.6.32-431.el6.x86_64

系统采用最小化安装，系统经过了基本优化，selinux为关闭状态，iptables为无限制模式

源码包存放位置：/root

Rsync客户端+Sersync服务器（SERSYNC），承担角色MASTER，IP：172.16.100.3，主机名：rsync-client-sersync

SERSYNC_SLAVE,作为SERSYNC的从机，如果SERSYNC宕机，SERSYNC_SLAVE来接管服务，保证业务不中断，本实验不包括它！

Web服务器A（即Rsync服务端）（SWEB1），承担角色S1，IP：172.16.100.1，主机名：rsync-server-1

Web服务器B（即Rsync服务端）（SWEB2），承担角色S2，IP：172.16.100.2，主机名：rsync-server-2

架构图：

下面，就开始我们的实验！

一、在两台 SWEB 服务器上部署 Rsync 服务端程序

特别提醒：本文的SWEB服务器即为SWEB1（172.16.100.1），SWEB2（172.16.100.2）。此处仅以SWEB1的 Rsync服务端部署为例，SWEB2的部署和SWEB1一样，此处不再敖述。

1、安装 Rsync

[root@SWEB1 ~]# yum install rsync -y

2、修改 Rsync 配置文件

[root@SWEB1 ~]# cat > /etc/rsyncd.conf << EOF

#Rsync server

#created by sunsky 00:17 2013-06-28

##rsyncd.conf start##

uid = root      # rsync对后面模块中的path路径拥有什么权限

gid = root      # rsync对后面模块中的path路径拥有什么权限

use chroot = no      # 安全操作

max connections = 2000      # 定义连接数2000

timeout = 600      # 600秒超时

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

ignore errors      # 忽略错误

read only = false # false才能上传文件，true不能上传文件

list = false # 文件列表

hosts allow = 172.16.100.0/24

hosts deny = *

auth users = rsync_bak    # 虚拟用户，同步时需要用这个用户

secrets file = /etc/rsync.password      # 密码文件

#####################################

[web]      # 模块名称

comment = redhat.sx site files by sunsky 00:17 2013-06-28    # 注释

path = /data/web # 模块的路径

####################################

[download]

comment = redhat.sx site sit data files  by sunsky 00:17 2013-06-28

path = /data/download

#####################################

EOF

特别提示：此处，使用一个多目录同步的案例。大家可以看需求，如果需求只有一个，那仅仅做一个目录即可。

       上面的Rsync服务的配置文件，表明允许 172.16.100.0 网段的主机访问，Rsync同步模块名为[web]和[download]，将同步过来的文件分别放入对应path指定的目录/data/web，/data/download下。

       如果有多台目标服务器，则每一台都需要进行类似的rsync服务端配置，上面的uid和gid需要换成你服务器的相应的同步用户。注意，Rsync服务账户（本文用root）要有对被同步目录（/data/web和/data/download）的写入和更新权限。

3、创建相关待同步目录

[root@SWEB1 ~]# mkdir /data/{web,download} -p

[root@SWEB1 ~]# tree /data

/data

├── download

└── web

2 directories, 0 files

提示：此步在S1，S2上都要执行，否则，rsync服务会因为没有PATH路径而无法启动。

4、相关认证和权限项配置

[root@SWEB1 /]# echo 'rsync_bak:redhat' > /etc/rsync.password

[root@SWEB1 /]# chmod 600 /etc/rsync.password

[root@SWEB1 /]# cat /etc/rsync.password

rsync_bak:redhat

[root@SWEB1 /]# ll /etc/rsync.password

-rw-------. 1 root root 7 Jun  4 00:20 /etc/rsync.password

5、以守护进程方式启动rsync服务

[root@SWEB1 ~]# rsync --daemon

6、查看rsync服务状态

[root@SWEB1 /]# lsof -i tcp:873

COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME

rsync 20982 root    3u  IPv4  88170      0t0  TCP *:rsync (LISTEN)

rsync 20982 root    5u  IPv6  88171      0t0  TCP *:rsync (LISTEN)

7、为rsync添加开机自启动

[root@SWEB1 /]# echo "# rsyncd service daemon by sun 20140702" >>/etc/rc.local

[root@SWEB1 /]# echo "/usr/bin/rsync --daemon"  >> /etc/rc.local

[root@SWEB1 /]# grep daemon /etc/rc.local

# rsyncd service daemon by sun 20140702

/usr/bin/rsync --daemon

这里顺带附上重启的命令，rsync重启有点麻烦，需要以先杀掉后台守护进程，然后再启动的方式来重启服务。

[root@SWEB1 /]# pkill rsync

[root@SWEB1 /]# rsync --daemon

二、在 SERSYNC 上配置rsync客户端

1、安装Rsync并配置相关权限

在 SERSYNC 上配置 RSYNC 客户端相关权限认证：

[root@SERSYNC /]# yum install rsync -y

[root@SERSYNC /]# echo "redhat" > /etc/rsync.password

[root@SERSYNC /]# chmod 600 /etc/rsync.password

[root@SERSYNC /]# cat /etc/rsync.password

Redhat

[root@SERSYNC ~]# ll /etc/rsync.password

-rw-------. 1 root root 7 Jun  4 00:20 /etc/rsync.password

2、在SERSYNC上手动测试rsync的同步情况

特别强调：此步很关键，如果这不能同步，后面的 SERSYNC 配好了也不会同步数据。

1）分别创建待同步数据

[root@SERSYNC ~]# mkdir /data/{web,download} -p

[root@SERSYNC ~]# touch /data/{web/index.html,download/a.jpg}

[root@SERSYNC ~]# tree /data

/data

├── download

│   └── a.jpg

└── web

└── index.html

2 directories, 2 files

2）执行同步命令

针对SWEB1(172.16.100.1):

[root@SERSYNC ~]# rsync -avzP /data/web [email protected]::web/ --password-file=/etc/rsync.password

sending incremental file list

web/

web/index.html

0 100%    0.00kB/s 0:00:00 (xfer#1, to-check=0/2)

sent 92 bytes  received 31 bytes  246.00 bytes/sec

total size is 0  speedup is 0.00

[root@SERSYNC ~]# rsync -avzP /data/download/ [email protected]::download/ --password-file=/etc/rsync.password

sending incremental file list

./

a.jpg

0 100%    0.00kB/s 0:00:00 (xfer#1, to-check=0/2)

sent 75 bytes  received 30 bytes  210.00 bytes/sec

total size is 0  speedup is 0.00

针对SWEB2(172.16.100.2):

[root@SERSYNC ~]# rsync -avzP /data/web [email protected]::web/ --password-file=/etc/rsync.password

sending incremental file list

web/

web/index.html

0 100%    0.00kB/s 0:00:00 (xfer#1, to-check=0/2)

sent 92 bytes  received 31 bytes  246.00 bytes/sec

total size is 0  speedup is 0.00

[root@SERSYNC ~]# rsync -avzP /data/download/ [email protected]::download/ --password-file=/etc/rsync.password

sending incremental file list

./

a.jpg

0 100%    0.00kB/s 0:00:00 (xfer#1, to-check=0/2)

sent 75 bytes  received 30 bytes  70.00 bytes/sec

total size is 0  speedup is 0.00

同步完之后，分别对SWEB1，SWEB2的相应目录进行查看！此处以 SWEB1 为例：提示：在后面进行部署SERSYNC之前，SERSYNC主服务器(即SERSYNC)上必须要确保手动可以把文件推送到SWEB1，SWEB2上，这样后续SERSYNC才能调用这些命令来自动推送。

[root@SWEB1 ~]# tree /data/

/data/

├── download

│   └── a.jpg

└── web

└── index.html

3 directories, 2 files

三、在 SERSYNC 上配置 SERSYNC 服务

上面的工作做好之后呢，下面就开始正式配置我们的Sersync了！

    我们在Sersync安装过程中所用到包均是从谷歌Sersync项目组取得的，地址：https://code.google.com/p/sersync/downloads/list

       这里，我所用的将是这个 sersync2.5.4_64bit_binary_stable_final.tar.gz 的64位可执行文件版本，里面已经包含了配置文件与可执行文件。下面的操作也都是基于该版本去做的。

1、准备 Sersync 的安装包

[root@SERSYNC ~]# mkdir /source/

[root@SERSYNC ~]# cd /source/

[root@SERSYNC ~]# wget https://sersync.googlecode.com/files/sersync2.5.4_64bit_binary_stable_final.tar.gz

[root@SERSYNC source]# tar zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz

GNU-Linux-x86/

GNU-Linux-x86/sersync2

GNU-Linux-x86/confxml.xml

2、安装 Sesync

[root@SERSYNC source]# cp -r GNU-Linux-x86 /usr/local/sersync

[root@SERSYNC source]# tree /usr/local/sersync

/usr/local/sersync

├── confxml.xml

└── sersync2

0 directories, 2 files

3、规范 Sersync 目录结构

[root@SERSYNC source]# cd /usr/local/sersync

[root@SERSYNC sersync]# mkdir conf bin logs

[root@SERSYNC sersync]# mv confxml.xml conf

[root@SERSYNC sersync]# mv sersync2 bin/sersync

[root@SERSYNC sersync]# tree

.

├── bin

│   └── sersync

├── conf

│   └── confxml.xml

└── logs

3 directories, 2 files

4、配置 Sersync

[root@SERSYNC sersync]# cp conf/confxml.xml conf/confxml.xml.bak.$(date +%F)

[root@SERSYNC sersync]# ls

bin  conf  logs

[root@SERSYNC sersync]# ls conf/

confxml.xml  confxml.xml.bak.2014-06-04

初始化的配置文件内容如下：

[root@SERSYNC sersync]# cat conf/confxml.xml -n

1<?xml version="1.0" encoding="ISO-8859-1"?>

2<head version="2.5">

3    <host hostip="localhost" port="8008"></host>

4    <debug start="false"/>

5    <fileSystem xfs="false"/>

6    <filter start="false">

7<exclude expression="(.*)\.svn"></exclude>

8<exclude expression="(.*)\.gz"></exclude>

9<exclude expression="^info/*"></exclude>

10<exclude expression="^static/*"></exclude>

11    </filter>

12    <inotify>

13<delete start="true"/>

14<createFolder start="true"/>

15<createFile start="false"/>

16<closeWrite start="true"/>

17<moveFrom start="true"/>

18<moveTo start="true"/>

19<attrib start="false"/>

20<modify start="false"/>

21    </inotify>

22

23    <sersync>

24<localpath watch="/opt/tongbu">

25    <remote ip="127.0.0.1" name="tongbu1"/>

26    

27    

28</localpath>

29<rsync>

30    <commonParams params="-artuz"/>

31    <auth start="false" users="root" passwordfile="/etc/rsync.pas"/>

32    <userDefinedPort start="false" port="874"/>

33    <timeout start="false" time="100"/>

34    <ssh start="false"/>

35</rsync>

36<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/>

37<crontab start="false" schedule="600">

38    <crontabfilter start="false">

39<exclude expression="*.php"></exclude>

40<exclude expression="info/*"></exclude>

41    </crontabfilter>

42</crontab>

43<plugin start="false" name="command"/>

44    </sersync>

45

46    <plugin name="command">

47<param prefix="/bin/sh" suffix="" ignoreError="true"/>

48<filter start="false">

49    <include expression="(.*)\.php"/>

50    <include expression="(.*)\.sh"/>

51</filter>

52    </plugin>

53

54    <plugin name="socket">

55<localpath watch="/opt/tongbu">

56    <deshost ip="192.168.138.20" port="8009"/>

57</localpath>

58    </plugin>

59    <plugin name="refreshCDN">

60<localpath watch="/data0/htdocs/cms.xoyo.com/site/">

61    <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>

62    <sendurl base="http://pic.xoyo.com/cms"/>

63    <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>

64</localpath>

65    </plugin>

66</head>

为了满足我们的需求，我们需要修改如下几处设置：

1）修改24-28行的内容，原内容为：

<localpathwatch="/opt/tongbu">       #定义本地要同步的目录

<remoteip="127.0.0.1" name="tongbu1"/>   #

    #同步到哪个机器，，同步到机器的哪个模块

</localpath>

修改后内容为：

<localpathwatch="/data/web">

<remoteip="172.16.100.1" name="web"/>    #这里取掉了两旁的注释

<remoteip="172.16.100.2" name="web"/>    #这里取掉了两旁的注释

</localpath>

该文件中分隔符形式为：

2）修改31-34行，认证相关部分：

<commonParamsparams="-artuz"/>

<auth start="false"users="root" passwordfile="/etc/rsync.pas"/>

<userDefinedPortstart="false" port="874"/>

<timeoutstart="false" time="100"/>

<sshstart="false"/>

修改后内容为：

<commonParamsparams="-aruz"/>

<auth start="true"users="rsync_bak"passwordfile="/etc/rsync.password"/>

<userDefinedPortstart="false" port="874"/>

<timeoutstart="true" time="100"/>

<sshstart="false"/>

提示：上面的几个配置就是在拼接

rsync -aruz --timeout=100 /data/web

[email protected]::www/

--password-file=/etc/rsync.password

3）修改36-37行

<failLogpath="/tmp/rsync_fail_log.sh"timeToExecute="60"/>

修改后内容为

<failLog path="/usr/local/sersync/logs/rsync_fail_log.sh "timeToExecute="60"/>

当同步失败后，日志记录到/usr/local/sersync/logs/rsync_fail_log.sh，并且每60分钟对失败的log进行重新同步。

修改后的完整配置文件为：

[root@SERSYNC sersync]# cat -n /usr/local/sersync/conf/confxml.xml

1<?xml version="1.0" encoding="ISO-8859-1"?>

2<head version="2.5">

3    <host hostip="localhost" port="8008"></host>

4    <debug start="false"/>

5    <fileSystem xfs="false"/>

6    <filter start="false">

7<exclude expression="(.*)\.svn"></exclude>

8<exclude expression="(.*)\.gz"></exclude>

9<exclude expression="^info/*"></exclude>

10<exclude expression="^static/*"></exclude>

11    </filter>

12    <inotify>

13<delete start="true"/>

14<createFolder start="true"/>

15<createFile start="false"/>

16<closeWrite start="true"/>

17<moveFrom start="true"/>

18<moveTo start="true"/>

19<attrib start="false"/>

20<modify start="false"/>

21    </inotify>

22

23    <sersync>

24<localpath watch="/data/web">

25    <remote ip="172.16.100.1" name="web"/>

26    <remote ip="172.16.100.2" name="web"/>

27</localpath>

28<rsync>

29    <commonParams params="-aruz"/>

30    <auth start="true" users="rsync_bak" passwordfile="/etc/rsync.password"/>

31    <userDefinedPort start="false" port="874"/>

32    <timeout start="true" time="100"/>

33    <ssh start="false"/>

34</rsync>

35<failLog path="/usr/local/logs/rsync_fail_log.sh" timeToExecute="60"/>

36<crontab start="false" schedule="600">

37    <crontabfilter start="false">

38<exclude expression="*.php"></exclude>

39<exclude expression="info/*"></exclude>

40    </crontabfilter>

41</crontab>

42<plugin start="false" name="command"/>

43    </sersync>

44

45    <plugin name="command">

46<param prefix="/bin/sh" suffix="" ignoreError="true"/>

47<filter start="false">

48    <include expression="(.*)\.php"/>

49    <include expression="(.*)\.sh"/>

50</filter>

51    </plugin>

52

53    <plugin name="socket">

54<localpath watch="/opt/tongbu">

55    <deshost ip="192.168.138.20" port="8009"/>

56</localpath>

57    </plugin>

58    <plugin name="refreshCDN">

59<localpath watch="/data0/htdocs/cms.xoyo.com/site/">

60    <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>

61    <sendurl base="http://pic.xoyo.com/cms"/>

62    <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>

63</localpath>

64    </plugin>

65</head>

以上的配置文件，我们仅仅配置了针对 SWEB1 和 SWEB2 上web这个模块，即/data/web目录的自动同步。由于我们还有一个download模块，即/data/download目录需要进行自动同步。因此这就意味着，我们需要配置多实例了。

Sersync的多实例和往常的apache，nginx一样，你只需要把配置文件拷贝一份出来，然后针对不同的实例做不同的修改，然后在最后开启 sersync 服务的时候指定不同的配置文件做启动即可！

配置针对download的实例配置文件：

[root@SERSYNC sersync]# cp /usr/local/sersync/conf/confxml.xml /usr/local/sersync/conf/download_confxml.xml

修改方法如上，这里仅贴出和上个实例之间不一样的地方：

23    <sersync>

24<localpath watch="/data/download">

25    <remote ip="172.16.100.1" name="download"/>

26    <remote ip="172.16.100.2" name="download"/>

27</localpath>

28<rsync>

5、开启 Sersync 守护进程进行数据同步

a、配置 Sersync 环境变量

[root@SERSYNC sersync]# echo 'export PATH=$PATH:/usr/local/sersync/bin'>>/etc/profile

[root@SERSYNC sersync]# tail -1 /etc/profile

export PATH=$PATH:/usr/local/sersync/bin

[root@SERSYNC sersync]# . /etc/profile

[root@SERSYNC sersync]# which sersync

/usr/local/sersync/bin/sersync

启动的过程及结果：

注意：我们这里要启动的是多实例，即confxml.xml和download_confxml.xml

[root@SERSYNC ~]# ls /usr/local/sersync/conf/*

/usr/local/sersync/conf/confxml.xml

/usr/local/sersync/conf/confxml.xml.bak.2014-06-04

/usr/local/sersync/conf/download_confxml.xml

[root@SERSYNC ~]# sersync -r -d -o /usr/local/sersync/conf/confxml.xml

set the system param

execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches

execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events

parse the command param

option: -r rsync all the local files to the remote servers before the sersync work

option: -d run as a daemon

option: -o config xml name：  /usr/local/sersync/conf/confxml.xml

daemon thread num: 10

parse xml config file

host ip : localhosthost port: 8008

daemon start，sersync run behind the console

use rsync password-file :

user isrsync_bak

passwordfile is /etc/rsync.password

config xml parse success

please set /etc/rsyncd.conf max connections=0 Manually

sersync working thread 12  = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads)

Max threads numbers is: 32 = 12(Thread pool nums) + 20(Sub threads)

please according your cpu ，use -n param to adjust the cpu rate

chmod: cannot access `/usr/local/logs/rsync_fail_log.sh': No such file or directory

------------------------------------------

rsync the directory recursivly to the remote servers once

working please wait...

execute command: cd /data/web && rsync -aruz -R --delete ./  --timeout=100 [email protected]::web --password-file=/etc/rsync.password >/dev/null 2>&1

run the sersync:

watch path is: /data/web

[root@SERSYNC ~]# sersync -r -d -o /usr/local/sersync/conf/download_confxml.xml

set the system param

execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches

execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events

parse the command param

option: -r rsync all the local files to the remote servers before the sersync work

option: -d run as a daemon

option: -o config xml name：  /usr/local/sersync/conf/download_confxml.xml

daemon thread num: 10

parse xml config file

host ip : localhosthost port: 8008

daemon start，sersync run behind the console

use rsync password-file :

user isrsync_bak

passwordfile is /etc/rsync.password

config xml parse success

please set /etc/rsyncd.conf max connections=0 Manually

sersync working thread 12  = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads)

Max threads numbers is: 32 = 12(Thread pool nums) + 20(Sub threads)

please according your cpu ，use -n param to adjust the cpu rate

chmod: cannot access `/usr/local/logs/rsync_fail_log.sh': No such file or directory

------------------------------------------

rsync the directory recursivly to the remote servers once

working please wait...

execute command: cd /data/download && rsync -aruz -R --delete ./  --timeout=100 [email protected]::download --password-file=/etc/rsync.password >/dev/null 2>&1

run the sersync:

watch path is: /data/download

b、开启后查看进程

[root@SERSYNC ~]# ps -ef |grep sersync

root      2114     1  0 01:56 ?        00:00:00 sersync -r -d -o /usr/local/sersync/conf/confxml.xml

root      2223     1  0 02:03 ?        00:00:00 sersync -r -d -o /usr/local/sersync/conf/download_confxml.xml

root      2295  2244  0 02:08 pts/2 00:00:00 grep sersync

C、配置开机自启动

[root@SERSYNC ~]# cp /etc/rc.local /etc/rc.local.bak._$(date +%F)

[root@SERSYNC ~]# cat >>/etc/rc.local<< 'EOF'

> # sync data to 172.16.100.1,172.16.100.2

> sersync -d -o /usr/local/sersync/conf/confxml.xml

> sersync -d -o /usr/local/sersync/conf/download_confxml.xml

> EOF

6、测试 Sersync 是否正常

我们在 Sersync 服务端批量创建文件，然后去SWEB1和SWEB2上查看同步效果：

[root@SERSYNC web]# for i in {1..10000};do echo 123456 > /data/web/$i &>/dev/null;done

[root@SERSYNC web]# for i in {1..10000};do echo 123456 > /data/download/$i &>/dev/null;done

[root@SERSYNC web]# tree /data/

/data/

├── download

│   ├── 1

......  #中间信息省略

├── 9997

├── 9998

├── 9999

└── index.html

2 directories, 20001 files

以上，我们是写入了20000个文件，然后批量测试同步效率：

这种情况下，同步情况不是很令人乐观

此时，我们可以通过ps -ef |grep rsync|wc -l来查看Sersync的服务端 Rsync的进程数，最好多次统计，你会发现这个进程是动态变化的！