Rsync+sersync实现数据实时同步

Rysnc特性和优点
可以镜像保存整个目录树和文件系统。
可以很容易做到保持原来文件的权限、时间、软硬链接等等。
无须特殊权限即可安装。
快速：第一次同步时 rsync 会复制全部内容，但在下一次只传输修改过的文件。
压缩传输：rsync 在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽。
安全：可以使用scp、ssh等方式来传输文件，当然也可以通过直接的socket连接。
支持匿名传输，以方便进行网站镜象。
选择性保持：符号连接，硬链接，文件属性，权限，时间等

常见备份分类
完整备份，差异备份，增量备份
完整备份：每次备份都是从备份源将所有的文件或目录备份到目的地
差量备份：备份上次完全备份以后有变化的数据(他针对的上次的完全备份,他备份过程中不清除存档属性)
增量备份：备份上次备份以后有变化的数据.(他才不管是那种类型的备份,有变化的数据就备份,他会清除存档属性)

运行模式和端口
采用C/S模式（客户端/服务器模式）[ 就是一个点到点的传输，直接使用rsync命令 ]
端口873
发起端：负责发起rsync同步操作的客户机叫做发起端，通知服务器我要备份你的数据
备份源：负责相应来自客户机rsync同步操作的服务器脚在备份源，需要备份的服务器
服务端：运行rsyncd服务，一般来说，需要备份的服务器
客户端：存放备份数据
数据同步方式
推push：一台主机负责把数据传送给其他主机，服务器开销很大，比较适合后端服务器少的情况
拉pull：所有主机定时去找一主机拉数据，可能就会导致数据缓慢
推：目的主机配置为rsync服务器，源主机周期性的使用rsync命令把要同步的目录推过去（需要备份的机器是客户端，存储备份的机器是服务端）
拉：源主机配置为rsync服务器，目的主机周期性的使用rsync命令把要同步的目录拉过来（需要备份的机器是服务端，存储备份的机器是客户端）

Xinetd管理Rsync工作原理

使用rsync来同步是先通过xinetd监听873号端口，如果rsync进来的是873号端口，那么xinetd就会通知它所管辖的rsync服务来做回应，接下来就是rsync俩服务于之间的通讯。
Rsync命令
-a, --archive archive mode 权限保存模式,相当于 -rlptgoD 参数，存档，递归，保持属性等
-r, --recursive 复制所有下面的资料，递归处理
-p, --perms 保留档案权限 ，文件原有属性
-t, --times 保留时间点，文件原有时间
-g, --group 保留原有属组
-o, --owner 保留档案所有者(root only)
-D, --devices 保留device资讯(root only)
-l, --links 复制所有的连接 ，拷贝连接文件
-z, --compress 压缩模式, 当资料在传送到目的端进行档案压缩.
-H, --hard-links 保留硬链接文件
-A, --acls 保留ACL属性文件，需要配合–perms
-P,-P参数和 --partial --progress 相同.只是为了把参数简单化,表示传进度
–version， 输出rsync版本
-v , --verbose 复杂的输出信息
-u, --update 仅仅进行更新，也就是跳过已经存在的目标位置，并且文件时间要晚于要备份的文件，不覆盖新的文件
–port=PORT， 定义rsyncd(daemon)要运行的port(预设为tcp 873)
–delete， 删除那些目标位置有的文件而备份源没有的文件
–password-file=FILE ，从 FILE 中得到密码
–bwlimit=KBPS， 限制 I/O 带宽
–filter “-filename”，需要过滤的文件
–exclude=filname，需要过滤的文件
–progress，显示备份过程
常用的 –avz

rsyncd.conf配置文件
配置文件分为两部分：全局参数，模块参数
全局参数：对rsync服务器生效，如果模块参数和全局参数冲突，冲突的地方模块参数生效
模块参数：定义需要通过rsync输出的目录定义的参数
常见的全局参数：
port #→指定后台程序使用的端口号，默认为873。
uid #→该选项指定当该模块传输文件时守护进程应该具有的uid，配合gid选项使用可以确定哪些可以访问怎么样的文件权限，默认值是" nobody"。
gid #→该选项指定当该模块传输文件时守护进程应该具有的gid。默认值为" nobody"。
max connections #→指定该模块的最大并发连接数量以保护服务器，超过限制的连接请求将被告知随后再试。默认值是0，也就是没有限制。
lock file #→指定支持max connections参数的锁文件，默认值是/var/run/rsyncd.lock。
motd file #→" motd file"参数用来指定一个消息文件，当客户连接服务器时该文件的内容显示给客户，默认
是没有motd文件的。
log file #→" log file"指定rsync的日志文件，而不将日志发送给syslog。
pid file #→指定rsync的pid文件，通常指定为“/var/run/rsyncd.pid”，存放进程ID的文件位置。
hosts allow = #→单个IP地址或网络地址 //允许访问的客户机地址
常见的模块参数：主要是定义服务器哪个要被同步输出，其格式必须为“ [ 共享模块名 ]” 形式，这个名字就是在 rsync 客户端看到的名字，其实很像 Samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的。
Comment #→给模块指定一个描述，该描述连同模块名在客户连接得到模块列表时显示给客户。默认没有描述定义。
Path #→指定该模块的供备份的目录树路径，该参数是必须指定的。
read only #→yes为只允许下载，no为可以下载和上传文件到服务器
exclude #→用来指定多个由空格隔开的多个文件或目录(相对路径)，将其添加到exclude列表中。这等同于在客户端命令中使用―exclude或----filter来指定某些文件或目录不下载或上传(既不可访问)
exclude from #→指定一个包含exclude模式的定义的文件名，服务器从该文件中读取exclude列表定义，每个文件或目录需要占用一行
include #→用来指定不排除符合要求的文件或目录。这等同于在客户端命令中使用–include来指定模式，结合include和exclude可以定义复杂的exclude/include规则。
include from #→指定一个包含include模式的定义的文件名，服务器从该文件中读取include列表定义。
auth users #→该选项指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系。如果" auth users"被设置，那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议。用户的名和密码以明文方式存放在" secrets file"选项指定的文件中。默认情况下无需密码就可以连接模块(也就是匿名方式)。
secrets file #→该选项指定一个包含定义用户名:密码对的文件。只有在" auth users"被定义时，该文件才有作用。文件每行包含一个username:passwd对。一般来说密码最好不要超过8个字符。没有默认的secures file名，注意：该文件的权限一定要是600，否则客户端将不能连接服务器。
hosts allow #→指定哪些IP的客户允许连接该模块。定义可以是以下形式：
单个IP地址，例如：192.167.0.1，多个IP或网段需要用空格隔开，
整个网段，例如：192.168.0.0/24，也可以是192.168.0.0/255.255.255.0
“*”则表示所有，默认是允许所有主机连接。
hosts deny #→指定不允许连接rsync服务器的机器，可以使用hosts allow的定义方式来进行定义。默认是没有hosts deny定义。
list #→该选项设定当客户请求可以使用的模块列表时，该模块是否应该被列出。如果设置该选项为false，
可以创建隐藏的模块。默认值是true。
timeout #→通过该选项可以覆盖客户指定的IP超时时间。通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端。超时单位为秒钟，0表示没有超时定义，这也是默认值。对于匿名rsync服务器来说，一个理想的数字是600。
用配置文件定义目录输出

脚本实现定时自动备份
#vim /opt/passfile
#vim autobackup.sh
#!/bin/bash
rsync -avz --delete /var/www/html [email protected]::wwwroot --password-file=/opt/passfile
#chmod +x autobackup.sh
#echo “01 3 * * * sh /root/autoback.sh &” >> /var/spool/cron/root

Rsync+sersync实现数据实时同步
同步过程和原理：

1. 用户实时的往sersync服务器上写入更新文件数据；
2. 此时需要在同步主服务器上配置sersync服务；
3. 在另一台服务器开启rsync守护进程服务，以同步拉取来自sersync服务器上的数据；
   通过rsync的守护进程服务后可以发现，实际上sersync就是监控本地的数据写入或更新事件；然后，在调用rsync客户端的命令，将写入或更新事件对应的文件通过rsync推送到目标服务器
   配置sersync
   更改优化sersync配置文件：
   修改24–28行

 
                #本地同步目录
                   #rsync模块名称

修改31–34行，认证部分【rsync密码认证】

开启sersync守护进程同步数据
#vim /opt/check_sersync.sh #编辑，添加以下代码
#!/bin/sh
sersync="/opt /sersync/sersync2"
confxml="/opt /sersync/confxml.xml"
status=$(ps aux |grep ‘sersync2’|grep -v ‘grep’|wc -l)
if [ $status -eq 0 ];
then
$sersync -d -r -o $confxml &
else
exit 0;
fi

#chmod +x /opt /check_sersync.sh #添加脚本执行权限

#vim /etc/rc.d/rc.local #编辑，在最后添加一行
/root/sersync/sersync2 -d -r -o /opt/sersync/confxml.xml ＃设置开机自动运行脚本

/root/sersync/sersync2 -d -r -o /opt/sersync/confxml.xml #启动sersync

根据实际情况配置多个同步数据实例
1、配置多个confxml.xml文件（比如：www、bbs、blog…等等）
2、根据不同的需求同步对应的实例文件
/usr/local/sersync/sersync2 -d -o /usr/local/sersync/www_confxml.xml
/usr/local/sersync/sersync2 -d -o /usr/local/sersync/bbs_confxml.xml