rsync远程同步+实时同步

rsync概述

rsync，全称为：Remote Sync（远程同步），是一款开源的快速增量备份工具，可以在不同主机之间镜像同步整个目录树，还支持本地复制，增量备份、保持连接和权限，或者与其他SSH，rsync主机同步，采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用

rsync命令

rsync 选项 源位置 目标位置

常见选项
-a 归档模式，递归保留对象属性
-v 显示同步过程
-z 传输时进行压缩
-H 保留硬连接文件
-A 保留ACL访问控制列表信息
–delete 删除目标位置有的，源没有的文件，可以使文件同步
–checksum 根据对象的校验来决定是否跳过文件

配置源的两种表示方法

格式1:用户名@主机地址::共享模块名
格式2:rsync:/l用户名@主机地址/共享模块名

rsync同步

[root@localhost ~]# rsync --version		#查看rsync版本，系统自带，不用安装
rsync  version 3.1.2  protocol version 31
[root@localhost ~]# vim /etc/rsyncd.conf  #编辑主配置问啊进
uid = nobody
gid = nobody
use chroot = yes	#禁止目录
# max connections = 4
port 873
log file = /var/log/rsync.log
host allow = 20.0.0.0/32
pid file = /var/run/rsyncd.pid

[CSDN]
path = /var/www/html
comment = www.pan.com
read only = yes
dont compress = *.rar *.gz *.zip *.tgz *.z *.Z *.rpm *.deb *.bz2	#不解压的文件格式
auth users = juejue
secrets file = /etc/rsyncd_users.db

[root@localhost ~]# vim /etc/rsyncd_users.db	#文件名、位置和上面配置文件的一致
pan:123123
[root@localhost ~]# chmod 600 /etc/rsyncd_users.db
[root@localhost ~]# rsync --daemon
[root@localhost ~]# netstat -ntapu |grep 873
tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      14078/rsync         
tcp6       0      0 :::873                  :::*                    LISTEN      14078/rsync
[root@localhost html]# cd /var/www/html/
[root@localhost html]# echo "This is Hello" > index.html

被同步的客户机

[root@localhost /]# cd /var/www/html/
[root@localhost html]# ls
[root@localhost html]# 
[root@localhost html]# rsync -avz [email protected]::CSDN /var/www/html/
Password: 	#输入刚才创建的密码
receiving incremental file list
./
index.html

sent 46 bytes  received 125 bytes  11.79 bytes/sec
total size is 14  speedup is 0.08
[root@localhost html]# ls
index.html		##同步完成

制作免密同步
[root@localhost html]# mkdir /mima
[root@localhost html]# vim /mima/pwd.pass
123123
[root@localhost html]# chmod 600 /mianmi/pwd.pass	#给600权限是为了防止除管理员用户外的用户篡改文件

验证

[root@localhost html]# echo "11" > ABC.txt	#在 源 创建一个文件


[root@localhost html]# rsync -avz --delete --password-file=/mianmi/pwd.pass [email protected]::CSDN /var/www/html/	#客户机输入，可以看到确实不用输入密码
receiving incremental file list
./
ABC.txt

sent 46 bytes  received 142 bytes  376.00 bytes/sec
total size is 20  speedup is 0.11
[root@localhost html]# ls	##同步成功
ABC.txt  index.html
[root@localhost html]# cat ABC.txt 
11

rsync 实时同步

• 定期同步的不足
  • 执行备份的时间固定，延迟明显、实时性差
  • 当同步源长期不变化时，密集的定期任务是不必要的
• 实时同步的优点
  • —旦同步源出现变化，立即启动备份
  • 只要同步源无变化，则不执行备份

Inotify是一个Linux内核机制，它可以监控文件系统的操作，比如读取、写入、创建等。
Inotify反应灵敏，用法非常简单，并且比cron任务的繁忙轮询高效
从版本 2.6.13 开始提供；
可以监控文件系统的变化情况，并作出通知响应；
辅助软件：inotify-tools

inotifywait：用于持续监控，实时输出结果
inotifywatch：用于短期监控，任务完成后再出结果

源 端配置

[root@localhost ~]# vim /etc/rsyncd.conf
[CSDN]
path = /var/www/html
comment = www.pan.com
read only = no		#这行改成no
[root@localhost www]# chmod 777 /var/www/html/
重启服务

客户端配置

[root@localhost ~]# cat /proc/sys/fs/inotify/max_queued_events
16384	#监控队列大小
[root@localhost ~]# cat /proc/sys/fs/inotify/max_user_instances
128		#最多监控实例数
[root@localhost ~]# cat /proc/sys/fs/inotify/max_user_watches
8192	#每个实例最多监控文件数
[root@localhost ~]# vim /etc/sysctl.conf 
fs.inotify.max_queued_events = 16348
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576
[root@localhost ~]# sysctl -p
fs.inotify.max_queued_events = 16348
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

安装软件 inotify
[root@localhost ~]# cd /opt
[root@localhost opt]# tar zxvf inotify-tools-3.14.tar.gz
[root@localhost opt]# cd inotify-tools-3.14/
[root@localhost inotify-tools-3.14]# yum -y install gcc gcc-c++		##安装环境依赖      
[root@localhost inotify-tools-3.14]# ls
aclocal.m4    config.h.in   COPYING     libinotifytools  man      src
AUTHORS       config.sub    depcomp     ltmain.sh        missing
ChangeLog     configure     INSTALL     Makefile.am      NEWS
config.guess  configure.ac  install-sh  Makefile.in      README
[root@localhost inotify-tools-3.14]# ./configure
[root@localhost inotify-tools-3.14]# make && make install

再打开一个客户机的终端界面

[root@localhost opt]# vim inotify.sh##客户机编辑脚本监控共享目录变化并启动,方便管理
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib,move,delete /var/www/html/"RSYNC_CMD="rsync -azH --delete --password-file=/mianmi/pwd.pass /var/www/html/ [email protected]::CSDN /var/www/html"

$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
        $RSYNC_CMD
    fi
done

[root@localhost opt]# chmod 755 inotify.sh 
[root@localhost opt]# chmod 777 /var/www/html/
[root@localhost opt]# chmod +x inotify.sh 
[root@localhost opt]# ./inotify.sh

验证

第三个客户端
[root@localhost ~]# inotifywait -mrq -e modify,create,move,delete  /var/www/html
# modify 修改，create 创建，move 移动， delete 删除
/var/www/html/ DELETE DEMAXIYA.txt
/var/www/html/ CREATE DEMAXIYA.txt
/var/www/html/ MODIFY DEMAXIYA.txt

[root@localhost html]# rm -rf *
[root@localhost html]# echo "123456" >DEMAXIYA.txt

[root@localhost html]# ls
DEMAXIYA.txt