rsync+inotify部署
文章目录
- 一.rsync
-
- 1.rsync简介
- 2.rsync服务器
- 3.同步方式
- 4.rsync命令
- 5.配置源的两种方法
- 二.本地复制操作（下行复制）
-
- 1.master:192.168.68.200
- 2.client:192.168.68.30
- 三.inotify介绍
- 四.resync+inotify实施同步操作
-
- 1.master:192.168.68.200
- 2.client:192.168.68.30
- 3.master:192.168.68.200验证
- 4.client:192.168.68.30
- 5.master:192.168.68.200
一.rsync
1.rsync简介
一款快速增量备份工具
- Remote Sync，远程同步
- 支持本地复制，或者与其他SSH、rsync主机同步
- 官方网站：https://rsync.samba.org/
2.rsync服务器
- rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息，实现数据的备份迁移特性。
- rsync软件适用于unix/linux/windows等多种操作系统平台
- rsync是一个快速和非常同样的文件复制工具。它能本能复制，远程复制，或者远程守护进程方式复制，它提供了大量的参数来控制其行为的各个方面，并且允许非常灵活的方式来实现文件的传输复制
- 以其delta-transfer算法闻名。
- rsync监听端口：873
- rsync运行模式：C/S
3.同步方式
- 全量备份
- 原有的数据全部传送
- 把原来的文件和新的文件一起统一传送
- 全量复制，效率低
- 增量备份
- 在传输数据之前通过一些算法通过你有的数据和我有的数据进行对比，把不一样的数据通过网络传输
- 增量复制，效率高
A服务器同步B服务器的数据，B服务器就是备份源
反过来，B服务器同步A服务器的数据，那么A服务器就是备份源
4.rsync命令
rsync [选项] 原始位置 目标位置
| 常用选项 | 说明 |
|---|---|
| -r | 递归模式，包含目录及子目录中的所有文件 |
| -l | 对于符号链接文件仍然复制为符号链接文件 |
| -v | 显示同步过程的详细信息 |
| -z | 在传输文件时进行压缩 |
| -a | 归档模式，递归并保留对象属性，等同于-rlptgoD |
| -p | 保留文件的权限标记 |
| -t | 保留文件的时间标记 |
| -g | 保留文件的属组标记（仅超级用户使用） |
| -o | 保留文件的属主标记（仅超级用户使用） |
| -H | 保留硬链接文件 |
| -A | 保留ACL属性信息 |
| -D | 保留设备文件及其他特殊文件 |
| - -delete | 删除目标位置有而原始位置没有的文件 |
| - -checksum | 根据对象的校验和来决定是否跳过文件 |
5.配置源的两种方法
格式一： 用户名@主机地址::共享模块名
格式二： rsync://用户名@主机地址/共享模块名
二.本地复制操作（下行复制）
rsync:192.168.68.200
client:192.168.68.30
1.master:192.168.68.200
[root@master ~]# systemctl stop firewalld
[root@master ~]# setenforce 0
[root@master ~]# rpm -q rsync
rsync-3.0.9-18.el7.x86_64
[root@master ~]# yum install -y httpd rsync
[root@master ~]# vim /etc/rsyncd.conf
uid = nobody
gid = nobody
use chroot = yes
address = 192.168.68.200
port 873
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
hosts allow = 192.168.68.0/24
[oyyy]
path = /var/www/html
comment = Document Root of www.oyyy.com
read only = yes
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z
auth users = tan
secrets file = /etc/rsyncd_users.db
[root@master html]# vim /etc/rsyncd_users.db
tan:123123
:wq
[root@master ~]# chmod 600 /etc/rsyncd_users.db
[root@master ~]# rsync --daemon
[root@master ~]# netstat -natp |grep rsync
tcp 0 0 192.168.68.200:873 0.0.0.0:* LISTEN 30618/rsync
[root@master ~]# cd /var/www/html/
[root@master html]# touch a.html b.html
2.client:192.168.68.30
[root@slave1 ~]# systemctl stop firewalld
[root@slave1 ~]# setenforce 0
[root@slave1 ~]# yum install -y rsync
[root@slave1 ~]# cd /opt/
[root@slave1 opt]# mkdir yibo
[root@slave1 opt]# chmod 777 yibo
[root@slave1 opt]# vim /etc/server.pass
[root@slave1 opt]# chmod 600 /etc/server.pass
[root@slave1 opt]# rsync -az --delete --password-file=/etc/server.pass [email protected]::oyyy /opt/yibo/
##rsync使用oyyy用户，密钥文件/etc/server.pass将192.168.68.200的共享模块文件进行压缩，归档同步至当前服务器的/opt/yibo 目录下并删除差异内容
[root@slave1 opt]# ls yibo/
a.html b.html ##查看yibo目录，下行同步成功
三.inotify介绍
inotify是一种文件系统的变化通知机制。 如文件增加、删除等事件可以立刻让用户态得知 。
利用这一机制，可以非常方便地实现文件异动告警、增量备份，并针对目录或文件的变化及时作出响应。
将inotify机制与rsync相结合，可以实现触发式备份（实时同步)，即只要原始位置的文档发生变化，则立即启动增量备份操作;否则处于静默等待状态。这样，就避免了按固定周期备份时存在的延迟性、周期过密等问题。
| inotifywait常用选项 | 说明 |
|---|---|
| -e | 用来指定要监控哪些事情 |
| -m | 表示持续监控 |
| -r | 表示递归整个目录 |
| -q | 简化输出信息 |
四.resync+inotify实施同步操作
1.master:192.168.68.200
[root@master ~]# vim /etc/rsyncd.conf
uid = nobody
gid = nobody
use chroot = yes
address = 192.168.68.200
port 873
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
hosts allow = 192.168.68.0/24
[oyyy]
path = /var/www/html
comment = Document Root of www.oyyy.com
read only = no ##yes修改为no
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z
auth users = tan
secrets file = /etc/rsyncd_users.db
[root@master ~]# vim /etc/rsyncd.conf
[root@master ~]# kill `cat /var/run/rsyncd.pid`
[root@master ~]# netstat -natp |grep rsync
[root@master ~]# rsync --daemon
[root@master ~]# netstat -natp |grep rsync
tcp 0 0 192.168.68.200:873 0.0.0.0:* LISTEN 31606/rsync
[root@master ~]# chmod 777 /var/www/html/
2.client:192.168.68.30
[root@slave1 opt]# cat /proc/sys/fs/inotify/max_queued_events
16384
[root@slave1 opt]# cat /proc/sys/fs/inotify/max_user_instances
128
[root@slave1 opt]# cat /proc/sys/fs/inotify/max_user_watches
8192
[root@slave1 opt]# vim /etc/sysctl.conf ##优化inotify内核参数
fs.inotify.max_queued_events = 32768
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576
##加大三个参数的值
[root@slave1 opt]# sysctl -p ##加载内容参数配置文件
fs.inotify.max_queued_events = 32768
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576
[root@slave1 opt]# yum install -y gcc gcc-c++
[root@slave1 opt]# rz -E
rz waiting to receive.
[root@slave1 opt]# tar zxf inotify-tools-3.14.tar.gz
[root@slave1 opt]# cd inotify-tools-3.14/
[root@slave1 inotify-tools-3.14]# ./configure
[root@slave1 inotify-tools-3.14]# make && make install -j4
[root@slave1 opt]# vim /opt/inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /opt/yibo/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /opt/yibo [email protected]::oyyy"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
if [ $(pgrep rsync | wc -l) -le 0 ] ; then
$RSYNC_CMD
fi
done
[root@slave1 opt]# chmod +x inotify.sh
[root@slave1 opt]# ./inotify.sh &
[root@slave1 opt]# cd yibo/
[root@slave1 yibo]# ls
a.html b.html
[root@slave1 yibo]# touch c.html
[root@slave1 yibo]# ls
a.html b.html c.html
[root@slave1 yibo]# rm -rf a.html
[root@slave1 yibo]# ls
b.html c.html
3.master:192.168.68.200验证
[root@master ~]# cd /var/www/html/yibo/
b.html c.html
之前slave同步时会出现报错，是因为是以匿名用户身份登陆的
[root@master yibo]# vim /etc/rsyncd.conf
uid = root ##改为root
gid = root
use chroot = yes
address = 192.168.68.200
port 873
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
hosts allow = 192.168.68.0/24
[oyyy]
path = /var/www/html
comment = Document Root of www.oyyy.com
read only = no
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z
auth users = tan
secrets file = /etc/rsyncd_users.db
[root@master yibo]# kill `cat /var/run/rsyncd.pid`
[root@master yibo]# rsync --daemon
[root@master yibo]# ls
b.html c.html
4.client:192.168.68.30
5.master:192.168.68.200
