第36天集群架构-实时监控同步

备份服务方案( 利用实时复制方式,实现实时备份数据等重要信息)

第36天集群架构-实时监控同步_第1张图片
第36天集群架构-实时监控同步_第2张图片

2.1、实时复制细节实现说明

 1)实时复制软件会监控文件系统的变化,比如:指定一个/data目录,实时复制服务软件进程会实时监控/data目录中数据的变化,即文件系统block和inode信息的变化
 2)一旦/data目录发生变化,就会执行rsync命令,将变化的数据信息推送到备份服务器相应的备份目录中,从而完成数据的实时备份

2.2、实时复制软件介绍

第36天集群架构-实时监控同步_第3张图片

2.21实时复制inotify机制介绍

第36天集群架构-实时监控同步_第4张图片

inotify优点和缺点

优点:监控文件系统事件变化,通过复制工具实现实时复制,支持多线程实时复制
缺点:实测并发如果大于200个文件(10-100k),复制就会有延迟

第一步、配置密码文件

echo "export RSYNC_PASSWORD=oldboy" >>/etc/bashrc
echo $RSYNC_PASSWORD
. /etc/bashrc
tail -1 /etc/bashrc

第二步、推送测试

rsync -avz /data [email protected]::backup

第三步、显示这三个文件证明系统支持inotify

第36天集群架构-实时监控同步_第5张图片
第36天集群架构-实时监控同步_第6张图片

第四步、安装inotify软件

第36天集群架构-实时监控同步_第7张图片
第36天集群架构-实时监控同步_第8张图片

inotify-tools工具主要命令

 在inotify部署完毕后,主要应用两个命令实现数据信息的监控,
 inotifywait命令实现对数据变化事件的监控
 (重点)inotifywait:在被监控的目录等待特定文件系统事件(open、close、delete等)发生,执行后处于阻塞状态,适合在shell脚本中使用
 inotifywatch命令实现对数据信息统计。
  inotifywatch:收集被监控的文件系统使用的统计数据,指文件系统发生的次数统计。

inotifywait命令参数

第36天集群架构-实时监控同步_第9张图片
第36天集群架构-实时监控同步_第10张图片
第36天集群架构-实时监控同步_第11张图片

第五步、测试实践

 inotifywait -mrq --timefmt '%d%m%y %H:%M' --format '%T %w%f' -e delete /data
 inotifywait -mrq --timefmt '%d%m%y %H:%M' --format '%T %w%f' -e create,delete,close_write /data

第36天集群架构-实时监控同步_第12张图片

第六步、定时任务

第一种方法(建议第一种)

第36天集群架构-实时监控同步_第13张图片

第二种方法

第36天集群架构-实时监控同步_第14张图片

测试定时任务

第七步、实现开机自启实时监控

第36天集群架构-实时监控同步_第15张图片

第八步、inotify软件优化

第36天集群架构-实时监控同步_第16张图片

2.22、sersync实时复制方案

第36天集群架构-实时监控同步_第17张图片

第一步、推送测试

第36天集群架构-实时监控同步_第18张图片

第二步、部署sersync服务

第36天集群架构-实时监控同步_第19张图片
第36天集群架构-实时监控同步_第20张图片

第三步、sersync配置文件

1)完成监控配置
inotify -mrq --format "%w%f" -e close_write,delete,moveFrom,moveTo /data
2)完整命令拼接,推送给备份服务器
rsync -az /data --timeout=100 rsync_backup@::backup

第36天集群架构-实时监控同步_第21张图片

第四步、启动服务

 二进制程序,不是yum安装的,所以不能systemctl start sersync

第36天集群架构-实时监控同步_第22张图片
第36天集群架构-实时监控同步_第23张图片

第五步、设置开机自启

第36天集群架构-实时监控同步_第24张图片
第36天集群架构-实时监控同步_第25张图片

你可能感兴趣的:(第36天集群架构-实时监控同步)