day33 实时同步

实时同步原理

什么是实时同步

监控一个目录的变化, 当该目录触发事件(创建\删除\修改)
就执行动作, 这个动作可以是 rsync同步 ,也可以是其他.

为什么要实时同步

1.能解决nfs单点故障问题. (没什么意义) glusterfs
2.能够让本地快速切换至云端. (随时都需要留一个后手)

实时同步的原理

借助一个通知接口, inotify. inotify监控本地主机的事件(创建\删除\修改),
则通知执行动作 这个动作可以是 rsync同步

实时同步的场景

2.能够让本地快速切换至云端

实时同步工具选择

1.inotify+rsync实现 写脚本来实现监控 放在后台 screen
a.脚本 (不适合)
b.同步
2.sersync实时同步 (适合)
3.lsyncd

实现web上传视频,自动存储至NFS?

NFS服务端: 10.0.0.31 172.16.1.31

1.安装nfs

[root@nfs ~]# yum install nfs-utils -y

2.配置

[root@nfs ~]# cat /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)

3.根据配置初始化环境

[root@nfs ~]# groupadd -g 666 www
[root@nfs ~]# useradd -u666 -g666 www
[root@nfs ~]# mkdir /data
[root@nfs ~]# chown -R www.www /data/

4.重新启动nfs服务

[root@nfs ~]# systemctl restart nfs-server
[root@nfs ~]# systemctl enable  nfs-server

WEB服务端操作: 10.0.0.7 172.16.1.7

1.安装httpd php

[root@web01 ~]# yum install httpd php -y

2.配置httpd php

3.启动httpd

[root@web01 ~]# systemctl start httpd

4.模拟测试

[root@web01 ~]# echo "Oldboy Edu.com" > /var/www/html/index.html    (可以不测试)

WEB进行挂载,上传代码:

[root@web01 ~]# mount -t nfs 172.16.1.31:/data /var/www/html/
[root@web01 ~]# cd /var/www/html
[root@web01 ~]# rz kaoshi.zip
[root@web01 ~]# unzip kaoshi.zip

注：：：：用户通过前端的web页面上传视频

如果上传出现错误:请检查日志
[root@web01 html]# tail -f /var/log/httpd/error_log

当NFS的目录发生变化,则触发同步? (实时同步)

1.怎么监控/data? inotify
2.同步给谁rsync ---> backup服务器 [backup模块] [data模块]

Ⅰ.rsync服务

1.安装rsync

[root@backup ~]# yum install rsync -y

2.配置rsync

[root@backup ~]# cat /etc/rsyncd.conf
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################

[backup]                          #添加模块
comment = welcome to oldboyedu backup!      #注释
path = /backup                   #添加模块对应目录

[data]                            #添加模块
path = /data                     #添加模块对应目录

3.根据rsync配置初始化环境

[root@backup ~]# useradd -M -s /sbin/nologin rsync                #创建用户
[root@backup ~]# echo "rsync_backup:123456" > /etc/rsync.passwd   #创建密码文件
[root@backup ~]# chmod 600 /etc/rsync.passwd                     #密码文件授权
[root@backup ~]# mkdir /backup /data -p                         #创建模块对应目录
[root@backup ~]# chown -R rsync.rsync /backup/ /data/          #模块对应目录授权

4.启动rsync

[root@backup ~]# systemctl restart rsyncd 
[root@backup ~]# systemctl enable rsyncd

Ⅱ.nfs服务配置 10.0.0.31 172.16.1.31

1.安装rsync inotify

[root@nfs ~]# yum install rsync inotify-tools -y

2.安装sersync (绿色安装包，解压即可)

#下载sersync源码包
[root@nfs ~]# wget https://github.com/wsgzao/sersync/raw/master/sersync2.5.4_64bit_binary_stable_final.tar.gz
#解压源码包到指定目录 
[root@nfs ~]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz -C /usr/local/
#目录重命名  
[root@nfs ~]# mv /usr/local/GNU-Linux-x86/ /usr/local/sersync
#查看文本类型
[root@nfs ~]# file /usr/local/sersync/confxml.xml
#写入密码文件 
[root@nfs ~]# echo "123456" > /etc/rsync.password
#密码文件授权 
[root@nfs ~]# chmod 600 /etc/rsync.password

3.修改配置文件

[root@nfs01 sersync]# vim confxml.xml
  5       
  6       
  7         
  8         
  9         
 10         
 11     
 12      
 13         
 14         
 15         
 16         
 17         
 18         
 19         
 20         
 21     
 23     
 24          
 25               
 28         
 29          
 30             
 31             
 32             
 33             
 34             
 35         
            
  36         

QQ图片20190910163008.png

4.启动sersync

[root@nfs ~]# /usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml

5..建议: 手动执行该命令测试是否ok,这样方便排查问题

[root@nfs ~]# cd /data && rsync -avz -R --delete ./  --timeout=100 [email protected]::data --password-file=/etc/rsync.password

模拟NFS故障, web可以快速的切换到backup的NFS服务上?

1.backup的权限是否和NFS的权限一致?
2.backup上是否配置NFS服务? 是否共享了/data目录?
3.模拟NFS故障,实现切换?

1.backup的权限是否和NFS的权限一致?

10.0.0.41 172.16.1.41
修改如下内容:

[root@backup ~]# vim /etc/rsyncd.conf   
uid = www
gid = www

创建用户

[root@backup ~]# groupadd -g 666 www
[root@backup ~]# useradd -g666 -u666 www

修改权限

[root@backup ~]# chown -R www.www /data/ /backup/

重启服务

[root@backup ~]# systemctl restart rsyncd

2.backup服务器上是否配置NFS服务? 是否共享了/data目录?

安装NFS

[root@backup ~]# yum install nfs-utils -y

配置NFS

[root@backup ~]# cat /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
[root@backup ~]# chown -R www.www /data/

启动NFS

[root@backup ~]# systemctl enable nfs-server
[root@backup ~]# systemctl start nfs-server

3.模拟NFS故障,实现切换?

[root@web01 ~]# umount -lf /var/www/html && mount -t nfs 172.16.1.41:/data /var/www/html

https://www.cnblogs.com/xuliangwei/p/10245289.html
S: 项目背景: *******
T: 项目任务: *******
A: 项目实施: *******
R: 产生价值: *******

S: 故障时间: *******
T: 故障分析: *******
A: 如何解决: *******
R: 结果: *******