Day35-Linux-sersync

1、什么是实时同步

监控一个目录的变化，当触发事件时（创建，删除，修改等）就执行动作，这个动作可以是rsync同步，也可以是其他

2、为什么要实时同步

1. 能解决nfs单点故障的问题

2. 能够让本地快速切换至云端

3、实时同步的原理

借助一个通知接口，inntift.inotif监控本地主机的事件（创建，删除，修改等）

4、实时同步的场景

1.能解决nfs单点故障的问题

2. 能够快速的从本地切换至云端

5、实时同步选择的工具

1.inotify + rsync 实现，写脚本来实现监控，放在后台 screen
2.sersync 实时同步
https://github.com/wsgzao/sersync

6、实时同步案例演示

规划

服务器	ip地址	安装服务
web	10.0.0.7—172.16.1.7	http，php
nfs	10.0.0.31—172.16.1.31	nfs-server inotify rsync sersync
backup	10.0.0.41—172.16.1.41	rsync-server nfs-server

1）、实现web长传视频，自动存储在NFS

NFS服务端
1.安装nfs
    [root@nfs ~]# yum install nfs-utils -y

    2.配置
    [root@nfs ~]# cat /etc/exports
    /data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)

    3.根据配置初始化环境
    [root@nfs ~]# groupadd -g 666 www
    [root@nfs ~]# useradd -u666 -g666 www
    [root@nfs ~]# mkdir /data
    [root@nfs ~]# chown -R www.www /data/

    4.重新启动nfs服务
    [root@nfs ~]# systemctl restart nfs-server
    [root@nfs ~]# systemctl enable  nfs-server

WEB服务端操作:       10.0.0.7  172.16.1.7
    1.安装httpd php
    [root@web01 ~]# yum install httpd php -y

    2.配置httpd php
    
    3.启动httpd
    [root@web01 ~]# systemctl start httpd
    
    4.模拟测试
    [root@web01 ~]# echo "Oldboy Edu.com" > /var/www/html/index.html    (可以不测试)


 WEB进行挂载,上传代码:
    [root@web01 ~]# mount -t nfs 172.16.1.31:/data /var/www/html/
    [root@web01 ~]# cd /var/www/html
    [root@web01 ~]# rz kaoshi.zip
    [root@web01 ~]# unzip kaoshi.zip

 用户通过前端的web页面上传视频
    如果上传出现错误:请检查日志
    [root@web01 html]# tail -f /var/log/httpd/error_log

2）当NFS的目录发生变化,则触发同步? (实时同步)

1.怎么监控/data? inotify
2.同步给谁rsync ---> backup服务器 [backup模块] [data模块]

rsync服务     10.0.0.41 172.16.1.41
1.安装rsync
    [root@backup ~]# yum install rsync -y
    
2.配置rsync
    [root@backup ~]# cat /etc/rsyncd.conf
    uid = rsync
    gid = rsync
    port = 873
    fake super = yes
    use chroot = no
    max connections = 200
    timeout = 600
    ignore errors
    read only = false
    list = false
    auth users = rsync_backup
    secrets file = /etc/rsync.passwd
    log file = /var/log/rsyncd.log
    #############################
    [backup]
    comment = welcome to oldboyedu backup!
    path = /backup
    [data]
    path = /data
    
3.根据rsync配置初始化环境
    [root@backup ~]# useradd -M -s /sbin/nologin rsync
    [root@backup ~]# echo "rsync_backup:123456" > /etc/rsync.passwd
    [root@backup ~]# chmod 600 /etc/rsync.passwd
    [root@backup ~]# mkdir /backup /data -p 
    [root@backup ~]# chown -R rsync.rsync /backup/ /data/

4.启动rsync
    [root@backup ~]# systemctl restart rsyncd 
    [root@backup ~]# systemctl enable rsyncd

3）nfs服务配置 10.0.0.31 172.16.1.31

1.安装rsync inotify
    [root@nfs ~]# yum install rsync inotify-tools -y

2.安装sersync  ( rsync inotify )
    [root@nfs ~]# wget https://github.com/wsgzao/sersync/raw/master/sersync2.5.4_64bit_binary_stable_final.tar.gz
    [root@nfs ~]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz -C /usr/local/
   
    [root@nfs ~]# mv /usr/local/GNU-Linux-x86/ /usr/local/sersync
3.配置相关文件（具体配置按照3.3）
  [root@nfs/usr/local/rersync]# vim confxml.xml    
4.查看文件类型    
    [root@nfs ~]# file /usr/local/sersync/confxml.xml   
    
    [root@nfs ~]# echo "123456" > /etc/rsync.pass
    [root@nfs ~]# chmod 600 /etc/rsync.pass
    
3.启动sersync
    [root@nfs ~]# /usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml
    
4.建议: 手动执行该命令测试是否ok,这样方便排查问题
    [root@nfs ~]# cd /data && rsync -avz -R --delete ./  --timeout=100 [email protected]::data --password-file=/etc/rsync.pass

3.3 usr/local/rersync/confxml.xml 根据相关需求进行配置

[root@nfs-31/usr/local/rersync]#  vim confxml.xml
  5       <-- 文件系统 -->
  6       <-- 排除不想同步的文件-->
  7         
  8         
  9         
 10         
 11     

 12      <-- 监控的事件类型 -->
 13         
 14         
 15         
 16         
 17         
 18         
 19         
 20         
 21     
 
 23     
 24          <-- 监控的目录 -->
 25               <-- backup的IP以及模块 -->
 28         
 
 29          <-- rsync的选项 -->
 30             
 31             
 32             
 33             
 34             
 35         
     <-- 每60分钟执行一次同步-->
  36      <--def
    ault every 60mins execute once-->

---

---

---

---

---

---

7.模拟NFS故障, web可以快速的切换到backup的NFS服务上?

1.backup的权限是否和NFS的权限一致?
2.backup上是否配置NFS服务?  是否共享了/data目录?
3.模拟NFS故障,实现切换?

---

解决方案

1.backup的权限是否和NFS的权限一致? 10.0.0.41 172.16.1.41

1修改如下内容:
    [root@backup ~]# vim /etc/rsyncd.conf   
    uid = www
    gid = www
    .....

    创建用户
    [root@backup ~]# groupadd -g 666 www
    [root@backup ~]# useradd -g666 -u666 www

    修改权限
    [root@backup ~]# chown -R www.www /data/ /backup/

    重启服务
    [root@backup ~]# systemctl restart rsyncd


2.backup服务器上是否配置NFS服务?  是否共享了/data目录?   
    
    安装NFS
    [root@backup ~]# yum install nfs-utils -y
    
    配置NFS
    [root@backup ~]# cat /etc/exports
    /data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
    [root@backup ~]# chown -R www.www /data/
    
    启动NFS
    [root@backup ~]# systemctl enable nfs-server
    [root@backup ~]# systemctl start nfs-server
    
    
3.模拟NFS故障,实现切换?
    [root@web01 ~]# umount -lf /var/www/html && mount -t nfs 172.16.1.41:/data /var/www/html

基于sersync海量文件实时同步