DAY32
rsync 复制软件应用和实践
1、什么是rsync
Remote synchronization
开源的，高速的，数据复制（copy）的工具
2、作用
工作中需要定时/实时数据备份，不同机器不同机房之间
的数据备份这些都可以用rsync来完成
3、rsync的功能
全量复制和增量复制
cp属于全量 不管变什么怎么变 全复制
增量复制
只复制有变化的（减少需要有参数）
增量复制原理
使用 quick check算法 只对增量的部分进行复制
根据大小属性的变化进行复制
2.x对比差异后复制 3.x一边对比一边复制
rsync 3种工作模式
1、本地 local
rsync就是一个命令
a.把数据从一个地方复制到另一个地方 相当于cp
b.通过加参数可以实现删除的功能 想当于rm
c.查看属性信息的功能 相当于ls
实践：
[root@backup ~]# rsync /etc/hosts /opt
[root@backup ~]# ls /opt
hosts
保持属性 -zrtopg 除了inode都一样
2、远程shell模式
借助累次ssh这种隧道来传输数据 适合不同的机器
pull 拉：从远端到本地
用户@主机地址：源路径 本地
push 推：从本地到远端
本地 用户@主机地址：源路径
null和null/的区别 null是目录和目录下的内容
null/只是目录下的内容不包含自身
3、守护进程模式
首先搭建服务端（要有守护进程） 然后才能在客户端实现推拉
rsync命令参数
-avz 或者-vzrtopgDl
rsync 守护进程模式应用实践
cat >/etc/rsyncd.conf< #rsync_config_______________start #created by oldboy #site: http://www.oldboyedu.com uid = rsync 管理备份目录的用户 gid = rsync 管理备份目录的用户组 use chroot = no 安全功能，数据是否锁定到备份目录 max connections = 200 并发连接 最大连接数 timeout = 600 超时时间 pid file = /var/run/rsyncd.pid 进程号所在文件 lock file = /var/run/rsync.lock 锁文件 log file = /var/log/rsyncd.log 日志文件 查看报错等 ignore errors 忽略错误 read only = false 不是紧紧只读 可写 list = false 不允许列表 hosts allow = 172.16.1.0/24 允许连接的主机 hosts deny = 0.0.0.0/32 拒绝连接的主机 工作中二选一 auth users = rsync_backup 远程虚拟连接用户 secrets file = /etc/rsync.password 密码文件 格式 用户名：密码 权限600 [backup] [模块] 远程访问使用模块名访问 comment = welcome to oldboyedu backup! 说明注释 path = /backup/ 服务端用于备份的目录 rsync.rsync EOF man rsyncd.cong 查看配置文件参数 配置密码文件 [root@backup ~]# echo "rsync_backup:oldboy" > /etc/rsync.password [root@backup ~]# chmod 600 /etc/rsync.password [root@backup ~]# cat /etc/rsync.password rsync_backup:oldboy [root@backup ~]# ls -l /etc/rsync.password -rw------- 1 root root 20 4月 15 11:51 /etc/rsync.password 启动和检查rsync rsync --demon systemctl start rsyncd 7 特有 配置客户端 方法1：认证密码文件 [root@nfs01 ~]# echo "oldboy" > /etc/rsync.password [root@nfs01 ~]# chmod 600 /etc/rsync.password [root@nfs01 ~]# cat /etc/rsync.password oldboy [root@nfs01 ~]# ls -l /etc/rsync.password -rw------- 1 root root 7 4月 15 11:55 /etc/rsync.password 方法2： [root@nfs01 ~]# echo ' export RSYNC_PASSWORD=oldboy' >>/etc/bashrc [root@nfs01 ~]# tail -1 /etc/bashrc export RSYNC_PASSWORD=oldboy [root@nfs01 ~]# . /etc/bashrc [root@nfs01 ~]# echo $RSYNC_PASSWORD oldboy 守护进程模式 rsync语法 配置服务器端守护进程 实现数据传送 服务器端守护进程 客户端使用命令 拉 rsync 参数 [虚拟用户]@主机地址::模块名 本地路径 rsync 参数 rsync://p[虚拟用户]@主机地址/[模块名] 推反过来 实践排除复制： NFS01: [root@nfs01 ~]# mkdir /data -p [root@nfs01 ~]# cd /data [root@nfs01 /data]# touch {a..d} [root@nfs01 /data]# ls a b c d --exclude 排除参数 例：排除 a b [root@nfs01 /data]# rsync -avz /data/ --exclude=a --exclude=b [email protected]::backup sending incremental file list ./ c d 排除1到4 [root@nfs01 /data]# touch {1..5} [root@nfs01 /data]# rsync -avz /data/ --exclude={1..4} [email protected]::backup sending incremental file list ./ 5 a b [root@nfs01 /data]# rsync -avz /data/ --exclude={1,3,a} [email protected]::backup sending incremental file list 2 4 --exclude-from 从文件排除 [root@nfs01 /data]# rsync -avz /data/ --exclude-from=./paichu.txt [email protected]::backup sending incremental file list ./ 16 17 18 19 20 paichu.txt 实践删除： rsync作为镜像，相当于raid1，让两台服务器目录保持一致。 --delete 让两台服务器目录保持一致 推送： rsync -avz --delete /data/ [email protected]::backup 本地目录有啥，远端就有啥。 注意：远端目录是不是东西更多，多了东西会被删除。提前备份backup对应的目录。 rsync -avz --delete [email protected]::backup /data/ 远端有啥。本地目录就有啥，注意本地/data目录。把/data改成根。提前注意备份本地/data --partial 支持大文件断点续传 --bwlimit=KBPS 限速。 企业案例： 某上市公司，白天高峰期某DBA人员从数据库服务器通过rsync将上百GB数据复制到备份服务器，导致数据库库服务器带宽占满，造成用户无法访问网站的悲剧。其实可以利用rsync限速功能，将复制速度限制在剩余带宽的1/3或者1/2，可能就不会出现故障了 1）最简单的实现，可以在配置文件结尾加如下内容（特殊底纹部分）： [root@backup ~]# cat /etc/rsyncd.conf #rsync_config_______________start #created by oldboy #site: http://www.oldboyedu.com uid = rsync gid = rsync use chroot = no fake super = yes max connections = 200 timeout = 600 pid file = /var/run/rsyncd.pid lock file = /var/run/rsync.lock log file = /var/log/rsyncd.log ignore errors read only = false list = false hosts allow = 172.16.1.0/24 hosts deny = 0.0.0.0/32 auth users = rsync_backup secrets file = /etc/rsync.password [backup] comment = welcome to oldboyedu backup. path = /backup/ [data] #<==新模块。 path = /data/ #<==新备份目录。 #除了增加以上两行外，读者也可以设定更多的独立配置参数，例如：独立虚拟用户，独立密码文件等。 2）建立目录并授权。 [root@backup ~]# mkdir -p /data [root@backup ~]# chown -R rsync.rsync /data [root@backup ~]# ls -ld /data drwxr-xr-x 2 rsync rsync 6 4月 16 10:04 /data 3）重启rsync服务（只要修改配置，就考虑重载服务） [root@backup ~]# systemctl restart rsyncd 4）从客户端访问测试 [root@backup ~]# ls /data etc 1、内部人员产生的数据（定时备份足矣）： 程序员开发代码（他电脑上）==>代码服务上（git/svn代码版本管理）==>测试环境测试===>正式环境 原则上程序代码可以不备份。 运维人员，写个定时任务，写个备份脚本，更改或增加服务配置rsyncd.conf，需要备份 运维人员修改配置（测试服务器）==>代码服务器上（git/svn代码版本管理）==>测试环境测试===>正式环境 原则上运维人员的变更可以不备份。 2、用户产生的数据（必须实时备份） 图片、视频等文件是放在存储服务器上的，任意时刻都可能传上来，必须实时备份。 文本（博客文章），放在数据库里，，任意时刻都可能发布，必须实时备份。 第一个里程碑： 41搭建好rsync服务，并在31、7上测试成功。 第二个里程碑 开发脚本打包备份 /backup 备份目录 /var/spool/cron/root /etc/rc.local /server/scripts /var/html/www /app/logs 需要备份的内容 模拟创建: [root@nfs01 ~]# mkdir -p /server/scripts [root@web01 ~]# mkdir -p /server/scripts /var/html/www /app/logs web01: [root@web01 ~]# mkdir -p /backup [root@web01 ~]# ls -ld /backup/ drwxr-xr-x 2 root root 6 4月 16 11:36 /backup/ [root@web01 /]# tar zcvhf /backup/bak_$(date +%F_%w).tar.gz /var/spool/cron/root /etc/rc.local /server/scripts /var/html/www /app/logs tar: 从成员名中删除开头的“/” /var/spool/cron/root /etc/rc.local /server/scripts/ /var/html/www/ /app/logs/ [root@web01 /]# ls /backup/ bak_2019-04-16_2.tar.gz 写脚本： [root@web01 /]# mkdir /server/scripts/ -p [root@web01 /]# cd /server/scripts/ [root@web01 /server/scripts]# cat /server/scripts/bak.sh [root@web01 /server/scripts]# cat bak.sh #!/bin/sh export PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin" export RSYNC_PASSWORD=oldboy IP=$(hostname -i) mkdir -p /backup/$IP #1.打包 tar zchf /backup/$IP/bak_$(date +%F_%w).tar.gz /var/spool/cron/root /etc/rc.local /server/scripts /var/html/www /app/logs &>/dev/null &&\ #2.删除 find /backup/ -type f -name "*.tar.gz" -mtime +7|xargs rm -f &&\ #3.推送 rsync -az /backup/ [email protected]::backup &>/dev/null [root@web01 /server/scripts]# /bin/sh /server/scripts/bak.sh [root@web01 /server/scripts]# ls /backup/ bak_2019-04-16_2.tar.gz 定时任务： [root@web01 /server/scripts]# crontab -e [root@web01 /server/scripts]# crontab -l|tail -2 ######back..... 00 00 * * * /bin/sh /server/scripts/bak.sh >/dev/null 2>&1 [root@web01 /server/scripts]# find /backup/ -type f -name "*.tar.gz" -mtime +7|xargs rm -f 确保备份完整。 做flag和采集指纹 [root@nfs01 /server/scripts]# #采集人的指纹 [root@nfs01 /server/scripts]# md5sum oldboy.txt >zhiwen.log [root@nfs01 /server/scripts]# cat zhiwen.log 348bd3ce10ec00ecc29d31ec97cd5839 oldboy.txt [root@nfs01 /server/scripts]# #校验 [root@nfs01 /server/scripts]# md5sum -c zhiwen.log oldboy.txt: 确定 [root@web01 /server/scripts]# cat bak.sh #!/bin/sh export PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin" export RSYNC_PASSWORD=oldboy IP=$(hostname -i) mkdir -p /backup/$IP #1.打包 tar zchf /backup/$IP/bak_${IP}_$(date +%F_%w).tar.gz /var/spool/cron/root /etc/rc.local /server/scripts /var/html/www /app/logs &>/dev/null &&\ touch /backup/$IP/bak_${IP}_$(date +%F_%w).flag &&\ #采集指纹 find /backup/ -type f -name "*.tar.gz"|xargs md5sum >/backup/$IP/bak_${IP}_$(date +%F_%w).flag &&\ #2.删除 find /backup/ -type f -name "*.tar.gz" -mtime +7|xargs rm -f &&\ #3.推送 rsync -az /backup/ [email protected]::backup &>/dev/null bak_172.16.1.7_2019-04-16_2.tar.gz bak_172.16.1.7_2019-04-17_3.tar.gz bak_172.16.1.7_2019-04-18_4.tar.gz bak_172.16.1.7_2019-04-16_2.tar.gz 1、什么是NFS？ 全称 network file system 网络文件系统 通过网络存储和组织文件的一种方法或机制。 什么是文件系统？ 2、为什么要用共享存储？ 前端所有的应用服务器接收到用户上传的图片、文件、视频，都会统一 的放到后端的存储上。 为什么要共享？所有节点服务器都需要将内容存到存储上，取的统一来取。 3、共享存储的种类 单点存储系统就是NFS，中小型企业，阿里云服务的NAS服务，OSS对象存储。 NFS性能不太高。 大型企业会用分布式存储FastDFS、Ceph、GlsterFS、Mfs 大型存储厂商：EMC、Netapp 几十万。 艺龙旅行网 存储用的EMC 传统企业。 硬件存储：传统企业：稳定、2台 双主机头 几十块硬盘 RAID10。 BAT 曾经用硬件，超贵、 阿里云 去IOE Ibm Orace EMC 4、NFS工作原理 NFS网络文件系统 启动NFS服务，而且还有启动很多端口。 NFS功能，需要很多服务。每个服务都有端口，而且经常变化。 如何让客户端找到这些端口呢？就需要一个经纪人（rpc服务） NFS服务： 1、NFS服务（有很多进程和端口），把自己的端口告诉RPC。 2、RPC服务（对外固定端口111） 客户端请求NFS服务，先找RPC 111，查到NFS的端口，发给客户。 原理见图： 5、安装 服务器端和客户端都要安装： yum install nfs-utils rpcbind -y rpm -qa nfs-utils rpcbind [root@nfs01 ~]# rpm -qa nfs-utils rpcbind nfs-utils-1.3.0-0.61.el7.x86_64 rpcbind-0.2.0-47.el7.x86_64 启动RPC [root@nfs01 ~]# systemctl start rpcbind.service [root@nfs01 ~]# systemctl enable rpcbind.service 看看有没有注册的端口 [root@nfs01 ~]# rpcinfo -p 127.0.0.1 program vers proto port service 100000 4 tcp 111 portmapper 100000 3 tcp 111 portmapper 100000 2 tcp 111 portmapper 100000 4 udp 111 portmapper 100000 3 udp 111 portmapper 100000 2 udp 111 portmapper 启动NFS [root@nfs01 ~]# systemctl start nfs [root@nfs01 ~]# systemctl enable nfs [root@nfs01 ~]# rpcinfo -p 127.0.0.1 program vers proto port service 100000 4 tcp 111 portmapper 100000 3 tcp 111 portmapper 100000 2 tcp 111 portmapper 100000 4 udp 111 portmapper 100000 3 udp 111 portmapper 100000 2 udp 111 portmapper 100024 1 udp 44521 status 100024 1 tcp 59204 status 100005 1 udp 20048 mountd 100005 1 tcp 20048 mountd 100005 2 udp 20048 mountd 100005 2 tcp 20048 mountd 100005 3 udp 20048 mountd 100005 3 tcp 20048 mountd 100003 3 tcp 2049 nfs 100003 4 tcp 2049 nfs 100227 3 tcp 2049 nfs_acl 100003 3 udp 2049 nfs 100003 4 udp 2049 nfs 100227 3 udp 2049 nfs_acl 100021 1 udp 55758 nlockmgr 100021 3 udp 55758 nlockmgr 100021 4 udp 55758 nlockmgr 100021 1 tcp 30472 nlockmgr 100021 3 tcp 30472 nlockmgr 100021 4 tcp 30472 nlockmgr [root@nfs01 ~]# netstat -lntup|egrep "rpc|nfs" tcp 0 0 0.0.0.0:20048 0.0.0.0:* LISTEN 9516/rpc.mountd tcp 0 0 0.0.0.0:59204 0.0.0.0:* LISTEN 9463/rpc.statd tcp6 0 0 :::20048 :::* LISTEN 9516/rpc.mountd tcp6 0 0 :::14450 :::* LISTEN 9463/rpc.statd udp 0 0 0.0.0.0:44521 0.0.0.0:* 9463/rpc.statd udp 0 0 0.0.0.0:20048 0.0.0.0:* 9516/rpc.mountd udp 0 0 0.0.0.0:695 0.0.0.0:* 9424/rpcbind udp 0 0 127.0.0.1:735 0.0.0.0:* 9463/rpc.statd udp6 0 0 :::20048 :::* 9516/rpc.mountd udp6 0 0 :::695 :::* 9424/rpcbind udp6 0 0 :::4835 :::* 9463/rpc.statd 6、配置nfs NFS配置文件 /etc/exports [root@nfs01 ~]# man exports EXAMPLE # sample /etc/exports file / master(rw) trusty(rw,no_root_squash) /projects proj*.local.domain(rw) /usr *.local.domain(ro) @trusted(rw) /home/joe pc001(rw,all_squash,anonuid=150,anongid=100) /pub *(ro,insecure,all_squash) /srv/www -sync,rw server @trusted @external(ro) /foo 2001:db8:9:e54::/64(rw) 192.0.2.0/24(rw) /build buildhost[0-9].local.domain(rw) 待共享的目录 访问的主机(权限) 1）待共享的目录 存东西的目录 取东西的目录例如：/data 2）访问的主机， 172.16.1.7（web01） 单个主机 172.16.1.0/24 网段 172.16.1.* 网段 master 主机名 3)()权限 rw 可读写 read write ro 只读 read only sync 写到磁盘才算完成，安全 慢 async 异步写到远程缓冲区，快 不安全 一会再说。。。。 实践： [root@nfs01 ~]# tail -1 /etc/exports /data 172.16.1.0/24(rw,sync) [root@nfs01 ~]# mkdir -p /data [root@nfs01 ~]# ls -ld /data drwxr-xr-x 2 root root 51 4月 16 10:24 /data NFS默认用户nfsnobody [root@nfs01 ~]# grep nfsno /etc/passwd nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin [root@nfs01 ~]# chown -R nfsnobody.nfsnobody /data [root@nfs01 ~]# ls -ld /data drwxr-xr-x 2 nfsnobody nfsnobody 51 4月 16 10:24 /data 重启NFS [root@nfs01 ~]# systemctl reload nfs #《==生产场景必须要实现平滑重启。 [root@nfs01 ~]# exportfs -r 上述二者等价，选一个即可。 [root@nfs01 ~]# showmount -e 172.16.1.31 Export list for 172.16.1.31: /data 172.16.1.0/24 #《==看到共享的目录了 服务单本地挂载： [root@nfs01 ~]# mount -t nfs 172.16.1.31:/data /mnt [root@nfs01 ~]# df -h 文件系统 容量 已用 可用 已用% 挂载点 /dev/sda3 19G 1.8G 18G 10% / devtmpfs 476M 0 476M 0% /dev tmpfs 487M 0 487M 0% /dev/shm tmpfs 487M 7.6M 479M 2% /run tmpfs 487M 0 487M 0% /sys/fs/cgroup /dev/sda1 253M 136M 118M 54% /boot tmpfs 98M 0 98M 0% /run/user/0 172.16.1.31:/data 19G 1.8G 18G 10% /mnt [root@nfs01 ~]# touch /mnt/oldboy.txt [root@nfs01 ~]# ls /mnt/ oldboy.txt 换到web01挂载 1）安装 yum install nfs-utils rpcbind -y rpm -qa nfs-utils rpcbind 2)启动 [root@web01 ~]# systemctl start rpcbind [root@web01 ~]# systemctl enable rpcbind [root@web01 ~]# netstat -lntup|grep rpc udp 0 0 0.0.0.0:775 0.0.0.0:* 11624/rpcbind udp6 0 0 :::775 :::* 11624/rpcbind [root@web01 ~]# netstat -lntup|grep rpcbind udp 0 0 0.0.0.0:775 0.0.0.0:* 11624/rpcbind udp6 0 0 :::775 :::* 11624/rpcbind [root@web01 ~]# ps -ef|grep rpcbind rpc 11624 1 0 12:17 ? 00:00:00 /sbin/rpcbind -w 3）查看NFS服务器提供的共享目录 [root@web01 ~]# showmount -e 172.16.1.31 Export list for 172.16.1.31: /data 172.16.1.0/24 nt_create: RPC: Program not registered 程序 没有 注册 RPC服务开启了，但是NFS没有告诉RPC服务端口。 4）挂载测试 [root@web01 ~]# mount -t nfs 172.16.1.31:/data /mnt [root@web01 ~]# df -h 文件系统 容量 已用 可用 已用% 挂载点 /dev/sda3 19G 1.8G 18G 10% / devtmpfs 476M 0 476M 0% /dev tmpfs 487M 0 487M 0% /dev/shm tmpfs 487M 7.6M 479M 2% /run tmpfs 487M 0 487M 0% /sys/fs/cgroup /dev/sda1 253M 136M 118M 54% /boot tmpfs 98M 0 98M 0% /run/user/0 172.16.1.31:/data 19G 1.8G 18G 10% /mnt [root@web01 ~]# touch /mnt/oldgirl.txt [root@web01 ~]# ls /mnt/ oldboy.txt oldgirl.txt 课后作业 1、backup客户端挂载好 2、实现开机自动挂载（fstab里实现,rc.local） 3、项目实践： web01 backup客户端实现挂载到nfs NFS下面共享/backup ，允许web01 backup客户端（/backup）可读写. web01上传图片，backup上可以删除web01上传的图片。 NFS下面共享/data1,允许 web01 backup客户端10网段只读（data1） 实现开机自动挂载 如何做事超出别人的满意度？ 1、提前准备，提前试讲（正式最近的模拟讲课），给别人感觉，不经意的。 2、牛逼（提前准备 提前5年准备的）。 3、给自己设定150%目标？ 为什么fstab无法实现nfs挂载？ 回顾：开机启动流程： 1、磁盘先启动/etc/fstab 2、防火墙在前。 3、网卡 NFS网络文件系统，通过网络挂载，网络没起如何挂载？ 又想在fstab里实现挂载、就用一个服务，延迟启动。 延迟满足：小孩给棉花糖的故事，学会延迟满足是成就自己的优秀思维。 [root@nfs01 /data1]# systemctl start remote-fs.target [root@nfs01 /data1]# systemctl enable remote-fs.target Created symlink from /etc/systemd/system/multi-user.target.wants/remote-fs.target to /usr/lib/systemd/system/remote-fs.target. [root@nfs01 /data1]# systemctl status remote-fs.target ● remote-fs.target - Remote File Systems Loaded: loaded (/usr/lib/systemd/system/remote-fs.target; enabled; vendor preset: enabled) Active: active since 四 2019-04-18 10:17:57 CST; 18s ago Docs: man:systemd.special(7) 4月 18 10:17:57 nfs01 systemd[1]: Reached target Remote File Systems. C6:netfs服务 C7:remote-fs.target 3)()权限 rw 可读写 read write ro 只读 read only sync 写到磁盘才算完成，安全 慢 async 异步写到远程缓冲区，快 不安全 一会再说。 all_squash※ 不管客户端什么用户，到服务端都是nfsnobody anonuid=匿名用户的UID anongid=匿名用户的GID [root@nfs01 ~]# cat /etc/exports #oldboy shared dir at time #/data 172.16.1.0/24(rw,sync) 10.0.0.0/24(ro) /data 172.16.1.0/24(rw,sync) /data1 10.0.0.0/24(ro) [root@nfs01 ~]# cat /var/lib/nfs/etab /data1 10.0.0.0/24(ro,sync,wdelay,hide,nocrossmnt,secure,root_squash,no_all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=65534,anongid=65534,sec=sys,ro,secure,root_squash,no_all_squash) /data 172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,no_all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=65534,anongid=65534,sec=sys,rw,secure,root_squash,no_all_squash) 更改默认NFS默认用户 项目实践2： NFS共享的匿名用户用www，使得客户端上传的图片都是www用户，而不是匿名的nfsnobody。 web01 backup客户端实现挂载到nfs NFS下面共享/backup ，允许web01 backup客户端（/backup）可读写. web01上传图片，backup上可以删除web01上传的图片。 NFS下面共享/data1,允许 web01 backup客户端10网段只读（data1） 实现开机自动挂载 1）nfs01服务端NFS、以及所有客户端： [root@nfs01 ~]# useradd -u 1111 www [root@nfs01 ~]# id www uid=1111(www) gid=1111(www) 组=1111(www) 2）服务端NFS特殊配置 [root@nfs01 ~]# tail -2 /etc/exports /data 172.16.1.0/24(rw,sync,all_squash,anonuid=1111,anongid=1111) /data1 10.0.0.0/24(ro) [root@nfs01 ~]# chown -R www.www /data [root@nfs01 ~]# ls -ld /data drwxr-xr-x 2 www www 70 4月 18 10:05 /data 3）服务端NFS重启 [root@nfs01 ~]# systemctl reload nfs 4）每个客户端 mount -t nfs 172.16.1.31:/data /data [root@web01 ~]# df -h 文件系统 容量 已用 可用 已用% 挂载点 172.16.1.31:/data 19G 1.8G 18G 10% /data [root@web01 /data]# touch new_web01.txt [root@web01 /data]# ls -l 总用量 0 -rw-r--r-- 1 www www 0 4月 16 10:24 ddddf -rw-r--r-- 1 www www 0 4月 16 10:23 dddfff -rw-r--r-- 1 www www 0 4月 18 11:01 new_web01.txt -rw-r--r-- 1 www www 0 4月 17 11:59 oldboy.txt -rw-r--r-- 1 www www 0 4月 17 12:30 oldgirl.txt [root@nfs01 ~]# cat /etc/fstab # # /etc/fstab # Created by anaconda on Mon Mar 4 11:15:16 2019 # # Accessible filesystems, by reference, are maintained under '/dev/disk' # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info # UUID=3a3a295f-88f8-456d-94dc-1a3eeb517c02 / xfs defaults 0 0 UUID=fd2e0ca7-32be-425f-86a2-85c02b9ec5ea /boot xfs defaults 0 0 UUID=79a3924b-739e-48dc-ab0c-0444b9ac6591 swap swap defaults,_netdev 0 0 man mount _netdev The filesystem resides on a device that requires network access (used to prevent the system from attempting to mount these filesystems until the network has been enabled on the system). 自学：fstab被破坏了如何修复？ [root@web01 ~]# cat /etc/fstab # /etc/fstab # Created by anaconda on Mon Mar 4 11:15:16 2019 UUID=3a3a295f-88f8-456d-94dc-1a3eeb517c02 / xfs defaults 0 0 UUID=fd2e0ca7-32be-425f-86a2-85c02b9ec5ea /boot xfs defaults 0 0 UUID=79a3924b-739e-48dc-ab0c-0444b9ac6591 swap swap defaults 0 0 172.16.1.31:/data /data nfs defaults,soft 0 0 172.16.1.31:/data /data nfs defaults,hard,intr 0 mount -t nfs -o hard,intr,rsize=131072,wsize=131072 172.16.1.31:/data/ /mnt NFS服务器出问题时候，客户端重启依然能够启动，可以用如下列两个方法： defaults,soft defaults,hard,intr #/etc/fstab 客户端挂载深入 [root@web01 ~]# cat /proc/mounts debugfs /sys/kernel/debug debugfs rw,relatime 0 0 hugetlbfs /dev/hugepages hugetlbfs rw,relatime 0 0 /dev/sda1 /boot xfs rw,relatime,attr2,inode64,noquota 0 0 sunrpc /var/lib/nfs/rpc_pipefs rpc_pipefs rw,relatime 0 0 10.0.0.31:/data1 /mnt nfs4 rw,relatime,vers=4.1,rsize=131072,wsize=131072,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.0.0.7,local_lock=none,addr=10.0.0.31 0 0 172.16.1.31:/data /data nfs rw,relatime,vers=3,rsize=131072,wsize=131072,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=172.16.1.31,mountvers=3,mountport=20048,mountproto=udp,local_lock=none,addr=172.16.1.31 0 0 rsize=131072,wsize=131072 hard proto=tcp tcp安全稳定 udp无连接 FTP服务 Linux正在工作呢，文件系统只读。 企业生产案例文件系统只读故障/fstab故障。 自己找一下： 1、救援模式修复。 2、单用户，mount -o remount,rw / 2）安全加优化的挂载方式如下： mount -t nfs -o nosuid,noexec,nodev,noatime,nodiratime,intr,rsize=131072,wsize=131072 172.16.1.31:/data /mnt 自学：多块网卡bond 课后作业：项目实践： 项目实践2： 1.NFS共享的匿名用户用www，使得客户端上传的图片都是www用户，而不是匿名的nfsnobody。 web01 web02客户端实现挂载到nfs NFS下面共享/backup ，允许web01 web02客户端（/backup）可读写. web01上传图片，web02上可以删除web01上传的图片。 2.实现开机自动挂载 3.挂载的时候要优化挂载。 实时复制实践： 前提：backup rsync服务端部署好。 1）部署NFS客户端 [root@nfs01 ~]# echo 'export RSYNC_PASSWORD=oldboy' >>/etc/bashrc [root@nfs01 ~]# source /etc/bashrc [root@nfs01 ~]# echo $RSYNC_PASSWORD oldboy 测试推送 [root@nfs01 ~]# rsync -avz /data [email protected]::backup/ sending incremental file list sent 164 bytes received 25 bytes 126.00 bytes/sec total size is 0 speedup is 0.00 2）查看inotify支持情况 [root@nfs01 ~]# uname -r 3.10.0-957.5.1.el7.x86_64 [root@nfs01 ~]# ls -l /proc/sys/fs/inotify/ 总用量 0 -rw-r--r-- 1 root root 0 4月 19 09:45 max_queued_events -rw-r--r-- 1 root root 0 4月 19 09:45 max_user_instances -rw-r--r-- 1 root root 0 4月 19 09:45 max_user_watches 3）安装inotify-tools yum install epel-release -y yum install inotify-tools -y [root@nfs01 ~]# rpm -ql inotify-tools|head -2 /usr/bin/inotifywait /usr/bin/inotifywatch [root@nfs01 ~]# rpm -qa inotify-tools inotify-tools-3.14-8.el7.x86_64 4)命令参数和事件知识 略 5）测试实践 inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e create /data 6）思考：实现数据复制 监控哪些事件？ 增 改 删 需要监控 [root@nfs01 ~]# inotifywait -mrq --format '%w%f' -e close_write,delete /data /data/a.txt /data/a.txt /data/a.txt 7）编写脚本 mkdir /server/scripts -p rsync -az --delete /data/ [email protected]::backup [root@nfs01 /server/scripts]# /bin/sh /server/scripts/monitor1.sh & [2] 9199 [root@nfs01 /server/scripts]# tail -2 /etc/rc.local ######################## /bin/sh /server/scripts/monitor1.sh & sersync实践： 1）客户端推送成功 rsync -az /data [email protected]::backup 2)部署sersync服务（NFS） wget https://github.com/wsgzao/sersync/blob/master/sersync2.5.4_64bit_binary_stable_final.tar.gz sersync_oldboy_64bit_20160928.tar.gz [root@nfs01 /server/tools]# mkdir /application -p [root@nfs01 /server/tools]# mv application/sersync /application/ [root@nfs01 /server/tools]# tree /application/ /application/ └── sersync ├── bin │ └── sersync ├── conf │ ├── confxml.xml │ └── confxml.xml.ori ├── logs │ └── rsync_fail_log.sh └── readme.txt 4 directories, 5 files [root@nfs01 /server/tools]# cd /application/sersync/ [root@nfs01 /application/sersync]# ls bin conf logs readme.txt [root@nfs01 /application/sersync]# cd conf/ [root@nfs01 /application/sersync/conf]# ls confxml.xml confxml.xml.ori 3)sersync配置文件：干两件事： 1）完成监控配置： inotifywait -mrq --format '%w%f' -e createFolder,close_write,delete,moveFrom,moveTo /data 2）完整命令拼接： rsync -az /data --timeout=100 [email protected]::backup 4)启动服务 [root@nfs01 /application/sersync/conf]# ../bin/sersync -h set the system param execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events parse the command param _______________________________________________________ 参数-d:启用守护进程模式 参数-r:在监控前，将监控目录与远程主机用rsync命令推送一遍 c参数-n: 指定开启守护线程的数量，默认为10个 参数-o:指定配置文件，默认使用confxml.xml文件 参数-m:单独启用其他模块，使用 -m refreshCDN 开启刷新CDN模块 参数-m:单独启用其他模块，使用 -m socket 开启socket模块 参数-m:单独启用其他模块，使用 -m http 开启http模块 不加-m参数，则默认执行同步程序 ________________________________________________________________ [root@nfs01 /application/sersync/conf]# /application/sersync/bin/sersync -d -n 10 -o /application/sersync/conf/confxml.xml 最终 /application/sersync/bin/sersync -d pkill sersync 二进制程序，不是yum安装的，所以不能systemctl start sersync 配置：systemctl start sersync启动方案 https://blog.51cto.com/oldboy/2155931 [root@nfs01 /data]# tail -1 /etc/rc.local /application/sersync/bin/sersync -d 配置：systemctl start sersync启动方案 https://blog.51cto.com/oldboy/2155931 [root@nfs01 /data]# cat /etc/rc.d/init.d/sersync #!/bin/bash # chkconfig: 2345 21 81 # description: rsync service start and stop scripts # Author: oldboy # Organization: www.oldboyedu.com start(){ /application/sersync/bin/sersync -d -o /application/sersync/conf/confxml.xml &>/dev/null } stop(){ killall sersync 2>/dev/null } case "$1" in start) start ;; stop) stop ;; restart) stop sleep 2 start ;; *) echo $"Usage:$0 {start|stop|restart}" exit 1 esac chmod +x /etc/rc.d/init.d/sersync [root@nfs01 /data]# cat /usr/lib/systemd/system/sersync.service [Unit] Description=sersyncd service After=network.target [Service] Type=forking ExecStart=/etc/rc.d/init.d/sersync start ExecReload=/etc/rc.d/init.d/sersync restart ExecStop=/etc/rc.d/init.d/sersync stop PrivateTmp=true [Install] WantedBy=multi-user.target chmod +x /usr/lib/systemd/system/sersync.service [root@nfs01 /data]# systemctl enable sersync.service Created symlink from /etc/systemd/system/multi-user.target.wants/sersync.service to /usr/lib/systemd/system/sersync.service. [root@nfs01 /data]# systemctl status sersync.service ● sersync.service - sersyncd service Loaded: loaded (/usr/lib/systemd/system/sersync.service; enabled; vendor preset: disabled) Active: inactive (dead) [root@nfs01 /data]# systemctl stop sersync [root@nfs01 /data]# ps -ef|grep sersync|grep -v grep [root@nfs01 /data]# systemctl start sersyncDAY33
DAY34
DAY35
DAY36