【运维知识进阶篇】集群架构-NFS网络文件系统
本篇文章给大家介绍NFS相关知识，NFS是网络文件系统的缩写，主要功能是通过网络让不同主机系统之间可以共享文件和目录。NFS系统和Windows网络共享、网络驱动器类似，只不过Windows用于局域网，NFS用于企业集群架构中，大型网站会用到更复杂的分布式文件系统FastDFS，glusterfs，HDFS等等。
目录
NFS使用场景
本地文件操作原理
NFS实现原理
NFS服务端安装配置
1、我们准备一台NFS（10.0.0.31，172.16.1.31），一台Web01（10.0.0.7，172.16.1.7），都关闭防火墙，以免默认的防火墙策略禁止正常的NFS共享服务，都关闭selinux（这些都是基本操作，以后不再赘述）
2、安装NFS服务端
3、配置NFS服务
4、配置共享目录并修改属主属组
NFS客户端挂载使用
1、安装NFS，仅安装不启动
2、查看服务端的可挂载NFS信息
3、客户端挂载
4、挂载成功后可以进行增删改查
5、开机自动挂载
6、取消NFS挂载
NFS挂载参数
-t：指定档案系统的形态
-o：指定挂载参数
NFS参数权限测试
1、测试ro权限
2、测试all_squash、anonuid、anongid权限
NFS案例挂载
1、准备工作
2、NFS服务端配置
3、NFS客户端配置
4、NFS扩展项
NFS总结
1、NFS优点
2、NFS缺点
3、NFS应用建议
NFS使用场景
NFS实现了多台服务器之间的数据共享，遵循了数据一致性。
例如A用户上传图片，通过负载均衡将请求发送到了Web01服务器，如果集群中没有NFS，图片就上传到了Web01服务器，B用户想要查看A用户上传的图片，如果负载均衡将请求发送到Web01上，就可以查看到，但是如果发送到其他Web服务器，例如Web02上，就无法查到A用户上传的图片。
但是如果有NFS，则A用户的请求不管发送到哪个服务器，图片都会保存到NFS中，那么B用户访问的时候，请求不管发送到哪个服务器，都可以看到这个图片。
本地文件操作原理
1、用户执行命令，该命令会调用shell解释器翻译给内核；
2、内核解析完成后会驱动对应的硬件设备，完成相应的操作。
NFS实现原理
1、用户通过客户端进行发送请求，上传静态资源，请求通过负载均衡发送到Web服务器，此时Web服务器作为NFS的客户端，会将请求（读、写、创建、移动、改名）进行函数封装，转成二进制，与NFS服务端进行TCP/IP连接，把二进制数据传递给NFS服务端。
2、NFS的客户端与服务端是需要通过端口进行连接的，NFS的服务端如何进行这个端口的分配，就需要Portmap来控制，Portmap主要功能就是进行端口映射工作，那么Portmap辅助客户端连接好服务端后，Rpc.nfsd是NFS的守护进程，可以判断NFS客户端是否有权限登录服务端。此时，传输到服务端的二进制数据会变成命令执行，但是执行的命令需要在服务端有权限才行。
3、此时需要用Rpc.mount来管理NFS的文件系统，当客户端顺利通过nfsd登录NFS服务器后，在使用NFS服务所提供的文件前，需要通过文件使用权限的验证，他会读取NFS的配置文件/etc/exports来对比客户端权限。一般咱们都改NFS要挂载目录的属主属组，保证有执行命令的权限。
4、而idmap进程可以实现用户的映射和压缩，为了安全，我们不能让root用户直接去操作我们NFS服务端上的内容，所以就使用nfsnobody虚拟用户或自建的虚拟用户去执行命令。
5、最终NFS服务端会将请求的二进制转换为本地能识别的命令，传递至内核，由内核驱动硬件。
NFS服务端安装配置
1、我们准备一台NFS（10.0.0.31，172.16.1.31），一台Web01（10.0.0.7，172.16.1.7），都关闭防火墙，以免默认的防火墙策略禁止正常的NFS共享服务，都关闭selinux（这些都是基本操作，以后不再赘述）
2、安装NFS服务端
[root@NFS ~]# yum -y install nfs-utils
[root@NFS ~]# systemctl start nfs
[root@NFS ~]# systemctl enable nfs3、配置NFS服务
格式：NFS共享目录 NFS客户端地址（参数选项）
我们将NFS服务端上的/data目录共享给172.16.1.0/24网段的所有主机
[root@NFS ~]# vim /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash)
[root@Web01 ~]# systemctl restart nfs
[root@NFS ~]# cat /var/lib/nfs/etab #NFS共享目录会记录至这个位置，如果该目录没有共享信息，则/etc/exports配置错误
/data 172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=65534,anongid=65534,sec=sys,rw,secure,root_squash,all_squash) NFS参数选项及作用
| nfs共享参数 | 参数作用 |
|---|---|
| rw | 所有的客户端主机都有读写权限 |
| ro | 所有的客户端主机都有只读权限 |
| root_squash | 当NFS客户端以root管理员访问时，映射为NFS服务器的匿名用户(不常用) |
| no_root_squash | 当NFS客户端以root管理员访问时，映射为NFS服务器的root管理员(不常用) |
| all_squash | 无论NFS客户端使用什么账户访问，均映射为NFS服务器的匿名用户(常用) |
| no_all_squash | 无论NFS客户端使用什么账户访问，都不进行压缩 |
| sync | 同时将数据写入到内存与硬盘中，保证不丢失数据 |
| async | 优先将数据保存到内存，然后再写入硬盘；这样效率更高，但可能会丢失数据 |
| anonuid | 配置all_squash使用，指定NFS的用户UID，必须存在系统 |
| anongid | 配置all_squash使用，指定NFS的用户UID，必须存在系统 |
4、配置共享目录并修改属主属组
[root@NFS ~]# mkdir -p /data/
[root@NFS ~]# chown -R nfsnobody.nfsnobody /data/NFS客户端挂载使用
1、安装NFS，仅安装不启动
[root@Web01 ~]# yum -y install nfs_utils
2、查看服务端的可挂载NFS信息
[root@Web01 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24
[root@Web01 ~]# 3、客户端挂载
[root@Web01 ~]# mkdir NFS_client_Web01
[root@Web01 ~]# mount -t nfs 172.16.1.31:/data NFS_client_Web01/
[root@Web01 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
devtmpfs 476M 0 476M 0% /dev
tmpfs 487M 0 487M 0% /dev/shm
tmpfs 487M 7.7M 479M 2% /run
tmpfs 487M 0 487M 0% /sys/fs/cgroup
/dev/sda3 19G 2.5G 17G 13% /
/dev/sda1 197M 110M 88M 56% /boot
tmpfs 98M 0 98M 0% /run/user/0
172.16.1.31:/data 19G 2.0G 17G 11% /root/NFS_client_Web014、挂载成功后可以进行增删改查
[root@Web01 ~]# touch NFS_client_Web01/1.txt
[root@NFS ~]# ll /data/
total 0
-rw-r--r-- 1 nfsnobody nfsnobody 0 Apr 13 18:06 1.txt
5、开机自动挂载
可以写到fstab，但不推荐，因为挂载需要客户端能ping通服务端，但是开机的时候网络和fstab不一定哪个先执行，所以不一定每次都能挂载上，最好是使用rc.local。
fstab
[root@Web01 ~]# vim /etc/fstab
[root@Web01 ~]# 172.16.1.31:/data /root/NFS_client_Web01 nfs defaults 0 0
[root@Web01 ~]# mount -a #检查fstab是否写正确rc.local
/etc/rc.local已经有了可执行权限，但是它是软链接，不管用，所以需要给/etc/rc.local或者/etc/rc.d/rc.local加可执行权限，才会开机自动执行
[root@Web01 ~]# cat /etc/rc.local
mount -t nfs 172.16.1.31:/data NFS_client_Web01/
[root@Web01 ~]# chmod +x /etc/rc.d/rc.local6、取消NFS挂载
[root@Web01 ~]# umount NFS_client_Web01/
[root@Web01 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
devtmpfs 476M 0 476M 0% /dev
tmpfs 487M 0 487M 0% /dev/shm
tmpfs 487M 7.7M 479M 2% /run
tmpfs 487M 0 487M 0% /sys/fs/cgroup
/dev/sda3 19G 2.5G 17G 13% /
/dev/sda1 197M 110M 88M 56% /boot
tmpfs 98M 0 98M 0% /run/user/0注意：如果取消挂载时有如下提示，可以切换至挂载目录外其他目录，再进行卸载；还不行可能是因为NFS宕机了，需要强制取消挂载。
umount.nfs: /nfsdir: device is busy
[root@Web01 ~]# umount -lf NFS_client_Web01/ #强制取消挂载NFS挂载参数
-t：指定档案系统的形态
-o：指定挂载参数
在企业中，NFS共享的只是普通静态文件（图片、附件、视频），不需要执行suid、exec等权限，挂载的这个文件系统只能作为数据存取只用，无法执行程序，对于客户端来说，禁用这些权限可以增加安全性，例如：很多木马篡改站点文件都是由上传入口上传的程序到存储目录，然后执行的。
[root@Web01 ~]# mount -t nfs -o nosuid,noexec,nodev 172.16.1.31:/data NFS_client_Web01/有时候也需要考虑性能相关参数，禁止更新目录和文件时间戳
[root@Web01 ~]# mount -t nfs -o noatime,nodiratime 172.16.1.31:/data NFS_client_Web01/
NFS参数权限测试
1、测试ro权限
[root@NFS ~]# cat /etc/exports
/data 172.16.1.0/24(ro,sync,all_squash)
[root@NFS ~]# systemctl restart nfs
[root@Web01 ~]# mount -t nfs 172.16.1.31:/data NFS_client_Web01/
[root@Web01 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
devtmpfs 476M 0 476M 0% /dev
tmpfs 487M 0 487M 0% /dev/shm
tmpfs 487M 7.7M 479M 2% /run
tmpfs 487M 0 487M 0% /sys/fs/cgroup
/dev/sda3 19G 2.5G 17G 13% /
/dev/sda1 197M 110M 88M 56% /boot
tmpfs 98M 0 98M 0% /run/user/0
172.16.1.31:/data 19G 2.0G 17G 11% /root/NFS_client_Web01
[root@Web01 ~]# touch NFS_client_Web01/2.txt
touch: cannot touch ‘NFS_client_Web01/2.txt’: Read-only file system2、测试all_squash、anonuid、anongid权限
[root@NFS ~]# cat /etc/exports #服务端配置
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
[root@NFS ~]# groupadd -g666 www #创建对应用户组和用户
[root@NFS ~]# useradd -u666 -g666 -M -s /sbin/nologin www
[root@NFS ~]# id www
uid=666(www) gid=666(www) groups=666(www)
[root@NFS ~]# systemctl restart nfs #重载NFS
[root@NFS ~]# cat /var/lib/nfs/etab
/data 172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=666,anongid=666,sec=sys,rw,secure,root_squash,all_squash)
[root@NFS ~]# chown -R www.www /data/ #修改共享项目属主属组
[root@NFS ~]# ll -d /data/
drwxr-xr-x 4 www www 52 Apr 13 18:06 /data/
[root@NFS ~]# ll /data/
total 0
-rw-r--r-- 1 www www 0 Apr 13 18:06 1.txt
[root@Web01 ~]# touch NFS_client_Web01/2.txt #客户端验证
[root@Web01 ~]# ll NFS_client_Web01/2.txt #客户端查看到的属组属主是666，因为客户端没有www用户，所以只显示了uid和gid
-rw-r--r-- 1 666 666 0 Apr 13 18:48 NFS_client_Web01/2.txt
[root@Web01 ~]# groupadd -g666 www #在客户端也创建用户组和用户，统一身份，避免后续出现权限不足的情况
[root@Web01 ~]# useradd -u666 -g666 -M -s /sbin/nologin www
[root@Web01 ~]# ll NFS_client_Web01/2.txt #检查文件身份
-rw-r--r-- 1 www www 0 Apr 13 18:48 NFS_client_Web01/2.txtNFS案例挂载
1、准备工作
我们准备一台NFS（10.0.0.31，172.16.1.31），一台Web01（10.0.0.7，172.16.1.7），一台Web02（10.0.0.8，172.16.1.8）在NFS上共享/data/w目录（可写）和/data/r目录（只读），将可写目录挂载到Web01，只读目录挂载到Web02
2、NFS服务端配置
#1、安装NFS
[root@NFS ~]# yum install -y nfs
#2、配置NFS
[root@NFS ~]# cat /etc/exports
/data/r 172.16.1.0/24(ro,sync,all_squash,anonuid=666,anongid=666)
/data/w 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
#3、创建对应用户
[root@NFS ~]# groupadd -g 666 www
[root@NFS ~]# useradd -u666 -g666 -M -s /sbin/nologin www
[root@NFS ~]# id www
uid=666(www) gid=666(www) groups=666(www)
[root@NFS ~]#
#4、创建共享目录
[root@NFS ~]# mkdir -p /data/{r,w}
[root@NFS ~]# chown -R www.www /data/
#5、重启NFS
[root@NFS ~]# systemctl restart nfs
3、NFS客户端配置
#1、安装NFS
[root@Web01 ~]# yum -y install nfs #Web02操作相同
#2、准备本地挂载点目录
[root@Web01 ~]# mkdir -p /data/w #创建不同目录
[root@Web02 ~]# mkdir -p /data/r
#3、准备对应用户
[root@Web01 ~]# groupadd -g666 www #Web02操作相同
[root@Web01 ~]# useradd -u666 -g666 -M -s /sbin/nologin www
[root@Web01 ~]# id www
uid=666(www) gid=666(www) groups=666(www)
#4、查看远端共享的NFS目录
[root@Web01 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data/w 172.16.1.0/24
/data/r 172.16.1.0/24
#5、挂载对应目录
[root@Web01 ~]# mount -t nfs 172.16.1.31:/data/w /data/w
[root@Web01 ~]# df -h
172.16.1.31:/data/w 19G 2.0G 17G 11% /data/w
[root@Web02 ~]# mount -t nfs 172.16.1.31:/data/r /data/r
[root@Web02 ~]# df -h
172.16.1.31:/data/r 19G 2.0G 17G 11% /data/r
#6、测试/data/r读权限 /data/w读写权限
[root@NFS ~]# cat /data/r/1.txt
123
[root@NFS ~]# cat /data/w/1.txt
123
[root@Web01 ~]# cat /data/w/1.txt
123
[root@Web01 ~]# touch /data/w/2.txt
[root@Web02 ~]# cat /data/r/1.txt
123
[root@Web02 ~]# touch /data/r/2.txt
touch: cannot touch ‘/data/r/2.txt’: Read-only file system
#7、实现开机自动挂载
[root@Web01 ~]# echo 'mount -t nfs 172.16.1.31:/data/w /data/w' >> /etc/rc.local
[root@Web02 ~]# echo 'mount -t nfs 172.16.1.31:/data/r /data/r' >> /etc/rc.local
#8、取消挂载NFS
[root@Web01 ~]# umount /data/w
[root@Web02 ~]# umount /data/r
4、NFS扩展项
1）无需重启NFS服务平滑加载配置文件
[root@NFS ~]# cat /etc/exports
/data/r 172.16.1.0/24(ro,sync,all_squash,anonuid=666,anongid=666)
/data/w 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
[root@NFS ~]# exportfs -rv
exporting 172.16.1.0/24:/data/w
exporting 172.16.1.0/24:/data/r2）NFS客户端挂载参数
[root@Web01 ~]# mount -t nfs -o noatime,nodiratime,noexec,nodev,nosuid 172.16.1.31:/data/w /data/w/3）NFS客户端永久挂载参数
[root@Web01 ~]# tail -1 /etc/rc.local
mount -t nfs -o noatime,nodiratime,noexec,nodev,nosuid 172.16.1.31:/data/w /data/w/4）客户端检查挂载参数是否生效
[root@Web01 ~]# mount
[root@Web01 ~]# cat /proc/mounts #与mount一致
[root@Web01 ~]# df -h #查看挂载磁盘NFS总结
1、NFS优点
NFS简单易用、方便部署、数据可靠、服务稳定、满足中小企业需求。
NFS文件系统内存放的数据都在文件系统上，所有的数据都能看见
2、NFS缺点
存在单点故障，如果构建高可用维护麻烦，Web到NFS再到Backup
NFS数据明文、不对数据做校验
客户端挂载NFS服务没有密码验证，安全性一般，所以适合内网使用
3、NFS应用建议
应该把静态数据尽可能往前端推，减少后端存储压力
必须将存储的静态资源通过CDN缓存jpg\png\mp4\avi\css\js
如果没有缓存或架构本身历史遗留问题太大，再多存储也无用，容易故障
我是koten，10年运维经验、持续分享运维干货，感谢大家的阅读和关注！