http://blog.51cto.com/mrxiong2017/2087001
NFS是Network File System的缩写，即网络文件系统。客户端通过挂载的方式将NFS服务器端共享的数据目录挂载到本地目录下。
一、NFS的工作流程
| 1 2 3 4 |
1、由程序在NFS客户端发起存取文件的请求，客户端本地的RPC(rpcbind)服务会通过网络向NFS服务端的RPC的111端口发出文件存取功能的请求。
2、NFS服务端的RPC找到对应已注册的NFS端口，通知客户端RPC服务。
3、客户端获取正确的端口，并与NFS daemon联机存取数据。
4、存取数据成功后，返回前端访问程序，完成一次存取操作。
|
所以无论客户端 和服务端都需要用NFS，必须安装RPC服务。
NFS的RPC服务，在Centos5下名为portmap,Centos6下名称为rpcbind.
二、Centos7搭建NFS服务器实例
| 服务器系统 |
角色 |
IP |
| CentOS7-150--server |
NFS服务器端 |
192.168.10.150 |
| CentOS7-151-localhost |
NFS客户端 |
192.168.10.151 |
共享CentOS7-150--server中/data/bbs目录，使192.168.10.1 IP段所有主机都可以访问
1、因是测试环境，先关闭selinux和firewalld
1)关闭selinux
| 1 |
[root@service ~]# sed -i s#SELINUX=enforcing#SELINUX=disabled#g /etc/selinux/config
|
2）关闭firewalld防火墙
查看firewalld防火墙开机自动状态
| 1 2 |
[root@service ~]# systemctl list-unit-files|grep enable|grep firewalld
firewalld.service enabled
|
关闭firewalld防火墙开机自动启
| 1 2 3 |
[root@service ~]# systemctl disable firewalld.service
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
|
停止防火墙
| 1 |
[root@service ~]# systemctl stop firewalld.service
|
查看防火墙状态
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
[root@service ~]# systemctl status firewalld.service
● firewalld.service - firewalld - dynamic firewall daemon
Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
Active: inactive (dead)
Docs: man:firewalld(1)Mar 14 18:52:24 localhost.localdomain systemd[1]: Starting firewalld - dynamic ....
Mar 14 18:52:24 localhost.localdomain systemd[1]: Started firewalld - dynamic f....
Mar 14 18:52:25 localhost.localdomain firewalld[573]: WARNING: ICMP type 'beyond...
Mar 14 18:52:25 localhost.localdomain firewalld[573]: WARNING: beyond-scope: INV...
Mar 14 18:52:25 localhost.localdomain firewalld[573]: WARNING: ICMP type 'failed...
Mar 14 18:52:25 localhost.localdomain firewalld[573]: WARNING: failed-policy: IN...
Mar 14 18:52:25 localhost.localdomain firewalld[573]: WARNING: ICMP type 'reject..
Mar 14 18:52:25 localhost.localdomain firewalld[573]: WARNING: reject-route: INV...
Mar 14 11:21:43 service systemd[1]: Stopping firewalld - dynamic firewall daemon...
Mar 14 11:21:43 service systemd[1]: Stopped firewalld - dynamic firewall daemon.Hint: Some lines were ellipsized, use -l to show in full.
|
2、服务端部署
1)检查系统版本及NFS服务nfs-utils 和rpcbind有没有安装
| 1 2 3 |
[root@service ~]# cat /etc/redhat-release
CentOS Linux release 7.4.1708 (Core)
[root@service ~]# rpm -qa nfs-utils rpcbind
|
2）安装NFS服务nfs-untils和rpcbind
| 1 |
[root@service ~]# yum install nfs-utils rpcbind -y
|
3）启动rpcbind服务（一定要先启动rpcbind服务再启动nfs服务)
查看rpcbind服务状态
| 1 |
[root@service ~]# systemctl status rpcbind.service
|
启动rpcbind服务
| 1 |
[root@service ~]# systemctl start rpcbind.service
|
查看rpc
| 1 2 3 4 5 6 7 8 9 10 11 12 13 |
[root@service ~]# lsof -i :111
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
systemd 1 root 33u IPv6 25136 0t0 TCP *:sunrpc (LISTEN)
systemd 1 root 38u IPv4 25137 0t0 TCP *:sunrpc (LISTEN)
rpcbind 9227 rpc 4u IPv6 25136 0t0 TCP *:sunrpc (LISTEN)
rpcbind 9227 rpc 5u IPv4 25137 0t0 TCP *:sunrpc (LISTEN)
rpcbind 9227 rpc 8u IPv4 33497 0t0 UDP *:sunrpc
rpcbind 9227 rpc 10u IPv6 33499 0t0 UDP *:sunrpc
[root@service ~]# netstat -lntup|grep
rpcbindudp 0 0 0.0.0.0:922 0.0.0.0:* 9227/rpcbind
udp 0 0 0.0.0.0:111 0.0.0.0:* 9227/rpcbind
udp6 0 0 :::922 :::* 9227/rpcbind
udp6 0 0 :::111 :::* 9227/rpcbind
|
查看nfs服务向rpc注册的端 口信息
| 1 2 3 4 5 6 7 8 |
[root@service ~]# rpcinfo -p localhost
program vers proto port service
100000 4 tcp 111 portmapper
100000 3 tcp 111 portmapper
100000 2 tcp 111 portmapper
100000 4 udp 111 portmapper
100000 3 udp 111 portmapper
100000 2 udp 111 portmapper
|
把rpcbind另入开机自启动
| 1 2 3 |
[root@service ~]# systemctl enable rpcbind.service
[root@service ~]# systemctl list-unit-files|grep enabled|grep rpcbind
rpcbind.socket enabled
|
4)启动NFS服务并查看其状态
| 1 2 |
[root@service ~]# systemctl start nfs.service
[root@service ~]# systemctl status nfs.service
|
把NFS服务加入开机自启动并查看其状态
| 1 2 |
[root@service ~]# systemctl enable nfs.service
[root@service ~]# systemctl list-unit-files|grep nfs
|
5）授权nfsnobody于/data/bbs让客户端挂载后可写可读
| 1 |
[root@service /]# chown nfsnobody:nfsnobody /data/bbs
|
6）创建测试目录及文件
| 1 2 |
[root@service ~]# mkdir /data/bbs -p
[root@service ~]# mkdir /data/bbs/test.txt
|
7)配置NFS服务的export文件
| 1 |
[root@service ~]# echo "/data/bbs/ 192.168.10.1/24(rw,sync,root_squash)">>/etc/exports
|
重新加载nfs配置文件
| 1 2 |
[root@service ~]# exportfs -rv
exporting 192.168.10.1/24:/data/bbs
|
exportfs：NFS服务端发布共享控制命令。
-r：表示重新刷新共享。
-a：表示将配置文件/etc/exports中的所有定义共享发布出去。
-v：显示确认共享设置。
-u：表示不发布共享。
查看nfs服务器挂载情况
| 1 2 3 |
[root@service ~]# showmount -e localhost
Export list for localhost:
/data/bbs 192.168.10.1/24
|
ro：目录只读
rw：目录读写
sync：将数据同步写入内存缓冲区与磁盘中，效率低，但可以保证数据的一致性
async：将数据先保存在内存缓冲区中，必要时才写入磁盘
all_squash：将远程访问的所有普通用户及所属组都映射为匿名用户或用户组(nfsnobody)
no_all_squash：与all_squash取反(默认设置)
root_squash：将root用户及所属组都映射为匿名用户或用户组(默认设置)
no_root_squash：与rootsquash取反
anonuid=xxx：将远程访问的所有用户都映射为匿名用户，并指定该用户为本地用户(UID=xxx)
anongid=xxx：将远程访问的所有用户组都映射为匿名用户组账户
3、客户端配置
| 1 |
[root@localhost ~]# yum install nfs-utils rpcbind
|
把rpcbind加入开机自启动
| 1 |
[root@localhost bbs]# systemctl enable rpcbind.service
|
创建测试目录文件
| 1 |
[root@localhost ~]# mkdir /data/bbs/ -p
|
扫描NFS服务器的文件共享列表
| 1 2 3 |
[root@localhost bbs]# showmount -e 192.168.10.150
Export list for 192.168.10.150:
/data/bbs 192.168.10.1/24
|
把服务器的目录挂载到客户端 的目录下
| 1 2 3 4 5 6 7 8 9 10 11 |
[root@localhost ~]# mount -t nfs -o noexec,nosuid,nodev,rw,rsize=65536,wsize=65536 192.168.10.150:/data/bbs /data/bbs
[root@localhost ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda3 18G 1004M 17G 6% /
devtmpfs 479M 0 479M 0% /dev
tmpfs 489M 0 489M 0% /dev/shm
tmpfs 489M 6.8M 482M 2% /run
tmpfs 489M 0 489M 0% /sys/fs/cgroup
/dev/sda1 497M 112M 385M 23% /boot
tmpfs 98M 0 98M 0% /run/user/0
192.168.10.150:/data/bbs 18G 1006M 17G 6% /data/bbs
|
三、数据测试
服务端
| 1 2 |
[root@service /]# cd /data/bbs
[root@service bbs]# touch a.txt
|
客户端
| 1 |
[root@localhost ~]# ls /data/bbsa.txt
|
提示: 1.配置NFS服务端后，不用重启NFS服务，只要使用exportfs -rv
2.rpc主程序Centos5.8下为portmap 、Centos6.4和Centos7下为rpcbind
3.NFS共享目录不要授权于777权限，可以改所属主和组为nfsnobody，因为nfsnobody权限不是很大，也不能登陆
四、配置客户端 开机自动挂载NFS共享目录
| 1 2 3 4 5 6 7 8 9 10 11 12 13 |
[root@localhost ~]# chmod +x /etc/rc.d/rc.local #centos7需要给rc.local赋予执行权限后，rc.local文件才能生效
[root@localhost ~]# echo "mount -t nfs -o noexec,nosuid,nodev,rw,rsize=65536,wsize=65536 192.168.10.150:/data/bbs /data/bbs">>/etc/rc.local
[root@localhost ~]# cat /etc/rc.local
#!/bin/bash
# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES#
# It is highly advisable to create own systemd services or udev rules
# to run scripts during boot instead of using this file.#
# In contrast to previous versions due to parallel execution during boot
# this script will NOT be run after all other services.#
# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure
# that this script will be executed during boot.
mount -t nfs -o noexec,nosuid,nodev,rw,rsize=65536,wsize=65536 192.168.10.150:/data/bbs /data/bbs
|
五、客户端mount挂载优化
在企业生产环境中，NFS客户端挂载的参数有noexec、nosuid、nodev、noatime、rsize、wsize、nodiratime等，
一般来说，NFS服务器共享的只是普通静态数据（图片、附件、视频），不需要执行suid、exec等权限，挂载的这个文件系统只能作为数据存取之用，无法执行程序，对于客户端来讲增加了安全性，例如：很多***修改站点文件都是由上传入口上传的程序存储目录，然后执行，因此在挂载时，用下面的命令是有必要的，
普遍安全挂载参数：
mount -t nfs -o nosuid,noexec,nodev,rw 192.168.10.150:/data/bbs /data/bbs
挂载的读写缓存
wsize和rsize写和读缓存
wsize和rsize的最大值
NFSV2 rsize=8192 wsize=8192
NFSV3 rsize=32768 wsize=32768
NFSV4 rsize=65536 wsize=65536
现在一般centos5.8以上的系统都己经增加了读写缓存，如需修改可以加以上参数
例如：
mount -t nfs -o noexec,nosuid,nodev,rw,rsize=65536,wsize=65536 192.168.10.150:/data/bbs /data/bbs
★mount的一些常用挂载优化参数：
wsize和rsize写和读缓存
async 数据不同步写到磁盘，提高性参，但降低数据安全，不推荐使用
noatime和nodiratime 这两个选是说在读写磁盘时，不更新文件和目录的时间戳，而更新文件时间戳对于工作数据必要性不大，增加了磁盘IO的次数，拖慢系统性参，
defaults 这个缺省值包括rw,suid,dev,exec,auto,nouser,and async cat /etc/fstab的结果默认大部人都是缺省值
noauto 不会自动挂载文件系统
noexec 不允许安装的直接执行任何二进制文件
ro 挂载一个只读文件系统
rw 挂载一个可写的文件系统
sync 把数据同步写入硬盘
nosuid 不允许设置用户标识或设置组标识符位
nodev 不解释字符或文件块特殊设备
intr 表示可以中断
★企业生产环境中nfs性参优化挂载例子：
| 1 2 |
mount -t nfs -o noatime,nodiratime 192.168.10.150:/data/bbs /data/bbs
mount -t nfs -o nosuid,noexec,nodev,noatime,nodiratime,intr,rsize=65536,wsize=65536 192.168.10.150:/data/bbs /data/bbs
|
如果是本地系统：
mount -o defaults,async,noatime,data=writeback,barrier=0 /dev/sdb1 /mnt
data=writeback,barrier=0 是日志文件系统的优化
提示：本地文件系统挂载如果加nodiratime会报错，
六、加优化参数和不加的数据写入测试
★使用普通挂载
| 1 |
[root@localhost ~]# mount -t nfs 192.168.10.150:/data/bbs /data/bbs
|
测试单个文件写入速度
| 1 2 3 4 5 6 7 8 |
[root@localhost ~]# cd /data/bbs
[root@localhost bbs]# time dd if=/dev/zero of=/data/bbs/dingjianfile bs=9k count=2000
2000+0 records in
2000+0 records out
18432000 bytes (18 MB) copied, 0.114592 s, 161 MB/s
real 0m0.125s
user 0m0.000s
sys 0m0.021s
|
测试批量创建文件的写入速度
| 1 2 3 4 |
[root@localhost bbs]# time for ((i=1;i<10000;i++));do /bin/cp /bin/touch /data/bbs/test$i;done
real 2m2.877s
user 0m10.242s
sys 0m33.882s
|
★加优化参数挂载:
| 1 |
[root@localhost bbs]#mount -t nfs -o noexec,nosuid,nodev,rw,rsize=65536,wsize=65536 192.168.10.150:/data/bbs /data/bbs
|
测试单个文件写入速度
| 1 2 3 4 5 6 7 |
[root@localhost bbs]# time dd if=/dev/zero of=/data/bbs/dingjianfile bs=9k count=2000
2000+0 records in
2000+0 records out
18432000 bytes (18 MB) copied, 0.10043 s, 184 MB/s
real 0m0.107s
user 0m0.001s
sys 0m0.017s
|
测试批量创建文件的写入速度
| 1 2 3 4 |
[root@localhost bbs]# time for ((i=1;i<10000;i++));do /bin/cp /bin/touch /data/bbs/test$i;done
real 1m38.526s
user 0m9.989s
sys 0m32.788s
|
七、配置fstab文件令开机自动加载网络文件系统和本地的文件系统(和rc.local效果一样)
| 1 2 3 4 5 6 7 8 9 10 |
[root@localhost bbs]# vi /etc/fstab
## /etc/fstab# Created by anaconda on Fri Mar 9 05:05:49 2018
## Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=07347aff-3d84-4cd6-a0e7-ac145593622e / xfs defaults 0 0
UUID=f6cdb812-e3ba-4154-8116-a39c68f74d98 /boot xfs defaults 0 0
UUID=8b003ed3-3e5b-4f45-9530-41a412748c6a swap swap defaults 0 0
192.168.10.150:/data/bbs /data/bbs nfs defaults,nosuid,noatime,nodiratime,noexec,nodev,intr,rsize=65536,wsize=65536 0 0
~
|
