NFS搭建、配置及故障排除详解

1.什么是NFS？

NFS 是Network File System的缩写，即网络文件系统。一种使用于分散式文件系统的协定，由Sun公司开发，于1984年向外公布。功能是通过网络让不同的机器、不同的操作系统能够彼此分享个别的数据，让应用程序在客户端通过网络访问位于服务器磁盘中的数据，是在类Unix系统间实现磁盘文件共享的一种方法。
　　NFS 的基本原则是“容许不同的客户端及服务端通过一组RPC分享相同的文件系统”，它是独立于操作系统，容许不同硬件及操作系统的系统共同进行文件的分享。
　　NFS在文件传送或信息传送过程中依赖于RPC协议。RPC，远程过程调用 (Remote Procedure Call) 是能使客户端执行其他系统中程序的一种机制。NFS本身是没有提供信息传输的协议和功能的，但NFS却能让我们通过网络进行资料的分享，这是因为NFS使用了一些其它的传输协议。而这些传输协议用到这个RPC功能的。可以说NFS本身就是使用RPC的一个程序。或者说NFS也是一个RPC SERVER。所以只要用到NFS的地方都要启动RPC服务，不论是NFS SERVER或者NFS CLIENT。这样SERVER和CLIENT才能通过RPC来实现PROGRAM PORT的对应。可以这么理解RPC和NFS的关系：NFS是一个文件系统，而RPC是负责负责信息的传输。

2.NFS的挂载原理

NFS分为客户端与服务器端，一般设置为一个Server端，多个客户端，也可设置为多对多，当服务器端设置好共享目录/data后，客户端通过相应的访问权限，将共享目录挂载到本地系统的某个目录下，就可以透明的看到共享目录里的文件了，依据服务器制定的相应权限做操作。

3.NFS服务器与客户端的通信原理

NFS服务器和客户端是通过网络进行数据传输的，网络传输必然要通过指定的端口。然而，NFS服务器是随机选择端口进行传输的，这样NFS客户端就无法知道NFS服务器的端口了。就好像两个小伙伴不认识又想做朋友，不知道怎么开口。为了解决这个问题，RPC(Remote Procedure Control)这个小伙伴来了，他说我给你们搭个线。NFS服务器在启动时会向RPC注册，告诉RPC自己启动了哪些端口，而NFS客户端发送请求时，先向RPC询问NFS服务器的开放端口，这样，NFS客户端拿到了服务器的端口后，再想NFS服务器发送真实的数据传输请求。这两个小伙伴有个共同的朋友，这个朋友讲两人介绍认识了，就是这么一个过程。

客户端NFS和服务端NFS通讯过程
1）首先服务器端启动RPC服务，并开启111端口
2）启动NFS服务，并向RPC注册端口信息
3）客户端启动RPC（portmap服务），向服务端的RPC(portmap)服务请求服务端的NFS端口
4）服务端的RPC(portmap)服务反馈NFS端口信息给客户端。
5）客户端通过获取的NFS端口来建立和服务端的NFS连接并进行数据的传输。

4.NFS系统守护进程

nfsd：它是基本的NFS守护进程，主要功能是管理客户端是否能够登录服务器；
mountd：它是RPC安装守护进程，主要功能是管理NFS的文件系统。当客户端顺利通过nfsd登录NFS服务器后，在使用NFS服务所提供的文件前，还必须通过文件使用权限的验证。它会读取NFS的配置文件/etc/exports来对比客户端权限。
portmap：主要功能是进行端口映射工作。当客户端尝试连接并使用RPC服务器提供的服务（如NFS服务）时，portmap会将所管理的与服务对应的端口提供给客户端，从而使客户可以通过该端口向服务器请求服务。

5.NFS的常用目录及常用命
/etc/exports NFS服务的主要配置文件
/usr/sbin/exportfs NFS服务的管理命令
/usr/sbin/showmount 客户端的查看命令
/var/lib/nfs/etab 记录NFS分享出来的目录的完整权限设定值
/var/lib/nfs/xtab 记录曾经登录过的客户端信息
NFS服务的配置文件为 /etc/exports，这个文件是NFS的主要配置文件，不过系统并没有默认值，所以这个文件不一定会存在，可能要使用vim手动建立，然后在文件里面写入配置内容。
/etc/exports文件内容格式：
<输出目录> [客户端1 选项（访问权限,用户映射,其他）] [客户端2 选项（访问权限,用户映射,其他）]
a. 输出目录：
输出目录是指NFS系统中需要共享给客户机使用的目录；
b. 客户端：
客户端是指网络中可以访问这个NFS输出目录的计算机
客户端常用的指定方式
指定ip地址的主机：192.168.0.200
指定子网中的所有主机：192.168.0.0/24 192.168.0.0/255.255.255.0
指定域名的主机：david.bsmart.cn
指定域中的所有主机：*.bsmart.cn
所有主机：*
c. 选项：
选项用来设置输出目录的访问权限、用户映射等。
NFS主要有3类选项：
访问权限选项
设置输出目录只读：ro
设置输出目录读写：rw
用户映射选项
all_squash：将远程访问的所有普通用户及所属组都映射为匿名用户或用户组（nfsnobody）；
no_all_squash：与all_squash取反（默认设置）；
root_squash：将root用户及所属组都映射为匿名用户或用户组（默认设置）；
no_root_squash：与rootsquash取反；
anonuid=xxx：将远程访问的所有用户都映射为匿名用户，并指定该用户为本地用户（UID=xxx）；
anongid=xxx：将远程访问的所有用户组都映射为匿名用户组账户，并指定该匿名用户组账户为本地用户组账户（GID=xxx）；
其它选项
secure：限制客户端只能从小于1024的tcp/ip端口连接nfs服务器（默认设置）；
insecure：允许客户端从大于1024的tcp/ip端口连接服务器；
sync：将数据同步写入内存缓冲区与磁盘中，效率低，但可以保证数据的一致性；
async：将数据先保存在内存缓冲区中，必要时才写入磁盘；
wdelay：检查是否有相关的写操作，如果有则将这些写操作一起执行，这样可以提高效率（默认设置）；
no_wdelay：若有写操作则立即执行，应与sync配合使用；
subtree：若输出目录是一个子目录，则nfs服务器将检查其父目录的权限(默认设置)；
no_subtree：即使输出目录是一个子目录，nfs服务器也不检查其父目录的权限，这样可以提高效率；

相关命令
1、exportfs
如果我们在启动了NFS之后又修改了/etc/exports，是不是还要重新启动nfs呢？这个时候我们就可以用exportfs 命令来使改动立刻生效，该命令格式如下：
　　# exportfs [-aruv]
　　-a 全部挂载或卸载 /etc/exports中的内容
　　-r 重新读取/etc/exports 中的信息 ，并同步更新/etc/exports、/var/lib/nfs/xtab
　　-u 卸载单一目录（和-a一起使用为卸载所有/etc/exports文件中的目录）
　　-v 在export的时候，将详细的信息输出到屏幕上。
具体例子：
　　# exportfs -au 卸载所有共享目录
　　# exportfs -rv 重新共享所有目录并输出详细信息
2、nfsstat
查看NFS的运行状态，对于调整NFS的运行有很大帮助。
3、rpcinfo
查看rpc执行信息，可以用于检测rpc运行情况的工具，利用rpcinfo -p 可以查看出RPC开启的端口所提供的程序有哪些。
4、showmount
　　-a 显示已经于客户端连接上的目录信息
　　-e IP或者hostname 显示此IP地址分享出来的目录
5、netstat
可以查看出nfs服务开启的端口，其中nfs 开启的是2049，portmap 开启的是111，其余则是rpc开启的。
最后注意两点，虽然通过权限设置可以让普通用户访问，但是挂载的时候默认情况下只有root可以去挂载，普通用户可以执行sudo。
NFS server 关机的时候一点要确保NFS服务关闭，没有客户端处于连接状态！通过showmount -a 可以查看，如果有的话用kill killall pkill 来结束，（-9 强制结束）

6.NFS服务器搭建

服务器端:
1)查看系统版本
[root@nfs_server ~]# uname -a
Linux nfs_server 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux
[root@nfs_server ~]# cat /etc/redhat-release
CentOS release 6.5 (Final)
关闭Linux防火墙:service iptables stop

2)软件安装
服务器端安装nfs-utils和rpcbind两个服务
查看系统是否安装这两个软件
[root@nfs_server ~]# rpm -qa|egrep “nfs-utils|rpcbind”
nfs-utils-lib-1.1.5-13.el6.x86_64
rpcbind-0.2.0-13.el6_9.1.x86_64
nfs-utils-1.2.3-75.el6.x86_64
我的系统上已经安装，如果没安装，可以使用
yum install rpcbind nfs-utils -y 来安装

3)启动rpcbind和nfs服务
在这里，要先启动rpcbind，后启动nfs服务，因为nfs服务要向rpcbind注册的，这样rpcbind才能获取到nfs的开放端口，因此无论是启动或者重启，都要先启动rpcbind，后启动nfs服务
/etc/init。关闭NFS服务时，先关闭nfs服务，后关闭rpcbind
[root@nfs_server ~]# /etc/init.d/rpcbind start

[root@nfs_server ~]# /etc/init.d/nfs start

4)配置开机自启动
chkconfig nfs on
chkconfig –list nfs
chkconfig rpcbind on
chkconfig –list rpcbind

5)配置共享目录
创建共享目录
mkdir /data
服务器的共享目录属主和属组应改成匿名用户
chown -R nfsnobody:nfsnobody /data
编辑nfs配置文件
vi /etc/exports
/data 192.168.200.0/24(rw,sync)

说明:/data为共享目录
192.168.200.0/24为允许访问的网段

或者cat >> /etc/exports << EOF
/data 192.168.200.0/24(rw,sync)
EOF

配置完/etc/exports不要忘记重新加载一下
/etc/init.d/nfs reload 或者exportfs -r
客户端:
1)安装并启动rpcbind
客户端安装rpcbind,也可rpcbind，nfs-utils都安装
客户端也要有和服务器相同的匿名用户，否则不同的客户端进行数据修改会有问题。
yum install rpcbind nfs-utils
rpm -qa | egrep “rpcbind|nfs-utils”
/etc/init.d/rpcbind start
ps -ef |grep rpcbind
chkconfig rpcbind on
chkconfig –list rpcbind

2).查看服务器端的共享信息
[root@nfs_client ~]# showmount -e 192.168.200.128
Export list for 192.168.200.128:
/data 192.168.200.0/24

3).客户端挂载服务器的共享目录
mount -t nfs 192.168.200.128:/data /mnt
这样搭建NFS服务就完成了

关于权限的分析
　1. 客户端连接时候，对普通用户的检查
　　　a. 如果明确设定了普通用户被压缩的身份，那么此时客户端用户的身份转换为指定用户；
　　　b. 如果NFS server上面有同名用户，那么此时客户端登录账户的身份转换为NFS server上面的同名用户；
　　　c. 如果没有明确指定，也没有同名用户，那么此时 用户身份被压缩成nfsnobody；
　2. 客户端连接的时候，对root的检查
　　　a. 如果设置no_root_squash，那么此时root用户的身份被压缩为NFS server上面的root；
　　　b. 如果设置了all_squash、anonuid、anongid，此时root 身份被压缩为指定用户；
　　　c. 如果没有明确指定，此时root用户被压缩为nfsnobody；
　　　d. 如果同时指定no_root_squash与all_squash 用户将被压缩为 nfsnobody，如果设置了anonuid、anongid将被压缩到所指定的用户与组；

7.NFS服务调优
1).客户端优化
客户端优化主要是挂载优化，主要参数有:
rw:读写权限
ro:只读权限

suid:允许设置suid
nosuid:不允许设置suid

exec：允许在共享文件系统中直接执行任何二进制文件
noexec:不允许在共享文件系统中直接执行任何二进制文件

user：允许用户去挂载和卸载这个共享目录。并且这个选项也意味着noexec, nosuid, and nodev这个选项，除非后面有覆盖指定。
nouser:不允许用户去挂载和卸载这个共享目录

fg | bg 当执行挂载时，该挂载行为是在前台（fg）还是在后台（bg）执行。若在前台执行，则mount会持续尝试链接，直到成功或time out为止。若为在后台执行，则mount会在后台持续多次进行mount，而不会影响到前台的程序操作。如果网络联机不稳定，或是服务器常常需要开关机。建议使用bg比较妥当。

soft| hard :使用挂载时会使用RPC呼叫。如果是hard的情况，那么当两者之间有任何一台主机离线，那RPC会持续呼叫，直到对方恢复联机为止。而soft，只是在RPC time out后重复呼叫。而非持续呼叫。因此系统的延迟会不这么明显，如果服务器经常开开关关的话，建议使用soft。在生产环境中推荐使用hard,intr这样的方式来挂载。
intr 当使用hard方式挂载时，若加上intr参数，则RPC的持续呼叫是可以被中断的

rsize|wsize ：读出（rsize）和写入（wsize）的区块大小。这个设置值可以影响客户端与服务器端传输数据的缓冲存储容量。一般来说，如果在局域网内（LAN），并且客户端与服务器都具有足够的内存，这个值可以设置大一点，比如说32768，提升缓冲区块将可提升NFS文件系统的传输能力。但设置的值也不要太大，最好是实现网络能够传输的最大值为限。

推荐挂载参数：
umount -lf /mnt 强制卸载
Centos5.8 x86_64客户端挂载优化
mount -t nfs -o noatime,nodiratime,nosuid,noexec,nodev,rw,bg,soft,rsize=32768,wsize=32768 192.168.200.128:/data /mnt
Centos6.5 x86_64客户端挂载优化
mount -t nfs -o noatime,nodiratime,nosuid,noexec,nodev,rw,bf,hard,intr 192.168.200.128:/data /mnt
最佳性能挂载；mount -t nfs - noatime,nodiratime,rsize=131072,wsize=131072 192.168.200.128:/data /mnt

如何设置开机自动挂载

特别说明：我们重新启动客户端之后，我们要重新去挂载nfs,我们可以有两种方式来实现。

<1>通过把mount–t nfs 192.168.200.128：/data /mnt这条命令写到/etc/rc.local中，让它开机就执行。

<2>在/etc/fstab（系统开机启动分区加载项）添加我们的NFS配置：

192.168.200.128:/data /mnt nfs defaults 0 0 。

但在生产环境中，对于共享的NFS目录，一般不会配置到/etc/fstab里。因为在客户端主机重启时如果由于网络等原因连接不上nfs server时，就会导致客户机无法启动的厄运发生。一般是通过把mount -t nfs 192.168.200.128:/data /mnt命令放到rc.local中来实现开机自动挂载NFS。

2)服务器端优化
NFS内核调优；调整接收/发送套接字缓冲区大小
cat /proc/sys/net/core/rmem_default
cat /proc/sys/net/core/rmem_max

echo 262144 > /proc/sys/net/core/rmem_default
echo 262144 > /proc/sys/net/core/rmem_max

写入文件
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
sysctl -p

8.NFS综述

NFS优点

1、简单容易掌握

2、方便快速部署简单维护容易

3、可靠—从软件层面上看，数据可靠性高，经久耐用

NFS局限

1、局限性是存在单点故障，如果NFSserver宕机了所有客户端都不能访问共享目录，#####我们可以通过rsync来进行数据的同步。或者是通过负载均衡的高可用方案。######

2、在高并发的场合，NFS效率性能有限（一般几千万以下pv的网站不是瓶颈，除非网站架构太差。）

3、服务器共享文件的客户端认证是基于IP和主机名的安全性一般（但用于内网则问题不大）

4、NFS数据是明文的，对数据完整性不做验证（一般是存放于内网，提供内网的服务器使用。所以安全性相对不是一个问题）

5、多机器挂载服务器时，连接管理维护麻烦。尤其NFS服务端出问题后，所有客户端都挂掉状态（可使用autofs自动挂载解决。）

生产应用场景

中小型网站（2000万pv以下）线上应用，都有用武之地。门户网站也会有其他方面的应用，。因为门户网站的并发量是超级的大。所以有更加会用专业的存储来做这件事情。