企业NFS共享存储服务
介绍及作用位置：
透过网路（一般是局域网）让不同的主机系统之间可以共享文件或目录。
ＮＦＳ客户端（一般为应用服务器 例:WEB 服务）可以透过挂载的方式将NFS服务器端共享的数据目录挂载到客户端本地系统中。从客户端本地来看，NFS服务器端共享的目录就好像是客户端自己的磁盘分区或者目录一样，而实际上却是远端的NFS服务器目录。
互联网中小型网站集群架构后端常常用NFS进行数据共享，如果是大型网站，那么有可能还会用到更复杂的分布式文件系统，例如:Moosefs(mfs)、GlusterFS,FastDFS
NFS服务部署服务器准备：
这边我们开三台虚拟机来实践
1. 10.0.0.31 (nfs01) 作为服务器 2. 10.0.0.41 (backup)作为Client 1 3. 10.0.0.8 (web01) 作为Client 2
服务器环境系统：
[root@nfs01 ~]# cat /etc/redhat-release
CentOS release 6.9 (Final)
[root@nfs01 ~]# uname -r
2.6.32-696.el6.x86_64
[root@nfs01 ~]# uname -m
x86_64
NFS 软体列表：
要部署NFS服务，需要安装下面的软件包：
注意，如果要让我们下载的yum留下来，以后可以做yum 仓库，可以这样配置
nfs-utils
NFS服务的主程序，包括rpc.nfsd、rpc.mountd这两个 daemons和相关文档说明，以及执行命令文件等rpcbind
Centos6.X 下面RPC 的主程序。NFS可以视为一个RPC程序，在启动任何一个RPC程序之前，需要做好端口和功能的对应映射工作，这个映射工作就是由rpcbind服务来完成的。因此，在提供NFS服务之前必须先启动rpcbind服务才可以。
[root@backup yum]# cat /etc/yum.conf
[main]
cachedir=/var/cache/yum/$basearch/$releasever
keepcache=1 ------>这边原本是0改成1
debuglevel=2
logfile=/var/log/yum.log
exactarch=1
查看目前已经下载的yum
[root@backup yum]# tree /var/cache/yum/x86_64/6/|grep "rpm"
│ │ ├── keyutils-1.4-5.el6.x86_64.rpm
│ │ ├── libevent-1.4.13-4.el6.x86_64.rpm
│ │ ├── libgssglue-0.1-11.el6.x86_64.rpm
│ │ ├── nfs-utils-1.2.3-75.el6.x86_64.rpm
│ │ └── nfs-utils-lib-1.1.5-13.el6.x86_64.rpm
│ ├── libtirpc-0.2.1-13.el6_9.x86_64.rpm
│ └── rpcbind-0.2.0-13.el6_9.1.x86_64.rpm
NFS 开启服务：
[root@nfs01 ~]# /etc/init.d/rpcbind start
Starting rpcbind: [ OK ]
[root@nfs01 ~]# netstat -tunlp | grep rpc
tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN 2974/rpcbind
tcp 0 0 :::111 :::* LISTEN 2974/rpcbind
udp 0 0 0.0.0.0:605 0.0.0.0:* 2974/rpcbind
udp 0 0 0.0.0.0:111 0.0.0.0:* 2974/rpcbind
udp 0 0 :::605 :::* 2974/rpcbind
udp 0 0 :::111 :::* 2974/rpcbind
rpc 主端口是111
要怎么看有没有房源啊？
[root@nfs01 ~]# rpcinfo -p localhost
program vers proto port service
100000 4 tcp 111 portmapper
100000 3 tcp 111 portmapper
100000 2 tcp 111 portmapper
100000 4 udp 111 portmapper
100000 3 udp 111 portmapper
100000 2 udp 111 portmapper
---->上面都只有自己的端口
开启nfs服务
[root@nfs01 ~]# /etc/init.d/nfs start
Starting NFS services: [ OK ]
Starting NFS quotas: [ OK ]
Starting NFS mountd: [ OK ]
Starting NFS daemon: [ OK ]
Starting RPC idmapd: [ OK ]
然后我们再看看rpc 有没有房了？
[root@nfs01 ~]# rpcinfo -p localhost
program vers proto port service
100000 4 tcp 111 portmapper
100000 3 tcp 111 portmapper
100000 2 tcp 111 portmapper
100000 4 udp 111 portmapper
100000 3 udp 111 portmapper
100000 2 udp 111 portmapper
100011 1 udp 875 rquotad
100011 2 udp 875 rquotad
100011 1 tcp 875 rquotad
100011 2 tcp 875 rquotad
100005 1 udp 40802 mountd
100005 1 tcp 46645 mountd
100005 2 udp 53778 mountd
100005 2 tcp 54941 mountd
100005 3 udp 59941 mountd
100005 3 tcp 40293 mountd
100003 2 tcp 2049 nfs
100003 3 tcp 2049 nfs
100003 4 tcp 2049 nfs
100227 2 tcp 2049 nfs_acl
100227 3 tcp 2049 nfs_acl
100003 2 udp 2049 nfs
100003 3 udp 2049 nfs
100003 4 udp 2049 nfs
100227 2 udp 2049 nfs_acl
100227 3 udp 2049 nfs_acl
100021 1 udp 44455 nlockmgr
100021 3 udp 44455 nlockmgr
100021 4 udp 44455 nlockmgr
100021 1 tcp 43293 nlockmgr
100021 3 tcp 43293 nlockmgr
100021 4 tcp 43293 nlockmgr
我们之前说过，每个进程都会有所谓的虚拟用户，当我们在yum安装时，变生成的下面的id 用户
[root@nfs01 ~]# id nobody
uid=99(nobody) gid=99(nobody) groups=99(nobody)
[root@nfs01 ~]# id nfsnobody
uid=65534(nfsnobody) gid=65534(nfsnobody) groups=65534(nfsnobody)
[root@nfs01 ~]# chkconfig nfs on
[root@nfs01 ~]# chkconfig rpcbind on
总结：先启动rpcbind，再启动nfs服务。再把他们加入开机自启动
查看一下nfs 跟rpc 的开机自启动部分：
[root@nfs01 ~]# ls /etc/rc.d/rc3.d/ | grep -E "nfs|rpc"
K61nfs-rdma
K69rpcsvcgssd
S13rpcbind
S14nfslock
S19rpcgssd
S30nfs
实践配置NFS：
NFS服务的默认配置文件路径为:/etc/exports ，并且默认为空的。
[root@nfs01 ~]# ls -l /etc/exports
-rw-r--r--. 1 root root 0 Jan 12 2010 /etc/exports
格式：
NFS 共享目录 NFS客户端地址
EXAMPLE
# sample /etc/exports file
/ master(rw) trusty(rw,no_root_squash)
/projects proj*.local.domain(rw)
/usr *.local.domain(ro) @trusted(rw)
/home/joe pc001(rw,all_squash,anonuid=150,anongid=100)
/pub *(ro,insecure,all_squash)
/srv/www -sync,rw server @trusted @external(ro)
/foo 2001:db8:9:e54::/64(rw) 192.0.2.0/24(rw)
/build buildhost[0-9].local.domain(rw)
上述各个列的参数含义如下：
NFS 共享的目录：为NFS服务端要共享的实际目录，要用绝对路径，如(/data)。注意共享目录的本地权限，如果需要读写共享，一定要让本地目录可以被NFS客户端的用户(nfsnobody)读写。
NFS 客户端地址：为NFS服务端授权的可访问共享目录的NFS客户端地址，可以为单独的ＩＰ地址或主机名、域名等 ，也可以为整个网段地址，还可以用“*” 来匹配所有客户端服务器，这里所谓的客户端一般来说是前端的业务服务器，例如：web 服务。
权限参数集： 对授权的NFS客户端的访问权限设置
[root@nfs01 ~]# mkdir /data -p
[root@nfs01 ~]# id nfsnobody
uid=65534(nfsnobody) gid=65534(nfsnobody) groups=65534(nfsnobody)
[root@nfs01 ~]# ls -ld /data
drwxr-xr-x. 2 root root 4096 Oct 13 14:33 /data
[root@nfs01 ~]# chown -R nfsnobody.nfsnobody /data
[root@nfs01 ~]# ls -ld /data
drwxr-xr-x. 2 nfsnobody nfsnobody 4096 Oct 13 14:33 /data
[root@nfs01 ~]# vim /etc/exports
[root@nfs01 ~]# cat /etc/exports
#shared /data by oldboy for bingbing at 20171013
/data 172.16.1.0/24(rw,sync)
这样上述的基本配置就处理完了。配置完后，要检查一下状态是否正确：
[root@nfs01 ~]# /etc/init.d/rpcbind status
rpcbind (pid 2974) is running...
[root@nfs01 ~]# /etc/init.d/nfs status
rpc.svcgssd is stopped
rpc.mountd (pid 3033) is running...
nfsd (pid 3049 3048 3047 3046 3045 3044 3043 3042) is running...
rpc.rquotad (pid 3028) is running...
[root@nfs01 ~]# rpcinfo -p localhost
program vers proto port service
100000 4 tcp 111 portmappe
...不全部列出
[root@nfs01 ~]# /etc/init.d/nfs reload （平滑重启服务）
**上面的平滑重启命令 等价于 exportfs -rv **
上面平滑重启后，我们要检查服务到底有没有真正挂载上去：
[root@nfs01 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24 ---->有出现这个，就表示服务端是启动正常的！
企业生产场景 NFS exports 配置实例 配置（客户端）：
这边我们的环境是在10.0.0.8(web01)
客户端一样要先安装：nfs-utils , rpcbind 软件包
[root@web01 ~]# /etc/init.d/rpcbind start
[root@web01 ~]# /etc/init.d/rpcbind status
rpcbind (pid 1210) is running...
[root@web01 ~]# chkconfig rpcbind on
[root@web01 ~]# chkconfig --list rpcbind
rpcbind 0:off 1:off 2:on 3:on 4:on 5:on 6:of
连线检查：
[root@web01 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24
[root@web01 ~]# telnet 172.16.1.31 111
Trying 172.16.1.31...
Connected to 172.16.1.31.
挂载
[root@web01 ~]# mount -t nfs 172.16.1.31:/data /mnt
[root@web01 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda3 6.6G 1.5G 4.8G 23% /
tmpfs 491M 0 491M 0% /dev/shm
/dev/sda1 190M 35M 146M 19% /boot
172.16.1.31:/data 6.6G 1.6G 4.7G 25% /mnt
测试：
[root@web01 mnt]# touch oldboy.txt
[root@web01 mnt]# echo "good" >> oldboy.txt
回到服务器里面看：
[root@nfs01 ~]# ls /data/
oldboy.txt
[root@nfs01 ~]# cat /data/oldboy.txt
good