NFS企业级网络存储服务

1、什么是NFS？

全称 network file system 网络文件系统
通过网络存储和组织文件的一种方法或机制。
什么是文件系统？

2、为什么要用共享存储？

前端所有的应用服务器接收到用户上传的图片、文件、视频，都会统一
的放到后端的存储上。
为什么要共享？所有节点服务器都需要将内容存到存储上，取的统一来取。

3、共享存储的种类

单点存储系统就是NFS，中小型企业，阿里云服务的NAS服务，OSS对象存储。
NFS性能不太高。
大型企业会用分布式存储FastDFS、Ceph、GlsterFS、Mfs
大型存储厂商：EMC、Netapp 几十万。
艺龙旅行网存储用的EMC 传统企业。
硬件存储：传统企业：稳定、2台双主机头几十块硬盘 RAID10。
BAT 曾经用硬件，超贵、阿里云去IOE Ibm Orace EMC

4、NFS工作原理

NFS网络文件系统
启动NFS服务，而且还有启动很多端口。
NFS功能，需要很多服务。每个服务都有端口，而且经常变化。
如何让客户端找到这些端口呢？就需要一个经纪人（rpc服务）
NFS服务：
1、NFS服务（有很多进程和端口），把自己的端口告诉RPC。
2、RPC服务（对外固定端口111）

客户端请求NFS服务，先找RPC 111，查到NFS的端口，发给客户。原理见图：

5、安装

服务器端和客户端都要安装：
yum install nfs-utils rpcbind -y
rpm -qa nfs-utils rpcbind

[root@nfs01 ~]# rpm -qa nfs-utils rpcbind
nfs-utils-1.3.0-0.61.el7.x86_64
rpcbind-0.2.0-47.el7.x86_64

启动RPC

[root@nfs01 ~]# systemctl start rpcbind.service
[root@nfs01 ~]# systemctl enable rpcbind.service

看看有没有注册的端口

[root@nfs01 ~]# rpcinfo -p 127.0.0.1
program vers proto port service
100000 4 tcp 111 portmapper
100000 3 tcp 111 portmapper
100000 2 tcp 111 portmapper
100000 4 udp 111 portmapper
100000 3 udp 111 portmapper
100000 2 udp 111 portmapper

启动NFS

[root@nfs01 ~]# systemctl start nfs
[root@nfs01 ~]# systemctl enable nfs
[root@nfs01 ~]# rpcinfo -p 127.0.0.1
program vers proto port service
100000 4 tcp 111 portmapper
100000 3 tcp 111 portmapper
100000 2 tcp 111 portmapper
100000 4 udp 111 portmapper
100000 3 udp 111 portmapper
100000 2 udp 111 portmapper
100024 1 udp 44521 status
100024 1 tcp 59204 status
100005 1 udp 20048 mountd
100005 1 tcp 20048 mountd
100005 2 udp 20048 mountd
100005 2 tcp 20048 mountd
100005 3 udp 20048 mountd
100005 3 tcp 20048 mountd

100003    3   tcp   2049  nfs
100003    4   tcp   2049  nfs
100227    3   tcp   2049  nfs_acl
100003    3   udp   2049  nfs
100003    4   udp   2049  nfs
100227    3   udp   2049  nfs_acl
100021    1   udp  55758  nlockmgr
100021    3   udp  55758  nlockmgr
100021    4   udp  55758  nlockmgr
100021    1   tcp  30472  nlockmgr
100021    3   tcp  30472  nlockmgr
100021    4   tcp  30472  nlockmgr

[root@nfs01 ~]# netstat -lntup|egrep "rpc|nfs"
tcp 0 0 0.0.0.0:20048 0.0.0.0:* LISTEN 9516/rpc.mountd
tcp 0 0 0.0.0.0:59204 0.0.0.0:* LISTEN 9463/rpc.statd
tcp6 0 0 :::20048 :::* LISTEN 9516/rpc.mountd
tcp6 0 0 :::14450 :::* LISTEN 9463/rpc.statd
udp 0 0 0.0.0.0:44521 0.0.0.0:* 9463/rpc.statd
udp 0 0 0.0.0.0:20048 0.0.0.0:* 9516/rpc.mountd
udp 0 0 0.0.0.0:695 0.0.0.0:* 9424/rpcbind
udp 0 0 127.0.0.1:735 0.0.0.0:* 9463/rpc.statd
udp6 0 0 :::20048 :::* 9516/rpc.mountd
udp6 0 0 :::695 :::* 9424/rpcbind
udp6 0 0 :::4835 :::* 9463/rpc.statd

6、配置nfs

NFS配置文件 /etc/exports
[root@nfs01 ~]# man exports
EXAMPLE
# sample /etc/exports file
/ master(rw) trusty(rw,no_root_squash)
/projects proj*.local.domain(rw)
/usr *.local.domain(ro) @trusted(rw)
/home/joe pc001(rw,all_squash,anonuid=150,anongid=100)
/pub (ro,insecure,all_squash)
/srv/www -sync,rw server @trusted @external(ro)
/foo 2001:db8:9:e54::/64(rw) 192.0.2.0/24(rw)
/build buildhost[0-9].local.domain(rw)
待共享的目录访问的主机(权限)
1）待共享的目录存东西的目录取东西的目录例如：/data
2）访问的主机，
172.16.1.7（web01）单个主机
172.16.1.0/24 网段
172.16.1. 网段
master 主机名
3)()权限
rw 可读写 read write
ro 只读 read only
sync 写到磁盘才算完成，安全慢
async 异步写到远程缓冲区，快不安全
一会再说。。。。

实践：

[root@nfs01 ~]# tail -1 /etc/exports
/data 172.16.1.0/24(rw,sync)
[root@nfs01 ~]# mkdir -p /data
[root@nfs01 ~]# ls -ld /data
drwxr-xr-x 2 root root 51 4月 16 10:24 /data
NFS默认用户nfsnobody
[root@nfs01 ~]# grep nfsno /etc/passwd
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
[root@nfs01 ~]# chown -R nfsnobody.nfsnobody /data
[root@nfs01 ~]# ls -ld /data
drwxr-xr-x 2 nfsnobody nfsnobody 51 4月 16 10:24 /data

重启NFS

[root@nfs01 ~]# systemctl reload nfs #《==生产场景必须要实现平滑重启。
[root@nfs01 ~]# exportfs -r
上述二者等价，选一个即可。
[root@nfs01 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24 #《==看到共享的目录了

服务端本地挂载：

[root@nfs01 ~]# mount -t nfs 172.16.1.31:/data /mnt
[root@nfs01 ~]# df -h
文件系统容量已用可用已用% 挂载点
/dev/sda3 19G 1.8G 18G 10% /
devtmpfs 476M 0 476M 0% /dev
tmpfs 487M 0 487M 0% /dev/shm
tmpfs 487M 7.6M 479M 2% /run
tmpfs 487M 0 487M 0% /sys/fs/cgroup
/dev/sda1 253M 136M 118M 54% /boot
tmpfs 98M 0 98M 0% /run/user/0
172.16.1.31:/data 19G 1.8G 18G 10% /mnt
[root@nfs01 ~]# touch /mnt/oldboy.txt
[root@nfs01 ~]# ls /mnt/
oldboy.txt

换到web01挂载

1）安装

yum install nfs-utils rpcbind -y
rpm -qa nfs-utils rpcbind

2)启动

[root@web01 ~]# systemctl start rpcbind
[root@web01 ~]# systemctl enable rpcbind
[root@web01 ~]# netstat -lntup|grep rpc
udp 0 0 0.0.0.0:775 0.0.0.0:* 11624/rpcbind
udp6 0 0 :::775 :::* 11624/rpcbind
[root@web01 ~]# netstat -lntup|grep rpcbind
udp 0 0 0.0.0.0:775 0.0.0.0:* 11624/rpcbind
udp6 0 0 :::775 :::* 11624/rpcbind
[root@web01 ~]# ps -ef|grep rpcbind
rpc 11624 1 0 12:17 ? 00:00:00 /sbin/rpcbind -w

3）查看NFS服务器提供的共享目录

[root@web01 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24

nt_create: RPC: Program not registered
程序没有注册
RPC服务开启了，但是NFS没有告诉RPC服务端口。

4）挂载测试

[root@web01 ~]# mount -t nfs 172.16.1.31:/data /mnt
[root@web01 ~]# df -h
文件系统容量已用可用已用% 挂载点
/dev/sda3 19G 1.8G 18G 10% /
devtmpfs 476M 0 476M 0% /dev
tmpfs 487M 0 487M 0% /dev/shm
tmpfs 487M 7.6M 479M 2% /run
tmpfs 487M 0 487M 0% /sys/fs/cgroup
/dev/sda1 253M 136M 118M 54% /boot
tmpfs 98M 0 98M 0% /run/user/0
172.16.1.31:/data 19G 1.8G 18G 10% /mnt
[root@web01 ~]# touch /mnt/oldgirl.txt
[root@web01 ~]# ls /mnt/
oldboy.txt oldgirl.txt

3、项目实践：

web01 backup客户端实现挂载到nfs
NFS下面共享/backup ，允许web01 backup客户端（/backup）可读写.
web01上传图片，backup上可以删除web01上传的图片。
NFS下面共享/data1,允许 web01 backup客户端10网段只读（data1）
实现开机自动挂载