第1章 NFS企业级网络存储服务器
1.1 什么是NFS
NFS(Network File System)即网络文件系统,它允许网络中的计算机之间通过TCP/IP网络共享资源。在NFS的应用中,本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件,就像访问本地文件一样。
什么是文件系统
操作系统中负责管理和存储文件信息的软件机构称为文件管理系统,简称文件系统
1.2 为什么要用共享存储
前端所有的应用服务器接收到用户上传的图片、文件、视频等都会统一放到后端的存储上。使用共享存储后,客户端所有节点的服务器都可以访问到存储上的内容。
1.3 NFS的工作原理
NFS服务:
1、NFS服务(有很多进程和端口),把自己的端口告诉RPC。
2、RPC服务(对外有固定端口 111)
NFS客户端在访问NFS服务端的时候,先由本地的RPC服务通过网络连通NFS服务端的RPC服务,获取到服务端的NFS服务的端口号,然后本地的RPC服务根据获取到的端口号连通服务端的NFS服务,从而访问服务端的共享内容。
具体原理见图:
1.4 安装NFS服务
1.4.1 安装nfs和rpc服务
服务器端和客户端都要安装,命令如下:
yum install nfs-utils rpcbind -y
安装完成后要检查:
rpm -qa nfs-utils rpcbind
有返回信息说明安装成功:
[root@nfs01 ~]# rpm -qa nfs-utils rpcbind
nfs-utils-1.3.0-0.61.el7.x86_64
rpcbind-0.2.0-47.el7.x86_64
1.4.2 启动rpc服务
[root@nfs01 ~]$ systemctl start rpcbind.service
[root@nfs01 ~]$ systemctl enable rpcbind.service
1.4.3 查看现有的端口
[root@nfs01 ~]$ rpcinfo -p 127.0.0.1
program vers proto port service
100000 4 tcp 111 portmapper
100000 3 tcp 111 portmapper
100000 2 tcp 111 portmapper
100000 4 udp 111 portmapper
100000 3 udp 111 portmapper
100000 2 udp 111 portmapper
1.4.4 启动nfs服务
[root@nfs01 ~]$ systemctl start nfs
[root@nfs01 ~]$ systemctl enable nfs
1.4.5 再查看注册后的端口
[root@nfs01 ~]# rpcinfo -p 127.0.0.1
program vers proto port service
100000 4 tcp 111 portmapper
100000 3 tcp 111 portmapper
100000 2 tcp 111 portmapper
100000 4 udp 111 portmapper
100000 3 udp 111 portmapper
100000 2 udp 111 portmapper
100024 1 udp 44521 status
100024 1 tcp 59204 status
100005 1 udp 20048 mountd
100005 1 tcp 20048 mountd
100005 2 udp 20048 mountd
100005 2 tcp 20048 mountd
100005 3 udp 20048 mountd
100005 3 tcp 20048 mountd
100003 3 tcp 2049 nfs
100003 4 tcp 2049 nfs
100227 3 tcp 2049 nfs_acl
100003 3 udp 2049 nfs
100003 4 udp 2049 nfs
100227 3 udp 2049 nfs_acl
100021 1 udp 55758 nlockmgr
100021 3 udp 55758 nlockmgr
100021 4 udp 55758 nlockmgr
100021 1 tcp 30472 nlockmgr
100021 3 tcp 30472 nlockmgr
100021 4 tcp 30472 nlockmgr
或者:
[root@nfs01 ~]$ netstat -lntup|egrep "rpc|nfs"
tcp 0 0 0.0.0.0:20048 0.0.0.0:* LISTEN 9516/rpc.mountd
tcp 0 0 0.0.0.0:59204 0.0.0.0:* LISTEN 9463/rpc.statd
tcp6 0 0 :::20048 :::* LISTEN 9516/rpc.mountd
tcp6 0 0 :::14450 :::* LISTEN 9463/rpc.statd
udp 0 0 0.0.0.0:44521 0.0.0.0:* 9463/rpc.statd
udp 0 0 0.0.0.0:20048 0.0.0.0:* 9516/rpc.mountd
udp 0 0 0.0.0.0:695 0.0.0.0:* 9424/rpcbind
udp 0 0 127.0.0.1:735 0.0.0.0:* 9463/rpc.statd
udp6 0 0 :::20048 :::* 9516/rpc.mountd
udp6 0 0 :::695 :::* 9424/rpcbind
udp6 0 0 :::4835 :::* 9463/rpc.statd
1.5 配置nfs
NFS的配置文件: /etc/exports
[root@nfs01 ~]$ man exports
EXAMPLE
sample /etc/exports file
/ master(rw) trusty(rw,no_root_squash)
/projects proj*.local.domain(rw)
/usr *.local.domain(ro) @trusted(rw)
/home/joe pc001(rw,all_squash,anonuid=150,anongid=100)
/pub *(ro,insecure,all_squash)
/srv/www -sync,rw server @trusted @external(ro)
/foo 2001:db8:9:e54::/64(rw) 192.0.2.0/24(rw)
/build buildhost[0-9].local.domain(rw)
待共享的目录 访问的主机(权限)
配置文件的内容一共有两列:
第一列:待共享的目录:就是存取文件的目录。例如:/data
第二列:访问的主机与权限(权限写在小括号内)
1、访问的主机可以是IP或域名:如172.16.1.7(web01)
还可以是网段:如172.16.1.0/24或172.16.1.*
也可以是主机名:如master
2、权限有:rw 可读写(read write)、ro 只读(read only)、sync 写到磁盘才算完成、async 异步写到远程缓冲区。
1.6 实践:
1.6.1 编辑配置文件,内容如下:
[root@nfs01 ~]$ tail -1 /etc/exports
/data 172.16.1.0/24(rw,sync)
1.6.2 确认NFS默认用户nfsnobody
[root@nfs01 ~]$ grep nfsno /etc/passwd
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
1.6.3 创建/data目录,并更改属主和属组
[root@nfs01 ~]$ mkdir -p /data
[root@nfs01 ~]$ ls -ld /data
drwxr-xr-x 2 root root 51 4月 16 10:24 /data
[root@nfs01 ~]$ chown -R nfsnobody.nfsnobody /data
[root@nfs01 ~]$ ls -ld /data
drwxr-xr-x 2 nfsnobody nfsnobody 51 4月 16 10:24 /data
1.6.4 重启NFS服务
[root@nfs01 ~]$ systemctl reload nfs <==生产场景必须要实现平滑重启。
[root@nfs01 ~]$ exportfs -r
上述二者等价,选一个即可。
1.6.5 查看共享目录信息
[root@nfs01 ~]$ showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24 <==看到共享的目录了
1.6.6 服务本地挂载
[root@nfs01 ~]$ mount -t nfs 172.16.1.31:/data /mnt
[root@nfs01 ~]$ df -h
文件系统 容量 已用 可用 已用% 挂载点
/dev/sda3 19G 1.8G 18G 10% /
devtmpfs 476M 0 476M 0% /dev
tmpfs 487M 0 487M 0% /dev/shm
tmpfs 487M 7.6M 479M 2% /run
tmpfs 487M 0 487M 0% /sys/fs/cgroup
/dev/sda1 253M 136M 118M 54% /boot
tmpfs 98M 0 98M 0% /run/user/0
172.16.1.31:/data 19G 1.8G 18G 10% /mnt
[root@nfs01 ~]$ touch /mnt/oldboy.txt
[root@nfs01 ~]$ ls /mnt/
oldboy.txt
1.6.7 跨服务器挂载
在客户端的服务器上操作:
1.6.7.1 安装和查看nfs和rpc服务
yum install nfs-utils rpcbind -y
rpm -qa nfs-utils rpcbind
1.6.7.2 启动rpc服务
[root@web01 ~]$ systemctl start rpcbind
[root@web01 ~]$ systemctl enable rpcbind
查看端口:
[root@web01 ~]$ netstat -lntup|grep rpcbind
udp 0 0 0.0.0.0:775 0.0.0.0:* 11624/rpcbind
udp6 0 0 :::775 :::* 11624/rpcbind
查看进程:
[root@web01 ~]$ ps -ef|grep rpcbind
rpc 11624 1 0 12:17 ? 00:00:00 /sbin/rpcbind -w
1.6.7.3 查看NFS服务器提供的共享目录
[root@web01 ~]$ showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24
1.6.7.4 挂载测试
[root@web01 ~]$ mount -t nfs 172.16.1.31:/data /mnt
[root@web01 ~]$ df -h
文件系统 容量 已用 可用 已用% 挂载点
/dev/sda3 19G 1.8G 18G 10% /
devtmpfs 476M 0 476M 0% /dev
tmpfs 487M 0 487M 0% /dev/shm
tmpfs 487M 7.6M 479M 2% /run
tmpfs 487M 0 487M 0% /sys/fs/cgroup
/dev/sda1 253M 136M 118M 54% /boot
tmpfs 98M 0 98M 0% /run/user/0
172.16.1.31:/data 19G 1.8G 18G 10% /mnt
[root@web01 ~]$ touch /mnt/oldgirl.txt
[root@web01 ~]$ ls /mnt/
oldboy.txt oldgirl.txt