ceph--cephFS的使用

ceph分布式存储—cephFS的使用

1、cephfs的概念

ceph FS 即 ceph filesystem，可以实现文件系统共享功能,客户端通过 ceph 协议挂载并使
用 ceph 集群作为数据存储服务器。
Ceph FS 需要运行 Meta Data Services(MDS)服务，其守护进程为 ceph-mds，ceph-mds
进程管理与 cephFS 上存储的文件相关的元数据，并协调对 ceph 存储集群的访问。

cephfs 的元数据使用的动态子树分区,把元数据划分名称空间对应到不同的 mds,写入元数
据的时候将元数据按照名称保存到不同主mds上,有点类似于nginx中的缓存目录分层一样.

1.1 cephfs的架构图

2、部署MDS服务

2.1 下载部署cephfs（mds)服务的安装包

#在ceph-mgr1管理节点下载mds服务安装包
root@ceph-mgr1:~# apt-cache madison ceph-mds
root@ceph-mgr1:~# apt install ceph-mds
#在部署节点上创建mds服务
cephadmin@ceph-mon1:~/ceph-cluster$ ceph-deploy mds create ceph-mgr1

2.2创建cephFS metadata和data存储池

使用 CephFS 之前需要事先为集群创建一个文件系统，并为其分别指定元数据和数据相
关的存储池。

#创建存放文件元数据的存储池
[ceph@ceph-deploy ceph-cluster]$ ceph osd pool create cephfs-metadata 32 32
#创建存放文件数据的存储池
[ceph@ceph-deploy ceph-cluster]$ ceph osd pool create cephfs-data 64 64
#验证
cephadmin@ceph-mon1:~/ceph-cluster$ ceph osd pool ls
cephfs-metadata  #存放元数据
cephfs-data      #存放数据

2.3在部署节点上创建cephFS文件系统并验证

下面创建一个名为my cephfs 的文件系统用于测试，cephfs-metadata存储池为其存放文件的元数据
，cephfs-data存储池为其存放文件的数据.

#创建cephfs文件系统：mycephfs
cephadmin@ceph-mon1:~/ceph-cluster$ ceph fs new mycephfs cephfs-metadata cephfs-data
#列出当前Ceph集群中存在的文件系统
cephadmin@ceph-mon1:~/ceph-cluster$ ceph fs ls
name: mycephfs, metadata pool: cephfs-metadata, data pools: [cephfs-data ]
#当前Ceph元数据服务器（Metadata Server）的状态信息。它返回了与Ceph集群中正在运行的元数据服务器相关的详细统计数据。
(该命令会列出每个元数据服务器的编号、名称、所在的存储池、活动状态、操作数、目录数量等信息。通过运行ceph mds stat，你可以获得关于元数据服务器的实时状态，以便监视和诊断Ceph文件系统中的元数据服务情况。这对于故障排除和性能调优非常有用。)

#获取当前Ceph元数据服务器（Metadata Server）的状态信息
（该命令会列出每个元数据服务器的编号、名称、所在的存储池、活动状态、操作数、目录数量等信息。通过运行ceph mds stat，你可以获得关于元数据服务器的实时状态，以便监视和诊断Ceph文件系统中的元数据服务情况。这对于故障排除和性能调优非常有用。）
cephadmin@ceph-mon1:~/ceph-cluster$ ceph mds stat
mycephfs - 0 clients
========
RANK  STATE      MDS        ACTIVITY     DNS    INOS   DIRS   CAPS
 0    active  ceph-mgr1  Reqs:    0 /s    15     17     13     10
      POOL         TYPE     USED  AVAIL
cephfs-metadata  metadata   413k   569G
  cephfs-data      data     600M   569G
STANDBY MDS
MDS version: ceph version 16.2.13 (5378749ba6be3a0868b51803968ee9cde4833a3e) pacific (stable)


#参数详解如下：
mycephfs - 0 clients: 表示当前文件系统名称为"mycephfs"，且没有客户端连接到该文件系统。
RANK: 元数据服务器的编号。
STATE: 元数据服务器的状态。在此示例中，元数据服务器0处于活动状态。
MDS: 元数据服务器名称。在此示例中，活动的元数据服务器名称为"ceph-mgr1"。
ACTIVITY: 元数据服务器的活动统计信息，包括每秒请求数（Reqs）等。在此示例中，平均每秒请求数为0。
DNS, INOS, DIRS, CAPS: 具体表示域名数（dentries）、索引节点数（inodes）、目录数和打开的文件描述符数。
POOL: 存储池名。
TYPE: 池的类型（metadata / data）。
USED, AVAIL: 用于表示存储池中已使用和可用的空间量。
STANDBY MDS: 表示有一个处于待命状态的元数据服务器。
MDS version: 表示Ceph集群中正在运行的元数据服务器软件版本

2.4 创建客户端账户

#创建账户
[ceph@ceph-deploy ceph-cluster]$ ceph auth add client.wsq mon 'allow r' mds 'allow rw' osd 'allow rwx pool=cephfs-data'
#验证账户
cephadmin@ceph-mon1:~/ceph-cluster$ ceph auth get client.wsq
[client.wsq]
	key = AQDYZ65kIHuWGBAAdFExyLsWVzEQ+lyFyHcNpA==
	caps mds = "allow rw"
	caps mon = "allow r"
	caps osd = "allow rwx pool=cephfs-data"
exported keyring for client.wsq

#创建keyring文件
[ceph@ceph-deploy ceph-cluster]$ ceph auth get client.wsq -o ceph.client.yanyan.keyring
#创建key文件
[ceph@ceph-deploy ceph-cluster]$ ceph auth print-key client.wsq > wsq.key
#验证用户的keyring文件
cephadmin@ceph-mon1:~/ceph-cluster$ cat ceph.client.wsq.keyring
[client.wsq]
	key = AQDYZ65kIHuWGBAAdFExyLsWVzEQ+lyFyHcNpA==
	caps mds = "allow rw"
	caps mon = "allow r"
	caps osd = "allow rwx pool=cephfs-data"

2.5 客户端安装ceph

root@ceph-client:~# apt update
root@ceph-client:~# apt install ceph-common -y

2.6同步客户端认证文件

[ceph@ceph-deploy ceph-cluster]$ scp ceph.conf ceph.client.wsq.keyring  wsq.key  [email protected]:/etc/ceph/
#客户端验证权限
root@ceph-client:~# ceph --user wsq -s
  cluster:
    id:     3bc181dd-a0ef-4d72-a58d-ee4776e9870f
    health: HEALTH_OK

  services:
    mon: 3 daemons, quorum ceph-mon1,ceph-mon2,ceph-mon3 (age 8m)
    mgr: ceph-mgr1(active, since 8m), standbys: ceph-mgr2
    mds: 2/2 daemons up, 2 standby
    osd: 9 osds: 9 up (since 8m), 9 in (since 22h)

  data:
    volumes: 1/1 healthy
    pools:   3 pools, 97 pgs
    objects: 93 objects, 200 MiB
    usage:   679 MiB used, 1.8 TiB / 1.8 TiB avail
    pgs:     97 active+clean

3、cephfs的使用方式

客户端挂载有两种方式，内核空间和用户空间，其中内核空间挂载需要系统内核支持ceph模块，用户空间挂载需要安装ceph-fuse

3.1 客户端使用内核空间挂载ceph-fs

3.1.1客户端通过key文件挂载

#挂载
root@ceph-client:~# mkdir /data
root@ceph-client:~# mount -t ceph 172.17.10.61:6789,172.17.10.62:6789,172.17.10.63:6789:/ /data -o  name=wsq,secretfile=/etc/ceph/wsq.key 

#验证写入数据
root@ceph-client:~# dd if=/dev/zero of=/data/testfile bs=1M count=100

#设置开机自启动挂载
root@ceph-client:~# cat /etc/fstab
#                
# / was on /dev/sda3 during curtin installation
/dev/disk/by-uuid/f570731e-f73a-4f9e-96a7-1648efb29cb8 / ext4 defaults 0 1
# /boot was on /dev/sda2 during curtin installation
/dev/disk/by-uuid/f44ce411-83f2-4152-9e82-8334567a867d /boot ext4 defaults 0 1
172.17.10.61:6789,172.17.10.62:6789,172.17.10.63:6789:/ /data ceph defaults,name=wsq,secretfile=/etc/ceph/wsq.key,_netdev 0 0
root@ceph-client:~# mount -a

#验证
root@ceph-client:~#reboot
root@ceph-client:~#df -Th

3.1.2客户端通过密钥key挂载

root@ceph-client:/etc/ceph# ll
total 24
drwxr-xr-x   2 root root 4096 Jul 13 12:36 ./
drwxr-xr-x 100 root root 4096 Jul 13 12:56 ../
-rw-r--r--   1 root root  147 Jul 13 10:05 ceph.client.wsq.keyring
-rw-r--r--   1 root root  354 Jul 13 09:44 ceph.conf
-rw-r--r--   1 root root   92 Apr 19 23:37 rbdmap
-rw-r--r--   1 root root   40 Jul 13 10:05 wsq.key
root@ceph-client:/etc/ceph# cat wsq.key
AQDYZ65kIHuWGBAAdFExyLsWVzEQ+lyFyHcNpA==
root@ceph-client:~# mount -t ceph 172.17.10.61:6789,172.17.10.62:6789,172.17.10.63:6789:/ /data -o name=wsq,secret=AQDYZ65kIHuWGBAAdFExyLsWVzEQ+lyFyHcNpA==
#验证写入数据
root@ceph-client:~# dd if=/dev/zero of=/data/testfile bs=1M count=100

#设置开机自启动挂载
root@ceph-client:~# cat /etc/fstab
#                
# / was on /dev/sda3 during curtin installation
/dev/disk/by-uuid/f570731e-f73a-4f9e-96a7-1648efb29cb8 / ext4 defaults 0 1
# /boot was on /dev/sda2 during curtin installation
/dev/disk/by-uuid/f44ce411-83f2-4152-9e82-8334567a867d /boot ext4 defaults 0 1
172.17.10.61:6789,172.17.10.62:6789,172.17.10.63:6789:/ /data ceph defaults,name=wsq,secret=AQDYZ65kIHuWGBAAdFExyLsWVzEQ+lyFyHcNpA==,_netdev 0 0

root@ceph-client:~# mount -a

#验证
root@ceph-client:~#reboot
root@ceph-client:~#df -Th

3.2用户空间挂载ceph-fs

如果内核版本比较低而没有ceph模块，那么可以安装ceph-fuse挂载，但是推荐使用内核模块挂载。

注意：我用的是ubuntu1804系统内核支持ceph.ko模块挂载cephfs文件系统故无需安装ceph-fuse

root@ceph-client:~# lsmod |grep ceph
ceph                  380928  1
libceph               315392  1 ceph
fscache                65536  1 ceph
libcrc32c              16384  2 raid456,libceph
root@ceph-client:~# modinfo ceph
filename:       /lib/modules/4.15.0-213-generic/kernel/fs/ceph/ceph.ko
license:        GPL
description:    Ceph filesystem for Linux   #ceph文件系统
author:         Patience Warnick <[email protected]>
author:         Yehuda Sadeh <[email protected]>
author:         Sage Weil <[email protected]>
alias:          fs-ceph
srcversion:     7719B0A9AE35739551E438E
depends:        libceph,fscache
retpoline:      Y
intree:         Y
name:           ceph
vermagic:       4.15.0-213-generic SMP mod_unload modversions
signat:         PKCS#7
signer:
sig_key:
sig_hashalgo:   md4

#通过ceph-fuse挂载ceph
[root@ceph-client ~]# mkdir /data
[root@ceph-client ~]# ceph-fuse --name client.wsq -m 172.17.10.61:6789,172.17.10.62:6789,172.17.10.63:6789 /data
ceph-fuse[1628]: starting ceph client
2021-06-08 10:51:24.332 7f5a3898ec00 -1 init, newargv = 0x556a48c77da0 newargc=7
ceph-fuse[1628]: starting fuse

[root@ceph-client2 ~]# vim /etc/fstab
none /data fuse.ceph ceph.id=yanyan,ceph.conf=/etc/ceph/ceph.conf,_netdev,defaults 0 0
[root@ceph-client2 ~]# mount -a

4、ceph mds高可用

4.1 ceph mds高可用的作用

ceph mds作为ceph的访问入口，需要实现高性能及数据备份，假设启动4个MDS进程，设置2个Rank。这时候有2个MDS进程会分配给两个Rank，还剩下2个MDS进程分别作为另外两个的备份。

设置每个 Rank 备份 MDS，也就是如果此 Rank 当前的 MDS 出现问题马上切换到另个
MDS。设置备份的方法有很多，常用选项如下。

mds_standby_replay：值为 true 或 false，true 表示开启 replay 模式，这种模式下主 MDS
内的数量将实时与从 MDS 同步，如果主宕机，从可以快速的切换。如果为 false 只有宕机
的时候才去同步数据，这样会有一段时间的中断。
mds_standby_for_name：设置当前 MDS 进程只用于备份于指定名称的 MDS。
mds_standby_for_rank：设置当前 MDS 进程只用于备份于哪个 Rank，通常为 Rank 编号。
另外在存在之个 CephFS 文件系统中，还可以使用 mds_standby_for_fscid 参数来为指定不
同的文件系统。
mds_standby_for_fscid：指定 CephFS 文件系统 ID，需要联合 mds_standby_for_rank 生
效，如果设置 mds_standby_for_rank，那么就是用于指定文件系统的指定 Rank，如果没有
设置，就是指定文件系统的所有 Rank。

4.2搭建MDS高可用

ceph-mgr2 和 ceph-mon1 和 ceph-mon2 作为 mds 服务角色添加至 ceph 集群，最后实两主两备的 mds 高可用和高性能结构

4.2.1 安装mds服务

注意：安装前要查看存储的状态和当前MDS服务的状态

#安装前的检查
cephadmin@ceph-mon1:~/ceph-cluster$ ceph -s
  cluster:
    id:     3bc181dd-a0ef-4d72-a58d-ee4776e9870f
    health: HEALTH_OK

  services:
    mon: 3 daemons, quorum ceph-mon1,ceph-mon2,ceph-mon3 (age 67m)
    mgr: ceph-mgr1(active, since 67m), standbys: ceph-mgr2
    mds: 2/2 daemons up, 2 standby
    osd: 9 osds: 9 up (since 67m), 9 in (since 23h)

  data:
    volumes: 1/1 healthy
    pools:   3 pools, 97 pgs
    objects: 93 objects, 200 MiB
    usage:   679 MiB used, 1.8 TiB / 1.8 TiB avail
    pgs:     97 active+clean
    
cephadmin@ceph-mon1:~/ceph-cluster$ ceph mds  stat

#将分别在ceph-mon1、ceph-mon2、ceph-mon3安装mds服务
[root@ceph-mon1 ~]# apt install ceph-mds -y
[root@ceph-mon2 ~]# apt install ceph-mds -y
[root@ceph-mgr2 ~]# apt install ceph-mds -y

#在ceph-mon1部署节点上把mds服务器添加至ceph存储集群
[ceph@ceph-mon1 ceph-cluster]$ ceph-deploy mds create ceph-mgr2
[ceph@ceph-mon1 ceph-cluster]$ ceph-deploy mds create ceph-mon2
[ceph@ceph-mon1 ceph-cluster]$ ceph-deploy mds create ceph-mon1

#添加完成后验证mds服务器当前的状态
cephadmin@ceph-mon1:~/ceph-cluster$ ceph mds stat
mycephfs:1 {0=ceph-mgr1=up:active} 3 up:standby

#验证ceph集群当前状态
当前处于激活状态的mds服务器有一台，处于备份状态的mds服务器有三台
cephadmin@ceph-mon1:~/ceph-cluster$ ceph fs status
mycephfs - 2 clients
========
RANK  STATE      MDS        ACTIVITY     DNS    INOS   DIRS   CAPS
 0    active  ceph-mgr1  Reqs:    0 /s    16     17     13      1
      POOL         TYPE     USED  AVAIL
cephfs-metadata  metadata   445k   569G
  cephfs-data      data     600M   569G
STANDBY MDS
 ceph-mon2
 ceph-mgr2
 ceph-mon1
MDS version: ceph version 16.2.13 (5378749ba6be3a0868b51803968ee9cde4833a3e) pacific (stable)

#查看当前的文件系统状态
cephadmin@ceph-mon1:~/ceph-cluster$ ceph fs get mycephfs
Filesystem 'mycephfs' (1)
fs_name	mycephfs
epoch	108
flags	12
created	2023-07-12T08:32:08.110331+0000
modified	2023-07-13T06:24:40.794921+0000
tableserver	0
root	0
session_timeout	60
session_autoclose	300
max_file_size	1099511627776
required_client_features	{}
last_failure	0
last_failure_osd_epoch	141
compat	compat={},rocompat={},incompat={1=base v0.20,2=client writeable ranges,3=default file layouts on dirs,4=dir inode in separate object,5=mds uses versioned encoding,6=dirfrag is stored in omap,7=mds uses inline data,8=no anchortable,9=file layout v2,10=snaprealm v2}
max_mds	2
in	0,1
up	{0=114104,1=114103}
failed
damaged
stopped
data_pools	[4]
metadata_pool	3
inline_data	disabled
balancer
standby_count_wanted	1
[mds.ceph-mgr1{0:114104} state up:active seq 19 addr [v2:172.17.10.64:6800/118428332,v1:172.17.10.64:6801/118428332]compat {c=[1],r=[1],i=[7ff]}]
[mds.ceph-mon1{1:114103} state up:active seq 21 addr [v2:172.17.10.61:6800/3442732995,v1:172.17.10.61:6801/3442732995] compat {c=[1],r=[1],i=[7ff]}]

#设置处于激活状态mds的数量
目前有四个 mds 服务器，但是有一个主三个备，可以优化一下部署架构，设置为为两主两
备。
cephadmin@ceph-mon1:~/ceph-cluster$ ceph fs set mycephfs max_mds 2   #设置同时活跃的主mds最大值为2
cephadmin@ceph-mon1:~/ceph-cluster$ ceph fs status
mycephfs - 2 clients
========
RANK  STATE      MDS        ACTIVITY     DNS    INOS   DIRS   CAPS
 0    active  ceph-mgr1  Reqs:    0 /s    16     17     13      1
 1    active  ceph-mon1  Reqs:    0 /s    10     13     11      1
      POOL         TYPE     USED  AVAIL
cephfs-metadata  metadata   445k   569G
  cephfs-data      data     600M   569G
STANDBY MDS
 ceph-mon2
 ceph-mgr2
MDS version: ceph version 16.2.13 (5378749ba6be3a0868b51803968ee9cde4833a3e) pacific (stable)

5、MDS 高可用优化

目前的状态是 ceph-mgr1 和 ceph-mon1 分别是 active 状态，ceph-mon2 和 ceph-mgr2
分别处于 standby 状态，现在可以将 ceph-mgr2 设置为 ceph-mgr1 的 standby，将
ceph-mon2 设置为 ceph-mon1 的 standby，以实现每个主都有一个固定备份角色的结构，
则修改配置文件如下：

[ceph@ceph-deploy ceph-cluster]$ vim ceph.conf
[global]
fsid = 23b0f9f2-8db3-477f-99a7-35a90eaf3dab
public_network = 172.17.10.0/16
cluster_network = 192.168.10.0/24
mon_initial_members = ceph-mon1
mon_host = 172.17.10.61
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
mon clock drift allowed = 2
mon clock drift warn backoff = 30
mon_allow_pool_delete = true
osd pool default ec profile = /var/log/ceph_pool_healthy

[mds.ceph-mgr2]
#mds_standby_for_fscid = mycephfs
mds_standby_for_name = ceph-mgr1
mds_standby_replay = true
[mds.ceph-mon2]
mds_standby_for_name = ceph-mon1
mds_standby_replay = true


#分发配置文件并重启mds服务

#分发配置文件保证各 mds 服务重启有效
$ ceph-deploy --overwrite-conf config push ceph-mon1
$ ceph-deploy --overwrite-conf config push ceph-mon2
$ ceph-deploy --overwrite-conf config push ceph-mgr1
$ ceph-deploy --overwrite-conf config push ceph-mgr2
[root@ceph-mon2 ~]# systemctl restart [email protected]
[root@ceph-mon1 ~]# systemctl restart [email protected]
[root@ceph-mgr2 ~]# systemctl restart [email protected]
[root@ceph-mgr1 ~]# systemctl restart [email protected]


#验证
cephadmin@ceph-mon1:~/ceph-cluster$ ceph fs status
mycephfs - 2 clients
========
RANK  STATE      MDS        ACTIVITY     DNS    INOS   DIRS   CAPS
 0    active  ceph-mgr1  Reqs:    0 /s    16     17     13      1
 1    active  ceph-mon1  Reqs:    0 /s    10     13     11      1
      POOL         TYPE     USED  AVAIL
cephfs-metadata  metadata   445k   569G
  cephfs-data      data     600M   569G
STANDBY MDS
 ceph-mon2
 ceph-mgr2
MDS version: ceph version 16.2.13 (5378749ba6be3a0868b51803968ee9cde4833a3e) pacific (stable)

#查看active和standby对应关系
cephadmin@ceph-mon1:~/ceph-cluster$ ceph fs get mycephfs
Filesystem 'mycephfs' (1)
fs_name	mycephfs
epoch	108
flags	12
created	2023-07-12T08:32:08.110331+0000
modified	2023-07-13T06:24:40.794921+0000
tableserver	0
root	0
session_timeout	60
session_autoclose	300
max_file_size	1099511627776
required_client_features	{}
last_failure	0
last_failure_osd_epoch	141
compat	compat={},rocompat={},incompat={1=base v0.20,2=client writeable ranges,3=default file layouts on dirs,4=dir inode in separate object,5=mds uses versioned encoding,6=dirfrag is stored in omap,7=mds uses inline data,8=no anchortable,9=file layout v2,10=snaprealm v2}
max_mds	2
in	0,1
up	{0=114104,1=114103}
failed
damaged
stopped
data_pools	[4]
metadata_pool	3
inline_data	disabled
balancer
standby_count_wanted	1
[mds.ceph-mgr1{0:114104} state up:active seq 19 addr [v2:172.17.10.64:6800/118428332,v1:172.17.10.64:6801/118428332]compat {c=[1],r=[1],i=[7ff]}]
[mds.ceph-mon1{1:114103} state up:active seq 21 addr [v2:172.17.10.61:6800/3442732995,v1:172.17.10.61:6801/3442732995] compat {c=[1],r=[1],i=[7ff]}]

6、通过ganesha将cephfs导出为NFS

通过 ganesha 将 cephfs 通过 NFS 协议共享使用。

https://www.server-world.info/en/note?os=Ubuntu_20.04&p=ceph15&f=8

6.1服务端配置

root@ceph-mgr1:~# apt -y install nfs-ganesha-ceph

#修改配置文件
root@ceph-mgr1:~# cd /etc/ganesha/
root@ceph-mgr1:/etc/ganesha#
root@ceph-mgr1:/etc/ganesha# cat ganesha.conf
###################################################
#
# EXPORT
#
# To function, all that is required is an EXPORT
#
# Define the absolute minimal export
#
###################################################
NFS_CORE_PARAM {
        # disable NLM
        Enable_NLM = false;
        # disable RQUOTA (not suported on CephFS)
        Enable_RQUOTA = false;
        # NFS protocol
        Protocols = 4;
}
EXPORT_DEFAULTS {
        # default access mode
        Access_Type = RW;
}
EXPORT {
        # uniq ID
        Export_Id = 1;
        # mount path of CephFS
        Path = "/";
        FSAL {
          name = CEPH;
          # hostname or IP address of this Node
          hostname="172.17.10.64";
}
        # setting for root Squash
        Squash="No_root_squash";
        # NFSv4 Pseudo path
        Pseudo="/magedu";
        # allowed security options
        SecType = "sys";
}
LOG {
        # default log level
        Default_Log_Level = WARN;
}

EXPORT
{
	# Export Id (mandatory, each EXPORT must have a unique Export_Id)
	Export_Id = 77;

	# Exported path (mandatory)
	Path = /nonexistant;

	# Pseudo Path (required for NFS v4)
	Pseudo = /nonexistant;

	# Required for access (default is None)
	# Could use CLIENT blocks instead
	Access_Type = RW;

	# Exporting FSAL
	FSAL {
		Name = VFS;
	}
}

6.2客户端挂载测试

root@ceph-client:/etc/ceph# mount -t nfs 172.17.10.64:/magedu  /data/data-nfs/
root@ceph-client:/etc/ceph# df -Th
Filesystem                                              Type      Size  Used Avail Use% Mounted on
udev                                                    devtmpfs  1.9G     0  1.9G   0% /dev
tmpfs                                                   tmpfs     392M   13M  380M   4% /run
/dev/sda3                                               ext4       98G  6.3G   87G   7% /
tmpfs                                                   tmpfs     2.0G     0  2.0G   0% /dev/shm
tmpfs                                                   tmpfs     5.0M     0  5.0M   0% /run/lock
tmpfs                                                   tmpfs     2.0G     0  2.0G   0% /sys/fs/cgroup
/dev/sda2                                               ext4      9.8G  152M  9.1G   2% /boot
172.17.10.61:6789,172.17.10.62:6789,172.17.10.63:6789:/ ceph      570G  200M  570G   1% /data
tmpfs                                                   tmpfs     392M     0  392M   0% /run/user/0
172.17.10.64:/magedu  nfs4      570G  200M  570G   1% /data/data-nfs

#验证
root@ceph-client: dd if=/dev/zero  of=/data/data-nfs/test.file bs=1M count=100
root@ceph-client:/data/data-nfs# mkdir test
root@ceph-client:/data/data-nfs# ll
total 204802
drwxr-xr-x 4 nobody 4294967294 209715226 Jul 13 16:27 ./
drwxr-xr-x 1 root   root               5 Jul 13 16:27 ../
drwxr-xr-x 2 nobody 4294967294         0 Jul 13 16:27 test/
-rw-r--r-- 1 nobody 4294967294 104857600 Jul 13 12:58 test.file

#验证
root@ceph-client: dd if=/dev/zero  of=/data/data-nfs/test.file bs=1M count=100
root@ceph-client:/data/data-nfs# mkdir test
root@ceph-client:/data/data-nfs# ll
total 204802
drwxr-xr-x 4 nobody 4294967294 209715226 Jul 13 16:27 ./
drwxr-xr-x 1 root   root               5 Jul 13 16:27 ../
drwxr-xr-x 2 nobody 4294967294         0 Jul 13 16:27 test/
-rw-r--r-- 1 nobody 4294967294 104857600 Jul 13 12:58 test.file