Ceph文件存储系统部署

Ceph版本：14.2.22
操作系统：ubuntu 18.04

 

文件存储部署

---

创建mds服务

ceph-deploy --overwrite-conf mds create

ceph-deploy --overwrite-conf mds create node

创建数据池和元数据池

ceph osd pool create

创建数据池

ceph osd pool create cephfs_data 1 1

创建元数据池

ceph osd pool create cephfs_metadata 1 1

为了方便测试，以上PG数量和PGP的数量都设置为1。

创建文件系统

ceph fs new

ceph fs new cephfs cephfs_metadata cephfs_data

查看创建的文件系统

ceph fs ls
-----------------------------------------------------------------------------------------------------------------------
name: cephfs, metadata pool: cephfs_metadata, data pools: [cephfs_data ]

挂载文件系统

ceph-fuse 挂载路径

ceph-fuse /mnt/cephfs_fuse/

在Linux上挂载ceph文件系统有2中方式：内核挂载和ceph-fuse挂载，以上采用ceph-fuse方式。

查看挂载路径

df -h
-----------------------------------------------------------------------------------------------------------------------
Filesystem                 Size  Used Avail Use% Mounted on
udev                       2.0G     0  2.0G   0% /dev
tmpfs                      396M  5.8M  390M   2% /run
/dev/mapper/node--vg-root   97G  2.1G   90G   3% /
tmpfs                      2.0G     0  2.0G   0% /dev/shm
tmpfs                      5.0M     0  5.0M   0% /run/lock
tmpfs                      2.0G     0  2.0G   0% /sys/fs/cgroup
/dev/sda1                  720M   59M  625M   9% /boot
tmpfs                      396M     0  396M   0% /run/user/0
tmpfs                      2.0G   52K  2.0G   1% /var/lib/ceph/osd/ceph-0
tmpfs                      2.0G   52K  2.0G   1% /var/lib/ceph/osd/ceph-1
tmpfs                      2.0G   52K  2.0G   1% /var/lib/ceph/osd/ceph-2
ceph-fuse                  8.5G     0  8.5G   0% /mnt/cephfs_fuse

使用文件存储

ceph文件系统挂载到Linux文件系统之后，可以像使用linux文件系统一样，创建目录文件等正常操作，将文件目录等存入到ceph文件系统中，进而存入到ceph文件存储集群中。以下以创建文本文件，并写入数据为演示。

创建文本文件并追加内容

echo "123456" > test

查看集群I/O读写状态

ceph -s
-----------------------------------------------------------------------------------------------------------------------
cluster:
  id:     bd6272c1-36ef-4af0-9888-19582c0f4ef0
  health: HEALTH_OK

services:
  mon: 1 daemons, quorum node (age 21m)
  mgr: node(active, since 21m)
  mds: cephfs:1 {0=node=up:active}
  osd: 3 osds: 3 up (since 21m), 3 in (since 26m)

data:
  pools:   2 pools, 2 pgs
  objects: 23 objects, 10 KiB
  usage:   3.0 GiB used, 27 GiB / 30 GiB avail
  pgs:     2 active+clean

io:
  client:   767 B/s wr, 0 op/s rd, 0 op/s wr

查看数据池和缓存池存储状态

ceph df
-----------------------------------------------------------------------------------------------------------------------
RAW STORAGE:
    CLASS     SIZE       AVAIL      USED       RAW USED     %RAW USED 
    hdd       30 GiB     27 GiB     12 MiB      3.0 GiB         10.04 
    TOTAL     30 GiB     27 GiB     12 MiB      3.0 GiB         10.04 
 
POOLS:
    POOL                ID     PGS     STORED     OBJECTS     USED        %USED     MAX AVAIL 
    cephfs_data          1       1       13 B           1     192 KiB         0       8.5 GiB 
    cephfs_metadata      2       1     12 KiB          22     1.5 MiB         0       8.5 GiB 

查看数据池存储中的对象

rados -p cephfs_data ls
-----------------------------------------------------------------------------------------------------------------------
10000000000.00000000