Ceph 压测相关整理

１．压测Ceph带宽数据

指的是硬盘或设备(路由器/交换机)在传输数据的时候数据流的速度

(1) 在rbd pool创建一个test块设备，大小为100G，这个大小可以超过pool本身大小，因为是瘦分配．

[root@node-1 ~]# rbd create rbd/test2 --size 100G --object-size 4M --image-feature layering --stripe-unit 4M --stripe-count 1

(2) 映射该设备到机器

[root@node-1 ~]# rbd map rbd/test2
/dev/rbd7

(3) 该设备可以初始化，挂载并使用

(4) 对该设备进行带宽压测，bs需要大点

[root@node-1 ~]# dd if=/dev/zero of=$(rbd showmapped | grep test2 | awk '{print$5}') bs=1M count=102400

(5) 解除该设备对本机的映射

[root@node-1 ~]# rbd unmap rbd/test2

(6) 删除该块设备

[root@node-1 ~]# rbd rm rbd/test2
Removing image: 100% complete...done.

２．压测Ceph IOPS

指的是系统在单位时间内能处理的最大的I/O频度，是衡量磁盘性能的主要指标之一

(1) 用以上创建的块设备，用fio命令对该设备进行压测读，其中bs=4k，先写入设备，线程深度大点-iodepth 16

[root@node-1 ~]# fio -filename=/dev/rbd4 -direct=1 -iodepth 16 -thread -rw=write -ioengine=psync -bs=4k -size=10G -numjobs=10 -name=mytest --eta-newline=1

(2) 从设备读．

[root@node-1 ~]# fio -filename=/dev/rbd4 -direct=1 -iodepth 16 -thread -rw=read -ioengine=psync -bs=4k -size=10G -numjobs=10 -name=mytest --eta-newline=1

(3) 通过ceph -s可以看到实时的数据，op/s rd（读），op/s wr（写）

[root@node-1 ~]# ceph -s
  cluster:
    id:     1a6c90fe-b0e4-4ace-85ce-9f0582c483d0
    health: HEALTH_WARN
            Degraded data redundancy: 10563/51294 objects degraded (20.593%), 23 pgs degraded, 23 pgs undersized
 
  services:
    mon:        3 daemons, quorum node-1,node-2,node-3
    mgr:        node-3(active), standbys: node-2, node-1
    osd:        6 osds: 6 up, 6 in; 23 remapped pgs
                flags nodeep-scrub
    rbd-mirror: 1 daemon active
    rgw:        3 daemons active
 
  data:
    pools:   12 pools, 96 pgs
    objects: 17.10k objects, 49.7GiB
    usage:   150GiB used, 768GiB / 918GiB avail
    pgs:     10563/51294 objects degraded (20.593%)
             73 active+clean
             22 active+undersized+degraded+remapped+backfill_wait
             1  active+undersized+degraded+remapped+backfilling
 
  io:
    client:   14.2MiB/s rd, 606KiB/s wr, 3.64kop/s rd, 43op/s wr
    recovery: 1.67MiB/s, 0objects/s