Ceph集群性能优化介绍

1.集群硬件配置

典型硬件资源配置建议:

组件 CPU 内存 网络 存储空间
Monitor 1vCore 2GB 1x 1GbE+ NICs 单个Mon 10GB+
OSD 1vCore BlueStore后端,单个OSD 至少3 GB。裸容量每增加1 TB,则内存相应增加1 GB 1x 1GbE+ NICs (建议10GbE+) 一个OSD 对应一块独立的硬盘
  • public network和cluster network 分开。
  • 操作系统、OSD data、OSD 日志分别使用独立的硬盘,使整体吞吐量最大化。
  • 一般,建议单OSD 分配4GB以上的内存,多小对象或有大对象场景下对性能有提升。不建议低于2GB。
  • 对于OSD 除显式分配的内存外,还会多约20%的额外内存开销,需要考虑到。

对于采用的BlueStore的Ceph,将SSD 用在合适的地方一般可以显著提升性能:

  • OSD 日志建议使用SSD。如果采用bluestore,则建议裸容量配比—— block : block.db : block.wal = 100:1:1,后两者建议采用SSD或NVMe SSD。
  • 采用cache-tiering,其中cache pool 采用SSD。
  • CephFS 的metadata pool 采用SSD。
  • RGW index pool 采用SSD。

2.常见性能影响因素

集群性能评估

根据采用的硬件和集群规模,应当对集群有个大致的性能估算。集群性能影响因素主要有:硬盘(单个硬盘的性能和硬盘总数)、网络性能、内存和CPU。其中前两个是估算集群整体性能的主要因素,而根据场景,性能主要是IOPS和带宽。
一般:

  • 集群读取性能:
集群读取性能:W*n*μ,无论在FileStore还是BlueStore下
其中,
W: 单块裸盘读带宽
n: OSD数量
μ: 损耗系数 一般为0.7~0.8
  • 集群写入性能:
集群写入性能:[(W*n)/WAF]*μ
W: 单块裸盘写入带宽
n: OSD数量
WAF: 写放大系数
μ: 损耗系数
X: 写入数据块大小(KiB)
N: 多副本Size大小
K: 纠删码K值
M: 纠删码M值
FileStore 5: 5KiB, FileStore中transaction元数据的数据量大小(推测值)
BlueStore 5: 5KiB, BlueStore中RocksDB的WAL数据大小(推测值)
BlueStore 20: 20KiB, BlueStore小文件写入时产生的Zero-filled数据块大小

性能瓶颈定位

经过对集群的性能评估,结合主要的影响因素,试着找出性能瓶颈的大方向。
准确的性能评估需要进行严格的性能测试:

  • 首先是基准测试,包括硬盘基线测试(如dd)和网络基线测试(如iperf),测试前应当drop cache。
  • 然后分别对于集群做性能测试:rados bench
  • RBD 性能测试:rbd bench
  • RGW 性能测试:cosbench

通过ceph osd perf可以看出整个集群所有OSDs 的时延数据。
更详细的时延信息可以通过perf dump调查,如

1.ceph daemon osd.15 perf reset all
2.rados bench WRITE
3.ceph daemon osd.15 perf dump

常见性能优化点

排除硬件瓶颈的可能,则可以从常见的几项对照排查修改。

  • 存储池的PG 数是否合理:一般,集群PGs总数 = (OSD总数 * 100 / 最大副本数),具体可参考pgcal
  • monitor 采用3或5个即可。由于需要再monitor之间做数据同步,过多的monitor 会影响性能。
  • 建议Ceph 集群和其他系统独立部署,以免资源抢占影响性能,且混合部署影响troubleshooting。

3.使用Cache-tiering

使用缓存分层,可以根据需求在热层和冷层之间自动迁移数据,从而提高群集的性能。
采用的cache-tiering的前提是要搞清业务场景,因为cache-tiering 是工作负载相关的,不合适的场景匹配不合适的缓存模式(cache mode)反而会让整体性能下降。

  • write-back:Ceph 客户端写数据至cache tier,随后会将数据迁移至storage tier。客户端读取数据也是直接读取cache tier,若cache tier 没有会从storage tier 中获取并迁移至cache tier。客户端的读写始终不直接跟storage tier 关联。 这种模式适用于可变数据的存储访问。
  • readproxy:使用已存在与cache tier 内的对象, 如果cache tier 内无该对象则会将请求代理至storage tier。
  • readonly:cache tier 仅接受读操作,写操作都会指向storage tier,预读取的对象会被迁移至cache tier,一定条件下会被迁移出cache tier。这种模式不保证一致性,读取的数据可能是过期的,适用于不变数据的存储访问。
  • none:完全disable cache tiering。

cache-tiering 配置流程

首先,除storage pool 外,需要创建一个全SSD 的cache pool(通过修改 crushmap)。
根据实际场景:

  • 数据对象是更偏向不变对象还是可变对象,决定采用什么缓存模式(cache-mode);
  • 根据客户端负载情况,设置和调整缓存池的参数(大小、数量等);
  • 其他诸如cache age、target size 等参数。

必要操作步骤:
1)关联cache pool 和后端存储池:ceph osd tier add

2)设置cache-mode:ceph osd tier cache-mode writeback

3)将原storage pool的流量指向cache pool:ceph osd tier set-overlay

4)必要的缓存阈值设置,所有的请求在达到target_max_bytes 或target_max_objects 设定值时会被阻塞

ceph osd pool set target_max_bytes {#bytes}
ceph osd pool set target_max_objects {#objects}

4.Damons 相关配置优化

常见配置优化项及建议值,根据实际场景可再做调整。
默认应将RGW Cache 和RBD cache打开。

OSD

osd_scrub_begin_hour = 1 #根据业务实际设置在非业务时间scrub
osd_scrub_end_hour = 5
osd_recovery_op_priority = 3
osd_client_op_priority = 63
osd_recovery_max_active = 10
osd_recovery_sleep = 0
osd_max_backfills = 10

RGW(对象存储)

rgw_cache_enabled = true # 开启RGW cache
rgw_thread_pool_size = 2000
rgw_cache_lru_size = 20000
rgw_num_rados_handles = 128

RBD(块存储)

rbd_cache_enabled = true # 开启RBD cache
rbd_cache_size = 268435456
rbd_cache_max_dirty = 134217728
rbd_cache_max_dirty_age = 5

你可能感兴趣的:(Ceph集群性能优化介绍)