PG设置与规划

计算单个pool 的PG Count公式

PoolPGCount=((TargetPGsPerOSD)∗(OSDNumber)∗(DataPercent) )/PoolSize

参数介绍

名称 说明 备注
Pool PG Count 单个Pool的PG数量
Target PGs Per OSD 每个OSD的PGs数量 a)如果未来集群的OSD数量基本不再增长,Target PGs per OSD =100 
b)如果未来集群的OSD数量可能增长到目前规模的2倍以内,Target PGs per OSD =200
c)如果未来集群的OSD数量增长规模大于当前2倍且小于3倍,Target PGs per OSD =300
OSD Number 集群OSD的总数,默认来讲是全部OSD的数量 如果通过CRUSH rules进行了SSD和SATA设备的规则拆分(比如SSD和SATA划分成两个zone),需要单独填写对应rule的OSD数量
Data Percent Pool占用所在OSD总容量的百分比(预估值)
Pool Size 每个pool的replicas size,默认是3 如果使用Erasure Coded Pools简称EC pool,Pool Size = K+m

关于计算结果取整说明

计算的最终结果应该是一个2的幂次方。采用2的幂次方是因为了提高CRUSH算法的效率。 
如果计算出来的结果,找到与这个结果相邻的两个2次幂数值,如果结果超过较小二次幂数值的25%则选择较大的二次幂作为最终结果,反之则选择较小的那个2次幂数值。

其他说明

设计计算公式的目的是为了确保整个集群拥有足够多的PG从而实现数据均匀分布在各个OSD上,同时能够有效避免在Recovery 和Backfill 的时候因为PG/OSD比值过高所造成的问题。 
如果集群中存在空pool或者其他非活跃状态下的pool,这些pool并不影响现有集群的数据分布,但是这些pool仍然会消耗集群的内存和CPU资源。

举例

环境介绍:

某集群由100个OSD组成,其中40个OSD为SSD (通过CRUSH rules划分为SSD zone),60个OSD为SATA(通过CRUSH rules划分为SATA zone),集群规模预计未来会增长到当前规模的2倍

需求:

整个集群新建4个pool,具体如下:

名称 说明 备注
SSD_poolA Pool Size=3,预计容量占用比60% SSD zone
SSD_poolB Pool Size=3,预计容量占用比40% SSD zone
SATA_poolA EC Pools,Pool Size = k+m= 3+2,预计容量占用比80% SATA zone
SATA_poolb Pool Size=3,预计容量占用比20% SATA zone
名称 说明 备注
SSD_poolA
PoolPGCount=((200)∗(40)∗(0.6))/3=1600≈2048
1600与相邻的2次幂数值分布为1024<1600<2048
SSD_poolB
PoolPGCount=((200)∗(40)∗(0.4))/3=1066≈1024
SSD zone
SATA_poolA
PoolPGCount=((200)∗(60)∗(0.8))/5=1920≈2048
SSD zone
SATA_poolB
PoolPGCount=((200)∗(60)∗(0.2))/5=800≈1024
SSD zone

参考资料http://ceph.com/pgcalc/

你可能感兴趣的:(pg,ceph)