Ceph优化：用SSD做缓存池方案详解
创建OSD
ceph-deploy disk list opennebula11
ceph-deploy disk zap opennebula11 /dev/sdb
ceph-deploy osd create --data /dev/sdb opennebula00
直接parted /dev/sdm , 做好分区/dev/sdm1，格式化/dev/sdm1 mkfs.xfs 出错，cannot open /dev/sdm: Device or resource busy
解决方法：
dmsetup ls 查看谁在占用，找到ceph-**字样（ceph-为lsblk显示的块设备具体信息）
使用dmsetup 删除字样
dmsetup remove ceph-
lsblk 查看设备信息，可以看到ceph-**等标识等标识消失
mkfs.xfs -f /dev/sdm 成功通过
移走OSD默认Class类型
ceph osd crush rm-device-class osd.8
for i in 30 31 16 17 9 10 23 24; do ceph osd crush rm-device-class osd.$i;done
设置OSD的Class类型
ceph osd crush set-device-class ssd osd.8
for i in 30 31 16 17 9 10 23 24; do ceph osd crush set-device-class ssd osd.$i;done
创建基于ssd的class rule
ceph osd crush rule create-replicated ssd_rule default host ssd
创建基于ssd_rule规则的存储池
ceph osd pool create cache 64 64 ssd_rule
查看cache的信息可以看到使用的crush_rule为1，也就是ssd_rule
ceph osd pool get cache crush_rule
将 缓存池 放置到 存储池 前端
ceph osd tier add one cache
设置缓存模式为 writeback
ceph osd tier cache-mode cache writeback
将所有客户端请求从存储池引导至缓存池
ceph osd tier set-overlay one cache
配置缓存层
启用hit set tracking，生产环境通常使用bloom过滤器
ceph osd pool set cache hit_set_type bloom
启用hit set count,即缓存池中存储的hit set（命中集）的数量，数量越大，OSD占用的内存量就越大
ceph osd pool set cache hit_set_count 1
启用hit set period，命中集在缓存池中的有效期，以秒为单位
ceph osd pool set cache hit_set_period 3600 # 1 hour
设置缓存池中允许放的最大字节数
ceph osd pool set cache target_max_bytes 1099511627776 # 1 TB
设置缓存池中允许放的最大对象数,RBD默认对象大小是4MB，1GB包含256个4MB对象
ceph osd pool set cache target_max_objects 256
设置缓存数据刷新到存储层和缓存层中删除这些数据的最小时间间隔（分钟为单位）
ceph osd pool set cache cache_min_flush_age 60
ceph osd pool set cache cache_min_evict_age 600
缓存池里，如果被修改的数据达到一个阈值（容量百分比），就将数据写到存储层
#### 脏对象占比达到40%就将数据刷盘
ceph osd pool set cache cache_target_dirty_ratio 0.4
#### 当脏对象占比达到60%时开始高速刷盘
ceph osd pool set cache cache_target_dirty_high_ratio 0.6
当缓存池的使用量达到其总量的一定百分比时，将未修改的（干净的）对象刷盘
ceph osd pool set cache cache_target_full_ratio 0.8
设置在处理读写操作时候，检查多少个 HitSet，检查结果将用于决定是否异步地提升对象（即把对象从冷数据升级为热数据，放入快取池）。它的取值应该在 0 和 hit_set_count 之间， 如果设置为 0 ，则所有的对象在读取或者写入后，将会立即提升对象；如果设置为 1 ，就只检查当前 HitSet ，如果此对象在当前 HitSet 里就提升它，否则就不提升。 设置为其它值时，就要挨个检查此数量的历史 HitSet ，如果此对象出现在 min_read_recency_for_promote 个 HitSet 里的任意一个，那就提升它
ceph osd pool set cache min_read_recency_for_promote 1
ceph osd pool set cache min_write_recency_for_promote 1
删除writeback缓存池
将缓存模式修改为转发
ceph osd tier cache-mode cache forward --yes-i-really-mean-it
查看缓存池对象
rados -p cache ls
如果有对象，手动刷新对象到存储池
rados -p cache cache-flush-evict-all
删除覆盖层，以使客户端不再将流量引导至缓存
ceph osd tier remove-overlay one
解除存储池与缓存池的绑定
ceph osd tier remove one cache
删除read-only缓存池
将缓存模式更改为none以禁用缓存
ceph osd tier cache-mode cache none
解除绑定
ceph osd tier remove one cache
列出cache池中的对象
rados -p cache ls
列出池中属于libvirt的对象
rbd ls -l -p one --id libvirt
列出one池中对象
rbd list -p one
删除对应的对象
rbd rm -p one one-51-116-0
配置CRUSH规则，使主数据落在SSD的OSD上
提取CRUSH map
ceph osd getcrushmap -o crushmap.txt
反编译CRUSH map
crushtool -d crushmap.txt -o crushmap-decompile
编辑CRUSH map
vi crushmap-decompile
# rules
rule replicated_rule {
id 0
type replicated
min_size 1
max_size 10
step take default class ssd
step chooseleaf firstn 1 type host
step emit
step take default class hdd
step chooseleaf firstn -1 type host
step emit
}
choose表示选择结果为故障域，chooseleaf表示选择故障域下面的OSD节点；firstn用于副本池，indep用于EC池；后面的数字表示要选择的rep数目，正数表示要选择的副本数，0表示选择所有副本，负数表示选择除去相应副本数后剩余的副本
重新编译CRUSH map
crushtool -c crushmap-decompile -o crushmap-compiled
将新的CRUSH map注入到集群
ceph osd setcrushmap -i crushmap-compiled