[ceph 的通用解决方案] - 3.如何将 ssd 作为 hdd 的缓存池

[ceph 的通用解决方案] - 3.如何将 ssd 作为 hdd 的缓存池

下面将从以下 6 个方面介绍 ceph 的通用解决方案

• 性能方面：

1、如何 ssd 作为 Ceph-osd 的日志盘使用
2、如何同一个 Ceph 集群分别创建 ssd 和 hdd 池
3、如何将 ssd 作为 hdd 的缓存池
4、如何指定 ssd 盘为主 osd，hdd 为从 osd

• 稳定及数据安全性方面：

5、Ceph 双副本如何保证宕机数据的安全性
6、Ceph 纠删码理论与实践

注意：该文章同时在华云数据官方公众号上发布
智汇华云 | Ceph 的正确玩法之 SSD 作为 HDD 的缓存池

下面我们开始专题：如何将 ssd 作为 hdd 的缓存池

一、缓存池原理
缓存分层特性也是在 Ceph 的 Firfly 版中正式发布的，这也是 Ceph 的 Firefly 版本中被谈论最多的一个特性。缓存分层是在更快的磁盘（通常是 SSD），上创建一个 Ceph 池。这个缓存池应放置在一个常规的复制池或 erasure 池的前端，这样所有的客户端 I/O 操作都首先由缓存池处理。之后，再将数据写回到现有的数据池中。客户端能够在缓存池上享受高性能，而它们的数据显而易见最终是被写入到常规池中的。

一般来说，缓存层构建在昂贵 / 速度更快的 SSD 磁盘上，这样才能为客户提供更好的 I/O 性能。在缓存池后端通常是存储层，它由复制或者 erasure 类型的 HDD 组成。在这种类型的设置中，客户端将 I/O 请求提交到缓存池，不管它是一个读或写操作，它的请求都能够立即获得响应。速度更快的缓存层为客户端请求提供服务。一段时间后，缓存层将所有数据写回备用的存储层，以便它可以缓存来自客户端的新请求。在缓存层和存储层之间的数据迁移都是自动触发且对客户端是透明的。缓存分层能以两种模式进行配置。

writeback 模式：当 Ceph 的缓存分层配置为 writeback 模式时，Ceph 客户端将数据写到缓存层类型的池，也就是速度更快的池，因此能够立即接收写入确认。基于你为缓存层设置的 flushing/evicting 策略，数据将从缓存层迁移到存储层，并最终由缓存分层代理将其从缓存层中删除。处理来自客户端的读操作时，首先由缓存分层代理将数据从存储层迁移到缓存层，然后再把它提供给客户。直到数据变得不再活跃或成为冷数据，否则它将一直保留在缓存层中。

read-only 模式：当 Ceph 的缓存分层配置为 read-only 模式时，它只适用于处理客户端的读操作。客户端的写操作不涉及缓存分层，所有的客户端写都在存储层上完成。在处理来自客户端的读操作时，缓存分层代理将请求的数据从存储层复制到缓存层。基于你为缓存层配置的策略，不活跃的对象将会从缓存层中删除。这种方法非常适合多个客户端需要读取大量类似数据的场景。

缓存层是在速度更快的物理磁盘（通常是 SSD），上实现的，它在使用 HDD 构建的速度较慢的常规池前部署一个快速的缓存层。在本节中，我们将创建两个独立的池（一个缓存池和一个常规），分别用作缓存层和存储层。

网上找了一篇一篇牛人写的存储分层在 OpenStack 的一个应用，将 ssd 池做 cinder、nova、glance 的缓冲。

https://www.xiaocoder.com/2017/09/05/ceph-for-openstack-storage/

二、理论与实践相结合
1、下面开始配置以 cache 作为 sata-pool 的前端高速缓冲池。
1）、新建缓冲池，其中，cache 作为 sata-pool 的前端高速缓冲池。

# ceph osd pool create storage 64
pool 'storage' created
# ceph osd pool create cache 64
pool 'cache' created

2）、设定缓冲池读写策略为写回模式。

ceph osd tier cache-mode cache writeback

3）、把缓存层挂接到后端存储池上

# ceph osd tier add storage cache
pool 'cache' is now (or already was) a tier of 'storage'

4）、将客户端流量指向到缓存存储池

# ceph osd tier set-overlay storage cache
overlay for 'storage' is now (or already was) 'cache'

2、调整 Cache tier 配置

1）、设置缓存层 hit_set_type 使用 bloom 过滤器

# ceph osd pool set cache hit_set_type bloom
set pool 27 hit_set_type to bloom

命令格式如下：

ceph osd pool set {cachepool} {key} {value}

关于 Bloom-Filte 算法原理可参见：

https://blog.csdn.net/jiaomeng/article/details/1495500

2）、设置 hit_set_count、hit_set_period

# ceph osd pool set cache hit_set_count 1
set pool 27 hit_set_count to 1
# ceph osd pool set cache hit_set_period 3600
set pool 27 hit_set_period to 3600
# ceph osd pool set cache target_max_bytes 1000000000000
set pool 27 target_max_bytes to 1000000000000

默认情况下缓冲池基于数据的修改时间来进行确定是否命中缓存，也可以设定热度数 hit_set_count 和热度周期 hit_set_period，以及最大缓冲数据 target_max_bytes。
hit_set_count 和 hit_set_period 选项分别定义了 HitSet 覆盖的时间区间、以及保留多少个这样的 HitSet，保留一段时间以来的访问记录，这样 Ceph 就能判断一客户端在一段时间内访问了某对象一次、还是多次（存活期与热度）。

3）、设置 min_read_recency_for_promete、min_write_recency_for_promote

# ceph osd pool set cache min_read_recency_for_promote 1
set pool 27 min_read_recency_for_promote to 1
# ceph osd pool set cache min_write_recency_for_promote 1
set pool 27 min_write_recency_for_promote to 1

缓存池容量控制
先讲解个概念缓存池代理层两大主要操作

・刷写（flushing）：负责把已经被修改的对象写入到后端慢存储，但是对象依然在缓冲池。

・驱逐（evicting）：负责在缓冲池里销毁那些没有被修改的对象。

缓冲池代理层进行刷写和驱逐的操作，主要和缓冲池本身的容量有关。在缓冲池里，如果被修改的数据达到一个阈值（阈值（容量百分比），缓冲池代理就开始把这些数据刷写到后端慢存储。当缓冲池里被修改的数据达到 40% 时，则触发刷写动作。

# ceph osd pool set cache cache_target_dirty_ratio 0.4

当被修改的数据达到一个确定的阈值（容量百分比），刷写动作将会以高速运作。例如，当缓冲池里被修改数据达到 60% 时候，则高速刷写。

# ceph osd pool set cache cache_target_dirty_high_ratio 0.6

缓冲池的代理将会触发驱逐操作，目的是释放缓冲区空间。例如，当缓冲池里的容量使用达到 80% 时候，则触发驱逐操作。

# ceph osd pool set cache cache_target_full_ratio 0.8

除了上面提及基于缓冲池的百分比来判断是否触发刷写和驱逐，还可以指定确定的数据对象数量或者确定的数据容量。对缓冲池设定最大的数据容量，来强制触发刷写和驱逐操作。

# ceph osd pool set cache target_max_bytes 1073741824

同时，也可以对缓冲池设定最大的对象数量。在默认情况下，RBD 的默认对象大小为 4MB，1GB 容量包含 256 个 4MB 的对象，则可以设定：

# ceph osd pool set cache target_max_objects 256

4）、缓冲池的数据刷新问题在缓冲池里，对象有最短的刷写周期。若被修改的对象在缓冲池里超过最短周期，将会被刷写到慢存储池。

# ceph osd pool set cache cache_min_flush_ age 600

注意：单位是分钟

设定对象最短的驱逐周期。

# ceph osd pool set cache cache_min_evict_age 1800

3、删除缓存层
删除 readonly 缓存
1）、把缓存模式改为 none 即可禁用。

ceph osd tier cache-mode {cachepool} none

2）、去除后端存储池的缓存池。

ceph osd tier remove {storagepool} {cachepool}

删除 writeback 缓存
1）、把缓存模式改为 forward ，这样新的和更改过的对象将直接刷回到后端存储池

# ceph osd tier cache-mode cache forward --yes-i-really-mean-it
set cache-mode for pool 'cache' to forward

2）、确保缓存池已刷回，可能要等数分钟

# rados ls -p cache

可以通过以下命令进行手动刷回

# rados -p cache cache-flush-evict-all

3）、取消流量指向缓存池

# ceph osd tier remove-overlay storage
there is now (or already was) no overlay for 'storage'

4）、剥离缓存池

# ceph osd tier remove storage cache
pool 'cache' is now (or already was) not a tier of 'storage'

转自：https://blog.csdn.net/wylfengyujiancheng/article/details/88305702