FileStore与BlueStore的比较

无论是FileStore还是BlueStore，其写放大WAF（write amplified factor）都在13倍以上。

Benchmark

A． FileStore：16osd（HDD）+NVMe SSD（journal）

B． FileStore：16osd（SSD）+NVMe SSD（journal）

C． BlueStore：16osd（HDD）+NVMe SSD（RocksDB+RocksDB WAL）

D． BlueStore：16osd（SSD）+NVMe SSD（RocksDB+RocksDB WAL）

4K随机写

A．对于FileStore来说，IOPS刚开始高，后来低，整体呈振荡趋势。这是由于刚开始journal（NVMe SSD）吸收了一大部分写流量，达到阈值之后才开始往HDD刷，才会开始遇到瓶颈。

C．对于BlueStore来说，Bluestore将块按顺序分配给原始块设备，即使HDD速度比较慢，但在刚开始补0阶段很快。之后，变成对已经分配的块的随机写，也就是对HDD的完全随机访问，使得其收到HDD的IOPS的直接影响。随机写不是SSD的瓶颈，但会是HDD的瓶颈。

两个结论：

1.    FileStore是SSD-based ceph system的最优存储后端。

2.    在时延敏感场景，尤其是HDD-based ceph system，BlueStore更为合适。

思考：

HDD-based ceph system，使用Bluestore。SSD按osd数量分区，给osd做rocksdb+rocksdb wal vs HDD本身分区做rocksdb+rocksdb，这两种策略是否有差异，有的话，是否分场景，是否需要考虑磁盘容量，cpu性能，集群规模等因素？

参考

Understanding Write Behaviors of Storage Backendsin Ceph Object Store