基于bluestore的rocksdb的调优，测试ceph-4K-randwrite性能

调节bluestore_rocksdb参数，fio来测试ceph随机写的性能，期望进行优化。
在上一篇文章中测试了在ceph环境下，通过gdbprof分析4k-randwrite的性能，可以看出rocksdb线程耗用资源较多，因为ceph的底层就是基于rocksdb进行存储的，因此尝试着去调节ceph中导出的rocksdb参数，来达到一个调优效果。

简单查看下集群是否正常

$ceph osd tree

$ceph -s

rocksdb导出参数

接下来对参数进行说明：
"bluestore_rocksdb_options": "compression=kNoCompression,max_write_buffer_number=4,min_write_buffer_number_to_merge=1,recycle_log_file_num=4,write_buffer_size=268435456,writable_file_max_buffer_size=0,compaction_readahead_size=2097152"
Compression=kNoCompression：表示数据不进行压缩。对每个SST文件，数据块和索引块都会被单独压缩，默认是Snappy
write_buffer_size=268435456（2^28）：memtable的最大size，如果超过这个值，RocksDB会将其变成immutable memtable，并使用另一个新的memtable。插入数据时RocksDB首先会将其放到memtable里，所以写入很快，当一个memtable full之后，RocksDB会将该memtable变成immutable，用另一个新的memtable来存储新的写入，immutable的memtable就被等待flush到level0
max_write_buffer_number=4：最大的memtable个数。如果active memtable都full了，并且active memtable+immutable memtable个数超过max_write_buffer_number，则RocksDB会停止写入，通常原因是写入太快而flush不及时造成的。
min_write_buffer_number_to_merge=1：在flush到level0之前，最少需要被merge的memtable个数，如min_write_buffer_number_to_merge =2，那么至少当有两个immutable的memtable时，RocksDB才会将这两个immutable memTable先merge，再flush到level0。Merge 的好处是，譬如在一个key在不同的memtable里都有修改，可以merge形成一次修改。min_write_buffer_number_to_merge太大会影响读取性能，因为Get会遍历所有的memtable来看该key是否存在。
compaction_readahead_size=2097152(2^21)：预读大小，在进行compression时，执行更大的数据读取，
writable_file_max_buffer_size=0：可写文件的最大写缓存

修改rocksdb参数

首先分为服务端机器server_host和客户端机器client_host
修改server_host的/etc/ceph/ceph.conf中bluestore rocksdb项
$vim /etc/ceph/ceph.conf
添加以下参数配置

[osd]
bluestore rocksdb options = compression=kNoCompression,max_write_buffer_number=8,min_write_buffer_number_to_merge=4,recycle_log_file_num=4,write_buffer_size=356870912,writable_file_max_buffer_size=0,compaction_readahead_size=8388608
[osd.0]
[osd.1]
[osd.2]

wq保存退出

重启osd集群

systemctl restart [email protected]
systemctl restart [email protected]
systemctl restart [email protected]
注：osd一个一个的重启，不要快速重启三个，等一个osd重启并运行正常后（可用$ceph osd tree查看），再重启第二个，不然集群容易挂掉

查看rocksdb参数是否有变化

ceph daemon osd.0 config show | grep bluestore_rocksdb
ceph daemon osd.1 config show | grep bluestore_rocksdb
ceph daemon osd.2 config show | grep bluestore_rocksdb

FIO测试性能

（1）先创建image再进行4k-randwrite操作

**$rbd create --pool ymg --image img01 --size 40G**

（2）填充image

**$fio -direct=1 -iodepth=256 -ioengine=rbd -pool=ymg -rbdname=img01 -rw=write -bs=1M -size=40G -ramp_time=5 -group_reporting -name=full-fill**

（3）randwrite命令

**$fio -direct=1 -iodepth=256 -ioengine=rbd -pool=ymg -rbdname=img01 -rw=randwrite -bs=4K -runtime=300 -numjobs=1 -ramp_time=5 -group_reporting -name=parameter1**

对比实验及结果

【Parameter0实验-原始参数】

compression=kNoCompression
max_write_buffer_number=4
min_write_buffer_number_to_merge=1
recycle_log_file_num=4
write_buffer_size=268435456
writable_file_max_buffer_size=0
compaction_readahead_size=2097152
时间段：16:57:04～17:02:04
结果如下