笔者最近在工作中需要测试ceph的rgw,于是边测试边学习。
首先工具采用的intel的一个开源工具cosbench,这也是业界主流的对象存储测试工具。

1、cosbench的安装,启动
下载最新的cosbench包
wget https://github.com/intel-cloud/cosbench/releases/download/v0.4.2.c4/0.4.2.c4.zip
解压
unzip 0.4.2.c4.zip

安装相关工具包
yum install java-1.7.0-openjdk nmap-ncat

给所有的sh脚本加执行权限
chmod +x *.sh

取消http代理
unset http_proxy

如果是controller节点,执行start-all.sh
如果是driver节点,执行start-driver.sh
我的环境里面是1个controller+3个driver,controller和其中1个driver共用一个节点
修改conf/controller.conf
玩转ceph性能测试---对象存储(一)_第1张图片

修改各个节点的conf/driver.conf
玩转ceph性能测试---对象存储(一)_第2张图片

controller 执行start-all.sh
玩转ceph性能测试---对象存储(一)_第3张图片

玩转ceph性能测试---对象存储(一)_第4张图片

driver节点执行start-driver.sh
玩转ceph性能测试---对象存储(一)_第5张图片

http://controllerip:19088/controller/
登陆controller web页面
玩转ceph性能测试---对象存储(一)_第6张图片
3个driver节点都ok

2、在conf目录下有各个配置文件
玩转ceph性能测试---对象存储(一)_第7张图片

3、ceph的对象存储支持S3和swift两种接口,本篇先讨论S3
测试S3, 可以根据s3-config-sample.xml修改


-----认证信息 accesskey secretkey endpoiont 去自己的ceph环境中获取


  

----init阶段,主要是创建bucket,上述配置为创建s3testqwer为前缀的32个bucket



----prepare阶段,主要是创建bucket里面的object,上述为在每个bucket创建64k的object 100个,64k可配范围,预先创建好数据库可以供下面的读测试使用






----main,执行阶段,ratio是执行百分比,workers是并发数,runtime是执行时间



----cleanup,清理object



-----dispose,清理bucket


同一个workstage里面的work是并发执行的,比如你有多个driver,就会分配到多个driver去执行,每一个work里面的worker又是并发,worker也是负载到多个driver去的,多个workstage是顺序执行

导入写好的workstage脚本
玩转ceph性能测试---对象存储(一)_第8张图片

然后submit

依次执行init-prepare-main-cleanup-dispose
玩转ceph性能测试---对象存储(一)_第9张图片

执行结果
玩转ceph性能测试---对象存储(一)_第10张图片

上图中各个类别说明:
Op-type - 操作类型
Op-Count - 操作总数
Byte-Count - byte总数
Avg-ResTime - 响应时间,是数据传输时间和处理时间的总和
Avg-ProceTime - 读写操作的时间
Throughput - 吞吐量,每秒操作数
Bandwidth - 带宽
Succ-Ratio - 操作的成功率

图标可以看整个数据的波动 整体还算平稳

玩转ceph性能测试---对象存储(一)_第11张图片

玩转ceph性能测试---对象存储(一)_第12张图片

有33条错误
玩转ceph性能测试---对象存储(一)
可以在cosbench的log目录下找到错误log

玩转ceph性能测试---对象存储(一)_第13张图片

查看对应mission的log
玩转ceph性能测试---对象存储(一)_第14张图片
这是java启动的一个错误:
1、stop-all.sh 停止 cosbench 进程(controller, drivers)
2、编辑 cosbench-start.sh 文件,找到java启动命令行参数, 增加"-Dcom.amazonaws.services.s3.disableGetObjectMD5Validation=true" 关闭S3的MD5校验功能
3、start-all.sh 启动

修改后再次执行workload,不再报错,可以根据自己的配置调整脚本,比如只想测试write并且又想保留数据,就可以不写cleanup和dispose,当然也可以自定义work

附加一个swift接口测试的xml
玩转ceph性能测试---对象存储(一)_第15张图片