使用YCSB测试Mongodb性能的方法简介

YCSB（Yahoo! Cloud Serving Benchmark）是雅虎开源的一款通用的性能测试工具。通过这个工具我们可以对各类NoSQL产品进行相关的性能测试，包括：HBase、Cassandra、Mongodb、Voldemort、Redis等。通过配置workload文件，YCSB可以灵活的模拟不同的测试负载和读写模式，以下为YCSB测试Mongo性能步骤的简单总结。

       首先，下载YCSB。在YCSB的github项目下可以查看和下载最新源码和所有Tag版本，目前最新的Tag版本为0.1.4(https://github.com/brianfrankcooper/YCSB/archive/0.1.4.zip)。下载后的ycsb-0.1.4.zip解压缩后即可直接使用，无需编译安装。在解压后的目录下，主要使用的两个目录是bin和workloads，前者包含了ycsb可执行文件，后者包含了工具自带的各类workload文件。

       其次，配置YCSB。在使用YCSB对Mongodb进行压力测试前，必须进行一些必要的配置。可以根据测试需要选择workloads目录下的任意已有workload文件，添加待测试的mongo实例信息。这里假定使用workloada文件，且待测试的mongo实例运行在本地的27017端口上，那么相应的配置文件内容如下：

mongodb.url=mongodb://localhost:27017 # 待测试mongo实例的数据库地址

mongodb.database=ycsb # 测试时使用的数据库名称

mongodb.writeConcern=normal # 写入安全性为常规

recordcount=10000000 # 测试数据集的记录条数

operationcount=10000000 # 测试过程中执行的操作总数

workload=com.yahoo.ycsb.workloads.CoreWorkload # workload实现类

readallfields=true # 查询时是否读取记录的所有字段

readproportion=0.5 # 读操作的百分比

updateproportion=0.5 # 更新操作的百分比

scanproportion=0 # 扫描操作的百分比

insertproportion=0 # 插入操作的百分比 

requestdistribution=zipfian # 请求分布模式

       再次，运行YCSB。YCSB的运行分为两个阶段：测试数据加载阶段和测试操作执行阶段，前者用来加载测试数据集，后者用来执行正真的测试操作，两个阶段都要使用上面的配置文件。数据加载的执行命令为：./bin/ycsb load mongodb -threads 100 -P workloads/workloada，即根据workloada的配置要求启动100个线程并发加载测试数据，在执行完成后YCSB会打印出类似于下面的数据加载性能统计数据：

[OVERALL], RunTime(ms), 905346.0 # 数据加载所用时间(毫秒)

[OVERALL], Throughput(ops/sec), 11045.500836144412 # 加载操作的吞吐量(ops/sec)

[INSERT], Operations, 10000000 # 执行insert操作的总数

[INSERT], AverageLatency(us), 9024.8155659 # 每次insert操作的平均延时(微秒)

[INSERT], MinLatency(us), 139 # 所有insert操作的最小延时(微秒)

[INSERT], MaxLatency(us), 1022876 # 所有insert操作的最大延时(微秒)

[INSERT], 95thPercentileLatency(ms), 27 # 95%的insert操作延时在27毫秒以内

[INSERT], 99thPercentileLatency(ms), 42 # 99%的insert操作延时在42毫秒以内

[INSERT], Return=0, 10000000 # 成功返回数10000000

[INSERT], 0, 3793117 # 以下insert操作在各个延时时间区域的分布情况

[INSERT], 1, 37171

[INSERT], 2, 8035

[INSERT], 3, 6294

...

[INSERT], 999, 0

[INSERT], >1000, 5

执行压力测试的命令为：./bin/ycsb run mongodb -threads 100 -P workloads/workloada，即根据workloada的配置要求启动100个线程并发执行测试操作，在执行完成后YCSB会打印出类似于下面的性能统计数据，统计项说明可参照上文：

[OVERALL], RunTime(ms), 526774.0

[OVERALL], Throughput(ops/sec), 18983.472988416284

[UPDATE], Operations, 500675

[UPDATE], AverageLatency(us), 6493.521553902232

[UPDATE], MinLatency(us), 147

[UPDATE], MaxLatency(us), 1096742

[UPDATE], 95thPercentileLatency(ms), 18

[UPDATE], 99thPercentileLatency(ms), 62

[UPDATE], Return=0, 500675

[UPDATE], 0, 62719

[UPDATE], 1, 69850

...

[UPDATE], 999, 0

[UPDATE], >1000, 16

[READ], Operations, 9499325

[READ], AverageLatency(us), 5173.494588510236

[READ], MinLatency(us), 87

[READ], MaxLatency(us), 1113170

[READ], 95thPercentileLatency(ms), 17

[READ], 99thPercentileLatency(ms), 54

[READ], Return=0, 9499325

[READ], 0, 3394330

[READ], 1, 1187011

...

[READ], 999, 1

[READ], >1000, 294