ycsb + mongodb测试

YCSB是是 Yahoo 公司的一个用来对云服务进行基础测试的工具。目标是促进新一代云数据服务系统的性能比较。

开源地址:https://github.com/brianfrankcooper/YCSB
可以下载编译好的,也可以自行编译可用版本,

本文直接使用提供的编译好的。
下载地址:https://github.com/brianfrankcooper/YCSB/releases/

如需自行编译:参考https://blog.csdn.net/vkingnew/article/details/82027461

测试说明:https://github.com/brianfrankcooper/YCSB/wiki/Running-a-Workload

目前最新的版本是0.15.0版本,可以直接 https://github.com/brianfrankcooper/YCSB/releases/download/0.15.0/ycsb-0.15.0.tar.gz 下载

本文环境:mac
解压到任意目录

tar xfvz ycsb-0.15.0.tar.gz
cd ycsb-0.15.0

进行mongodb测试

YCSB的运行分为两个阶段:测试数据加载阶段和测试操作执行阶段,前者用来加载测试数据集,后者用来执行正真的测试操作。

image.png

1.配置要测试的MongoDB,地址为:mongodb://localhost:27017,新建一个名叫ycsb的数据库

image.png

异步驱动加载、运行

cd ycsb-0.15.0

./bin/ycsb load mongodb-async -s -P workloads/workloada -p mongodb.url=mongodb://localhost:27017/ycsb?w=0

./bin/ycsb run mongodb-async -s -P workloads/workloada -p mongodb.url=mongodb://localhost:27017/ycsb?w=0

同步驱动加载、运行

cd ycsb-0.15.0

./bin/ycsb load mongodb -s -P workloads/workloada -p mongodb.url=mongodb://localhost:27017/ycsb?w=0

./bin/ycsb run mongodb -s -P workloads/workloada -p mongodb.url=mongodb://localhost:27017/ycsb?w=0

测试结果:


image.png

测试说明

参考:https://blog.csdn.net/vkingnew/article/details/82027461

image.png
image.png

测试模式

文件名     测试场景                  读取更新插入比 应用示例 
workloada Update heavy workload      50/50   Session store recording recent actions
workloadb Read mostly workload       95/5    photo tagging; add a tag is an update, but most operations are to read tags
workloadc Read only                  100/0   user profile cache, where profiles are constructed elsewhere (e.g., Hadoop)
workloadd Read latest workload       95/0/5  user status updates; people want to read the latest
workloade Short ranges               95/5    threaded conversations, where each scan is for the posts in a given thread (assumed to be clustered by thread id)
workloadf Read-modify-write workload 50/50   user database, where user records are read and modified by the user or to record user activity.
注释:
其他的默认参数:
Default data size: 1 KB records (10 fields, 100 bytes each, plus key)
Request distribution: zipfian

配置模式中的参数:

参数                      说明
fieldcount                单条记录字段个数,默认10
fieldlength               每个字段的大小,默认100B
readallfields             是否读取所有记录,默认true
readproportion            读比例(默认0.95)
updateproportion          更新比例(默认0.05)
insertproportion          插入比例(默认0)
scanproportion            扫描比例(默认0)
readmodifywriteproportion 同一记录读、修改、回写比例(默认值:0)
requestdistribution       记录选择策略:uniform,zipfian,latest(默认值:uniform)
maxscanlength             最大scan记录数(默认值:100)
scanlengthdistribution    scan记录选择策略(默认值:uniform)
insertorder               记录插入策略:ordered,hashed(默认值:hashed)
operationcount            操作执行数
maxexecutiontime          最大执行时间,单位:秒
table                     表名(默认值值usertable)
recordcount               初始化记录条数(默认值:0)

mongodb参数设置:

参数                说明
mongodb.url          MongoDB URI或者连接串
mongodb.batchsize    对大量inert操作的时候,分批commit提交,提高吞吐量
mongodb.upsert       默认是false.true表示update操作,false表示insert操作.
mongodb.writeConcern 默认值是acknowledged。
                     可选的值:
                     - `errors_ignored`
                     - `unacknowledged`
                     - `acknowledged`
                     - `journaled`
                     - `replica_acknowledged`
                     - `majority`
mongodb.readPreference 默认值是primary
                       可选值:
                        - `primary`
                        - `primary_preferred`
                        - `secondary`
                        - `secondary_preferred`
                        - `nearest`
mongodb.maxconnections 默认值是100. mongodb.url选型中的maxPoolSize的值。
mongodb.threadsAllowedToBlockForConnectionMultiplier
                       默认值是5. mongodb.url 选型中的waitQueueMultiple的值。

测试步骤:

--压力测试的步骤:
1.启动mongoDB,建立测试数据库
2.编写workload文件:
3.加载数据:load
3.运行压测:run
4.压测过程中可配合mongostat,iostat,pmm等图形界面的监控一起观察
5.在不同并发下压力测试。
6.出具测试报告。

你可能感兴趣的:(ycsb + mongodb测试)