YCSB是是 Yahoo 公司的一个用来对云服务进行基础测试的工具。目标是促进新一代云数据服务系统的性能比较。
开源地址:https://github.com/brianfrankcooper/YCSB
可以下载编译好的,也可以自行编译可用版本,
本文直接使用提供的编译好的。
下载地址:https://github.com/brianfrankcooper/YCSB/releases/
如需自行编译:参考https://blog.csdn.net/vkingnew/article/details/82027461
测试说明:https://github.com/brianfrankcooper/YCSB/wiki/Running-a-Workload
目前最新的版本是0.15.0版本,可以直接 https://github.com/brianfrankcooper/YCSB/releases/download/0.15.0/ycsb-0.15.0.tar.gz 下载
本文环境:mac
解压到任意目录
tar xfvz ycsb-0.15.0.tar.gz
cd ycsb-0.15.0
进行mongodb测试
YCSB的运行分为两个阶段:测试数据加载阶段和测试操作执行阶段,前者用来加载测试数据集,后者用来执行正真的测试操作。
1.配置要测试的MongoDB,地址为:mongodb://localhost:27017,新建一个名叫ycsb的数据库
异步驱动加载、运行
cd ycsb-0.15.0
./bin/ycsb load mongodb-async -s -P workloads/workloada -p mongodb.url=mongodb://localhost:27017/ycsb?w=0
./bin/ycsb run mongodb-async -s -P workloads/workloada -p mongodb.url=mongodb://localhost:27017/ycsb?w=0
同步驱动加载、运行
cd ycsb-0.15.0
./bin/ycsb load mongodb -s -P workloads/workloada -p mongodb.url=mongodb://localhost:27017/ycsb?w=0
./bin/ycsb run mongodb -s -P workloads/workloada -p mongodb.url=mongodb://localhost:27017/ycsb?w=0
测试结果:
测试说明
参考:https://blog.csdn.net/vkingnew/article/details/82027461
测试模式
文件名 测试场景 读取更新插入比 应用示例
workloada Update heavy workload 50/50 Session store recording recent actions
workloadb Read mostly workload 95/5 photo tagging; add a tag is an update, but most operations are to read tags
workloadc Read only 100/0 user profile cache, where profiles are constructed elsewhere (e.g., Hadoop)
workloadd Read latest workload 95/0/5 user status updates; people want to read the latest
workloade Short ranges 95/5 threaded conversations, where each scan is for the posts in a given thread (assumed to be clustered by thread id)
workloadf Read-modify-write workload 50/50 user database, where user records are read and modified by the user or to record user activity.
注释:
其他的默认参数:
Default data size: 1 KB records (10 fields, 100 bytes each, plus key)
Request distribution: zipfian
配置模式中的参数:
参数 说明
fieldcount 单条记录字段个数,默认10
fieldlength 每个字段的大小,默认100B
readallfields 是否读取所有记录,默认true
readproportion 读比例(默认0.95)
updateproportion 更新比例(默认0.05)
insertproportion 插入比例(默认0)
scanproportion 扫描比例(默认0)
readmodifywriteproportion 同一记录读、修改、回写比例(默认值:0)
requestdistribution 记录选择策略:uniform,zipfian,latest(默认值:uniform)
maxscanlength 最大scan记录数(默认值:100)
scanlengthdistribution scan记录选择策略(默认值:uniform)
insertorder 记录插入策略:ordered,hashed(默认值:hashed)
operationcount 操作执行数
maxexecutiontime 最大执行时间,单位:秒
table 表名(默认值值usertable)
recordcount 初始化记录条数(默认值:0)
mongodb参数设置:
参数 说明
mongodb.url MongoDB URI或者连接串
mongodb.batchsize 对大量inert操作的时候,分批commit提交,提高吞吐量
mongodb.upsert 默认是false.true表示update操作,false表示insert操作.
mongodb.writeConcern 默认值是acknowledged。
可选的值:
- `errors_ignored`
- `unacknowledged`
- `acknowledged`
- `journaled`
- `replica_acknowledged`
- `majority`
mongodb.readPreference 默认值是primary
可选值:
- `primary`
- `primary_preferred`
- `secondary`
- `secondary_preferred`
- `nearest`
mongodb.maxconnections 默认值是100. mongodb.url选型中的maxPoolSize的值。
mongodb.threadsAllowedToBlockForConnectionMultiplier
默认值是5. mongodb.url 选型中的waitQueueMultiple的值。
测试步骤:
--压力测试的步骤:
1.启动mongoDB,建立测试数据库
2.编写workload文件:
3.加载数据:load
3.运行压测:run
4.压测过程中可配合mongostat,iostat,pmm等图形界面的监控一起观察
5.在不同并发下压力测试。
6.出具测试报告。