Hbase性能测试

1 单机HBase集群测试报告

1.1 机器参数

硬件信息	机器3台 dell PowerEdge R710 内存:8G, cup 24核, 6x1t磁盘
操作系统	ubuntu-12.04.1-server-amd64

1.2 HBase单点测试

单点测试：

单硬盘配置

Lzo压缩开启

 

单点测试数据：

分别写入108,844,93、108,844,930条数据，单表单列，autoflush=true，单条写入和读取。

类型	测试集群	Region数量	线程数	操作记录条数	Key平均长度	Value平均长度	每条记录平均操作时间	平均tps
Put	单节点	255/765	300	108844930	70	136	1.544ms	648.87
Put	单节点	500	300	10884493	70	136	0.633ms	1579.39
Put	单节点	500	300	108844930	70	136	1.135ms	880.6
Put	单节点	1000	300	108844930	70	136	5.497ms	181.9
Get	单节点	255/765	300	2000000	70	136	1.738ms	575.1
Get	单节点	500	300	200000	70	136	0.234ms	4255.95
Get	单节点	500	300	2000000	70	136	0.687ms	1454.69
Get	单节点	1000	300	2000000	70	136	1.599ms	625.05
Put&Get	单节点	255/765	300 &300	108844930&2000000	70	136	1.576ms&2.60ms	634.43&384.44
Put&Get	单节点	500	300 &300	108844930&2000000	70	136	1.445ms	691.1

 

记录操作时间分布图：

图1 千万级测试操作时间分布图，其中读写操作单独测试，写10884493条，读200000条，在图表中按比例呈现

 

 

图 2 亿级测试操作时间分布图，其中读写操作单独测试，写108844930条，读2000000条，在图表中按比例呈现

 

2 HBase集群测试数据

机器参数：

操作系统：64bit turbolinux

硬盘：7200r/s 

内存：16G

Cpu:8核

集群参数：

5 nodes, 3 znodes，同一个机架

单硬盘配置

Lzo压缩开启

关键配置项：

测试数据：

写入108,844,930条数据，单表单列，autoflush=true，单条写入和读取。

类型	线程数	操作记录条数	Key平均长度	Value平均长度	每条记录平均操作时间	平均tps
Put	300	108844930	70	136	3.663ms	272.99
Get	300	2000000	70	136	1.204ms	830.41
Put&Get	300&300	108844930&2000000	70	136	Put:4.724ms& Get:2.268ms	Put:211.7&Get:441

记录操作时间分布图：

图2-1 写操作时间统计图

 

图2-2 读操作时间统计图

图2-3 读写操作时间统计图