hbase资源管理
目录
- 概述
- 流量限制
- 资源限制
- Quota语句
概述
在HBase-1.1.0之前，HBase集群中资源都是全量的。用户、表这些都是没有限制的，看似完美实则隐患较大。
流量限制
为什么要做流量限制，无限制全量跑不是更好吗？
比如今天的双十一日，数据流量是非常大的。如果不限制用户和表的流量，某些重要的核心业务，需要在资源有限的情况下优先保证正常运行。如果非核心业务在此期间其QPS一直降不下来，严重消耗系统资源，影响核心业务的正常运作。
针对上述问题，可以采取以下方案来解决：
资源限制：针对用户、命名空间及表的请求大小和QPS进行限制。
资源隔离：将不同表中的数据通过物理隔离，均衡到不同的RegionServer上。
资源限制
开启HBase资源限制是有条件，其中包含以下两个条件：
1.版本必须在1.1.0以上，或者在低版本中打上了HBase对应的Patch（HBASE-11598）
2.HBase的资源限制开关默认是关闭的，需要在HBase的配置文件中进行开启。
# 编辑HBase配置文件
vi hbase-site.xml
# 添加如下内容
<property>
<name>hbase.quota.enabled</name>
<value>true</value>
</property>
# 退出编辑并保存
首次启动时配置的，需要重启HMaster服务进程才能生效。
Quota语句
req/time：单位时间内的请求次数,
size/time：单位时间内的请求数据的大小
req：整数，请求次数
time：时间单位，sec, min, hour, day （秒，分钟，小时，天）
size: 存储单位
B (bytes), K (kilobytes), M (megabytes), G(gigabytes), T (terabytes), P (petabytes)
命令
list_quotas, set_quota TYPE => <type>, <args>
Quota参数：
TYPE => THROTTLE
THROTTLE_TYPE：可以表示为READ，WRITE或默认类型（读取+写入）。
HBase中限流是通过Quota语句来操作的，限流的方式有两种，一种是针对用户进行限流；另一种是针对表来进行限流。
# 限制用户u1每秒请求10次
hbase> set_quota TYPE => THROTTLE, USER => 'u1', LIMIT => '10req/sec'
# 限制用户u1每秒的读请求为10次
hbase> set_quota TYPE => THROTTLE, THROTTLE_TYPE => READ, USER => 'u1', LIMIT => '10req/sec'
# 限制用户u1每天的请求量为10M
hbase> set_quota TYPE => THROTTLE, USER => 'u1', LIMIT => '10M/day'
# 限制用户u1的写请求量每秒为10M
hbase> set_quota TYPE => THROTTLE, THROTTLE_TYPE => WRITE, USER => 'u1', LIMIT => '10M/sec'
# 限制用户u1在操作表t2时，每分钟的请求量为5K
hbase> set_quota TYPE => THROTTLE, USER => 'u1', TABLE => 't2', LIMIT => '5K/min'
# 限制用户u1在操作表t2时，每秒的读请求为10次
hbase> set_quota TYPE => THROTTLE, THROTTLE_TYPE => READ, USER => 'u1', TABLE => 't2', LIMIT => '10req/sec'
# 删除用户u1在命令空间ns2的请求限制
hbase> set_quota TYPE => THROTTLE, USER => 'u1', NAMESPACE => 'ns2', LIMIT => NONE
# 限制在命名空间ns1中每小时的请求为10次
hbase> set_quota TYPE => THROTTLE, NAMESPACE => 'ns1', LIMIT => '10req/hour'
# 限制表t1每小时的请求为10T
hbase> set_quota TYPE => THROTTLE, TABLE => 't1', LIMIT => '10T/hour'
# 删除用户u1的所有请求限制
hbase> set_quota TYPE => THROTTLE, USER => 'u1', LIMIT => NONE
# 显示用户u1在命名空间ns2中的所有限制详情
hbase> list_quotas USER => 'u1, NAMESPACE => 'ns2'
# 显示命令空间ns2的所有限制详情
hbase> list_quotas NAMESPACE => 'ns2'
# 显示表t1的所有限制详情
hbase> list_quotas TABLE => 't1'
# 显示所有限制详情
hbase> list_quotas
限制命名空间中的表个数
# 创建一个命令空间最大包含5个表
hbase> create_namespace 'ns1', {'hbase.namespace.quota.maxtables'=>'5'}
# 修改一个已存在的命令空间所允许的表数量大小为8个
hbase> alter_namespace 'ns2', {METHOD => 'set', 'hbase.namespace.quota.maxtables'=>'8'}
# 显示命令空间下的所有详情
hbase> describe_namespace 'ns2'
# 删除命令空间中表个数的限制
hbase> alter_namespace 'ns2', {METHOD => 'unset', NAME=>'hbase.namespace.quota.maxtables'}
限制命名空间的Region
# 创建一个命名空间最大包含10个Region
hbase> create_namespace 'ns1', {'hbase.namespace.quota.maxregions'=>'10'
# 显示命令空间中详情
hbase> describe_namespace 'ns1'
# 修改命名空间中最大Region个数为20个
hbase> alter_namespace 'ns2', {METHOD => 'set', 'hbase.namespace.quota.maxregions'=>'20'}
# 删除命名空间中Region个数的限制
hbase> alter_namespace 'ns2', {METHOD => 'unset', NAME=> 'hbase.namespace.quota.maxregions'}