默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个分区写数据,知道这个region分区足够大的时候才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions,这样当数据写入HBase时,会按照分区情况,在集群内做数据的负载均衡。
HBase中row key用来检索表中的记录,支持以下三种方式:
1、通过单个row key访问,即按照某个row key键值进行get操作
2、通过row key的range进行scan,即通过设置startRowKey和endRowKey,在这个范围内进行扫描
3、全表扫描,即直接扫描整张表中所有行记录
在HBase中,row key可以是任意字符串,最大长度54KB,实际应用中为10~100bytes,存为byte[]字节数组,一般设计定长
row key按照字典序存储,因此,设计row key时,要充分利用这个排序特点,将经常一起读取的数据存储到一块,将最近可能会访问的数据放到一块
row key规则:
1)越小越好
2)Rowkey的设计是要根据实际业务来
3)散列性
a) 取反 001 002 : 100 200 取反后,rowkey可能落在不同的region上
b) Hash rowkey取hash值后,可能会均匀分布在不同的region上
散列弊端:降低了范围查找的效率
不要再一张表中定义太多的列族。目前HBase并不能很好的处理超过2~3个列族的表。因为某个列族在flush的时候,他邻近的列族也会因关联效应被触发flush,最终导致系统产生更多的I/O。
创建表的时候,可以通过HColumnDescriptor.setInMemory(true)将表放到RegionServer的缓存中,保证在读取的时候被cache命中
创建表的时候,可以通过HColumnDescriptor.setMaxVersion(int maxVersion)设计表中数据的最大版本,如果只需要保存最新版本的数据,那么可以设置setMaxVersion(1).
创建表的时候可以通过HColumnDescriptor.setTimeToLive(int TimeToLive)设置表中数据的存储生命周期,过期数据将自动被删除,例如如果只需要存储最近两天的数据,那么可以设置setTimeToLive(2*24*60*60)。
在 HBase 中,数据在更新时首先写入 WAL 日志(HLog)和内存(MemStore)中,MemStore 中的数据是排序的,当 MemStore 累计到一定阈值时,就会创建一个新的MemStore,并且将老的 MemStore 添加到 flush 队列,由单独的线程 flush 到磁盘上,成为一个 StoreFile。于此同时,系统会在 zookeeper 中记录一个 redo point,表示这个时刻之前的变更已经持久化了(minor compact)。
StoreFile 是只读的,一旦创建后就不可以再修改。因此 Hbase 的更新其实是不断追加的操作。当一个 Store 中的 StoreFile 达到一定的阈值后,就会进行一次合并(majorcompact),将对同一个 key 的修改合并到一起,形成一个大的 StoreFile,当 StoreFile 的大小达到一定阈值后,又会对 StoreFile 进行分割(split),等分为两个 StoreFile。
由于对表的更新是不断追加的,处理读请求时,需要访问 Store 中全部的 StoreFile 和MemStore,将它们按照 row key 进行合并,由于 StoreFile 和 MemStore 都是经过排序的,并且 StoreFile 带有内存中索引,通常合并过程还是比较快的。
实际应用中,可以考虑必要时手动进行 major compact ,将同一个 row key 的修改进行合并形成一个大的 StoreFile 。同时,可以将 StoreFile 设置大些,减少 split 的发生。 hbase 为了防止小文件(被刷到磁盘的 menstore )过多,以保证保证查询效率, hbase 需要在必要的时候将这些小的 store file 合并成相对较大的 store file ,这个过程就称之为 compaction 。在 hbase 中,主要存在两种类型的 compaction : minor compaction 和 majorcompaction 。hbase.hstore.compaction.min
默认值为 3,表示至少需要三个满足条件的 store file 时, minor compaction 才会启动hbase.hstore.compaction.max
默认值为 10 ,表示一次 minor compaction 中最多选取 10 个 store file 创建多个HTable客户端用于写操作,提高写数据的吞吐量
Auto Flush
通过调用HTable.setAutoFlush(false)方法可以将HTable写客户端的自动flush关闭,这样可以批量写入数据到HBase,而不是有有一条put就执行一次更新,只有当put填满客户端写缓存时,才实际向HBase服务端发起写请求。默认情况下auto flush 是开启的。
Write Buffer
通过调用 HTable.setWriteBufferSize(writeBufferSize)方法可以设置 HTable 客户端的写buffer 大小,如果新设置的 buffer 小于当前写 buffer 中的数据时, buffer 将会被 flush 到服务端。其中, writeBufferSize 的单位是 byte 字节数,可以根据实际写入数据量的多少来设置该值
WAL Flag
在 HBase 中,客户端向集群中的 RegionServer 提交数据时(Put/Delete 操作),首先会先写 WAL(Write Ahead Log)日志(即 HLog,一个 RegionServer 上的所有 Region 共享一个HLog),只有当 WAL 日志写成功后,再接着写 MemStore,然后客户端被通知提交数据成功;如果写 WAL 日志失败,客户端则被通知提交失败。这样做的好处是可以做到
RegionServer 宕机后的数据恢复。
因此,对于相对不太重要的数据,可以在 Put/Delete 操作时,通过调用Put.setWriteToWAL(false)或 Delete.setWriteToWAL(false)函数,放弃写 WAL 日志,从而提高数据写入的性能。值得注意的是:谨慎选择关闭 WAL 日志,因为这样的话,一旦 RegionServer 宕机,Put/Delete 的数据将会无法根据 WAL 日志进行恢复。
通过调用 HTable.put(Put)方法可以将一个指定的 row key 记录写入 HBase,同样 HBase提供了另一个方法:通过调用 HTable.put(List
在客户端开启多个 HTable 写线程,每个写线程负责一个 HTable 对象的 flush 操作,这样结合定时 flush 和写 buffer(writeBufferSize),可以既保证在数据量小的时候,数据可以在较短时间内被 flush(如 1 秒内),同时又保证在数据量大的时候,写 buffer 一满就及时进行 flush。
创建多个HTable客户端用于读操作,提高读数据的吞吐量
Scanner Caching
hbase.client.scanner.caching 配置项可以设置 HBase scanner 一次从服务端抓取的数据条数,默认情况下一次一条。通过将其设置成一个合理的值,可以减少 scan 过程中 next()的时间开销,代价是 scanner 需要通过客户端的内存来维持这些被 cache 的行记录。
有三个地方可以进行配置:
a) 在 HBase 的 conf 配置文件中进行配置;
b) 通过调用 HTable.setScannerCaching(int scannerCaching)进行配置;
c) 通过调用 Scan.setCaching(int caching)进行配置。
三者的优先级越来越高。
Scan Attribute Selection
scan 时指定需要的 Column Family,可以减少网络传输数据量,否则默认 scan 操作会返回整行所有 Column Family 的数据。
Close ResultScanner
通过 scan 取完数据后,记得要关闭 ResultScanner,否则 RegionServer 可能会出现问题(对应的 Server 资源无法释放)。
通过调用 HTable.get(Get)方法可以根据一个指定的 row key 获取一行记录,同样 HBase提供了另一个方法:通过调用 HTable.get(List
在客户端开启多个 HTable 读线程,每个读线程负责通过 HTable 对象进行 get 操作。