3、Hbase优化，数据结构

一、Hbase的优化

1.1、Rowkey的设计

• Rowkey相当于Hbase中数据的主键，同时在底层存储的时候也是根据Rowkey划分region分布到不同的HregionService节点中。所以Rowkey的设计十分关键。
• HBase中的Rowkey按字典顺序排序。可以使相关行彼此靠近存储。如果rowkey设计不当会引起热点问题，即客户端大量的读写请求都集中在一个或几个节点上。从而导致性能下降。
• 为防止数据写入时出现热点，数据被写入时应写入集群中的多个区域，而不是一次写入一个区域（Hregion）。
• 设计原则：
  • 要保证rowkey的唯一性（随机数，时间戳）。
  • rowkey 长度建议是越短越好，不要超过16个字节。
  • Rowkey的散列原则，既是离散的
  • 如果Rowkey是按时间戳的方式递增，不要将时间放在二进制码的前面，建议将Rowkey的高位作为散列字段，由程序循环生成，低位放时间字段，这样将提高数据均衡分布在每个Regionserver实现负载均衡的几率。
  • 如果没有散列字段，首字段直接是时间信息将产生所有新数据都在一个 RegionServer上堆积的热点现象，这样在做数据检索的时候负载将会集中在个别RegionServer，降低查询效率。
  • 

1.2、列族的设置

• 尝试使ColumnFamily名称尽可能小，最好是一个字符（例如，“ d”表示数据/默认值）。
• 对于那些临时性的ColumnFamily可以设置失效时间。一旦达到到期时间，HBase将自动删除行。
• 将相同IO特性的列放入同一列族。
• 列族的数量：
  • HBase当前不能很好地处理超过两个或三个列族的数据，因此请保持列族的数量较少。当前，刷新和压缩是在每个Region的基础上进行的，因此，如果一个列族承载着大量要进行刷新的数据，即使相邻族族携带的数据量很小，也将对其进行刷新。如果刷新太频繁，会导致大量不必要的I / O。
  • 最好的情况下使用一个列族。仅在数据访问通常是列范围的情况下才引入第二和第三列族。即，一次只查询一个列族，通常不会查询两个列族。
• 多个列族中的数据（行数）分布大致均匀。
  • 在单个表中存在多个ColumnFamilie的地方，要注意基数（即行数）。如果ColumnFamilyA具有100万行，而ColumnFamilyB具有10亿行，则ColumnFamilyA的数据可能会分布在许多区域（RegionServers）中。这使得对ColumnFamilyA进行批量扫描的效率较低。

1.3、Region的预分

• HBase默认建表时有一个region，这个region的rowkey是没有边界的，即没有startkey和endkey，在数据写入时，所有数据都会写入这个默认的region，随着数据量的不断增加，此region已经不能承受不断增长的数据量，会进行split，分成2个region。在此过程中，会产生两个问题：
  • 数据往一个region上写，会有写热点问题。
  • region split会消耗集群I/O资源。
• 基于此我们可以控制在建表的时候，创建多个空region，并确定每个region的起始和终止rowky，这样只要我们的rowkey设计能均匀的命中各个region，就不会存在写热点问题。自然split的几率也会大大降低。当然随着数据量的不断增长，该split的还是要进行split。

二、Hbase数据结构

B+树

• 传统关系型数据普通索引就是采用B+树的方式
• B+树最大的性能问题是会产生大量的随机IO，随着新数据的插入，叶子节点会慢慢分裂，逻辑上连续的叶子节点在物理上往往不连续，甚至分离的很远，但做范围查询时，会产生大量读随机IO；

LSM树

• 为了克服B+树的弱点，HBase引入了LSM树的概念，即Log-Structured Merge-Trees；
• LSM树的设计思想：
  • 将对数据的修改增量保持在内存中，达到指定的大小限制后将这些修改操作批量写入磁盘，不过读取的时候稍微麻烦，需要合并磁盘中历史数据和内存中最近修改操作，所以写入性能大大提升，读取时可能需要先看是否命中内存，否则需要访问较多的磁盘文件。极端的说，基于LSM树实现的HBase的写性能比MySQL高了一个数量级，读性能低了一个数量级。
  • LSM树本质上就是在读写之间取得平衡，和B+树相比，它牺牲了部分读性能，用来大幅提高写性能。
  • 基本过程：LSM树原理把一棵大树拆分成N棵小树，它首先写入内存中，随着小树越来越大，内存中的小树会flush到磁盘中，磁盘中的树定期可以做merge（合并）操作，合并成一棵大树，以优化读性能。

 　　

B+树与LSM-Tree树本质区别

• 他们本质不同点在于他们使用现代硬盘的方式，尤其是磁盘。从磁盘使用方面讲，RDBMS是寻道型，它需要随机读写数据。LSM-Tree则属于传输型，它会顺序读写数据。

HBase存储的设计思想：

• 小树先写到内存中，为了防止内存数据丢失，写内存的同时需要暂时持久化到磁盘，对应了HBase的MemStore和HLog。
• MemStore上的树达到一定大小之后，需要flush到HRegion磁盘中（一般是Hadoop DataNode），这样MemStore 就变成了DataNode上的磁盘文件StoreFile，定期HRegionServer 对 DataNode 的数据做 merge 操作，彻底删除无效空间，多棵小树在这个时机合并成大树，来增强读性能。