3.HBase架构详细

HBase架构.png

1. HBase的底层数据存储依赖于HDFS文件系统。HBase依赖于zookeeper进行通信及管理。(前置组件Hadoop、Zookeeper)
2. Matser与RegionServer都被Zookeeper管理。因此连接集群的时候连接Zookeeper就可以。

RegionServer: 服务器节点
    HLog: 预写入日志,记录着对于该RegionServer的操作,对数据的操作先写入此文件中
    Region: 表
        Store: 对应着表中的列簇
            Mem Store: 内存中存储的数据
            Hfile: 磁盘中存储的数据(HDFS)

---

① StoreFile

保存实际数据的物理文件，StoreFile以HFile的形式存储在HDFS上。每个Store会有一个或多个StoreFile（HFile），数据在每个StoreFile中都是有序的。

---

② MemStore

写缓存，由于HFile中的数据要求是有序的，所以数据是先存储在MemStore中，排好序后，等到达刷写时机才会刷写到HFile，每次刷写都会形成一个新的HFile。

---

③ WAL

由于数据要经MemStore排序后才能刷写到HFile，但把数据保存在内存中会有很高的概率导致数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Ahead logfile的文件中，然后再写入MemStore中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。

---

HBase的写流程

HBase写流程.png

1. 客户端先访问zookeeper,获取hbase的hbase:meta表位于哪个Region Server上。

2. 客户端继续访问对应的Region Server中对应的Region。并将该Table的Region 信息以及meta表的位置信息缓存在客户端的meta cache,方便下次访问。

3. 与目标Region Server进行通讯。将数据顺序写入(追加)到该Region Server的WAL中

4. 将数据写入Mem Store,数据会在Mem Store中进行排序。

5. 向客户端发送ack

6. 等达到Mem Store的刷写时机后,将数据刷写到HFile中。

① Mem store占用内存大小超过阈值
    hbase.hregion.memstore.flush.size = 128MB  -- 会进行一次刷写磁盘。
如果写入速度过快,hbase.hregion.memstore.flush.size * hbase.hregion.memstore.block.multiplier(4) = 512MB,
除了触发MenStore的flush操作外，还会阻塞所有写入该Store的写操作。
② WAL数量超过阈值
    WAL是预写日志组件,当WAL的数量到达阈值时,会触发刷写到磁盘的操作。
③ 定时刷写参数
    hbase.regionserver.optionalcacheflushinterval = 3600000 (ms),定期自动刷写,默认是1小时。当设置为0时,该参数失效。
④ 数据更新超过一定阈值
    hbase.regionserver.flush.per.changes = 30000000 ,当内存中的数据条数达到阈值时,会触发刷写。
⑤ 手动触发刷写
    可以通过API手动触发刷写操作。

当写入速度大于刷写速度的时候,memstore会逐渐变大。当memstore的大小达到了hbase.hregion.memstore.flush.size（默认值128M）* hbase.hregion.memstore.block.multiplier（默认值4）时，会阻止继续往该memstore写数据。

HBase的读流程

HBase的读流程

1. 客户端先访问zookeeper,获取hbase的hbase:meta表位于哪个Region Server上。
2. 客户端继续访问对应的Region Server中对应的Region。并将该Table的Region 信息以及meta表的位置信息缓存在客户端的meta cache,方便下次访问。
3. 与目标Region Server进行通讯。分别在Block Cache（读缓存）,MemStore和Store File（HFile）中查询目标数据,并将查到的所有数据进行合并。此处所有数据是指同一条数据的不同版本（time stamp）或者不同的类型（Put/Delete）。
4. 将从文件中查询到的数据块（Block,HFile数据存储单元,默认大小为64KB）缓存到Block Cache。将合并后的最终结果返回给客户端。

特别提示: 每次读数据的时候都是去将Block Cache（读缓存）,MemStore和Store File（HFile）的数据merge后,找到需要的数据。