Hbase知识点

Hbase

今天的主要内容

• Hbase角色的了解

  • HMaster

  • HRegionServer

• Hbase中的组件及其作用

  • HLog

  • Region

  • Store

  • MemStore

  • HFile

• Hbase架构

  • 一张图

• Hbase读写数据的流程（图一定要熟悉）

  • Hbase读数据流程

  • hbase写数据流程

一、Hbase角色的理解

1. HMaster

• 监控 RegionServer

• 处理 RegionServer 故障转移

• 处理元数据的变更

• 处理 region 的分配或移除

• 在空闲时间进行数据的负载均衡

• 通过 Zookeeper 发布自己的位置给客户端

2. RegionServer

• 负责存储 HBase 的实际数据

• 处理分配给它的 Region

• 刷新缓存到 HDFS

• 维护 HLog

• 执行压缩

• 负责处理 Region 分片

二、Hbase中的组件及其作用

• HLog——Write-Ahead logs

• Region

• Store

• MemStore

• HFile

1. Write-Ahead logs

• HBase 的修改记录

• 一个HRegionServer对应一个Hlog

• Hlog中存放的是数据本身和对数据的操作

• 当对 HBase 读写数据的时候，数据不是直接写进磁盘，它会在内存中保留一段时间（时间以及数据量阈值可以设定）。

• 但把数据保存在内存中可能有更高的概率引起数据丢失，为了解决这个问题，数据会先写在一个叫做 Write-Ahead logfile 的文件中，然后再写入内存中。

• 所以在系统出现故障的时候，数据可以通过这个日志文件重建。因为Hlog中存放的是数据本身和对数据的操作

2. Region

• Hbase 表的分片

• HBase 表会根据 RowKey 值被切分成不同的 region 存储在 RegionServer 中，在一个 RegionServer 中可以有多个不同的 region。

• RegionServer对应着多张表，一张table又对应着多个Region，一个Region维护着一个区间的row key

3. Store

• HFile 存储在 Store 中，一个 Store 对应 HBase 表中的一个列族(Column Family)。

• 一个Region中有多个Store

4. MemStore

• 就是内存存储，位于内存中，用来保存当前的数据操作，所以当数据保存在 WAL中之后，RegsionServer 会在内存中存储键值对。

• 一个store中对应着一个MemStore，当MemStore达到16k后，写出到队列，然后产生一个新的Memstore，存在队列中的memstore实例化对象会被写到HFile中，一个memstore对应一个HFile，因此，一个Store中有一个memstore，但是有多个HFile。

5. HFile

• 这是在磁盘上保存原始数据的实际的物理文件，是实际的存储文件。

• 是存储在HDFS中的。

• 由HregionServer进行定期合并的，HRegionServer通过调用HDFS的API进行HFile的合并。

三、Hbase架构

image

概念理解：

· Hbase是依赖于zookeeper和hdfs的

• HBase 内置有 Zookeeper，但一般我们会有其他的 Zookeeper 集群来监管 master 和regionserver，Zookeeper 通过选举，保证任何时候，集群中只有一个活跃的 HMaster

• zookeeper中存储了

  • HMaster和RegionServer状态信息

  • HBase中数据的元数据寻址地址，也就是-ROOT-表的地址，即-ROOT-表存在于哪个RegionServer上

• HMaster与 HRegionServer 启动时会向 ZooKeeper 注册，存储所有 HRegion 的寻址入口，实时监控HRegionserver 的上线和下线信息。并实时通知给 HMaster，存储 HBase 的 schema 和 table元数据。

• 默认情况下，HBase 管理 ZooKeeper 实例，Zookeeper 的引入使得 HMaster 不再是单点故障。一般情况下会启动两个 HMaster，非 Active 的 HMaster 会定期的和 Active HMaster通信以获取其最新状态，从而保证它是实时更新的，因而如果启动了多个 HMaster 反而增加了 Active HMaster 的负担。

• 一个 RegionServer 可以包含多个 HRegion，每个 RegionServer 维护一个 HLog，和多个 HFiles以及其对应的 MemStore。RegionServer 运行于 DataNode 上，数量可以与 DatNode 数量一致。

四、Hbase读数据的流程

image

1. 寻址流程

• Client访问Zookeeper，获取-ROOT-表的元数据信息，即表位于哪个RegionServer，并向客户端返回此RegionServer的地址（交互一：Client与Zookeeper的交互）

• Client通过获取到的RegionServer的IP去访问RegionServer（交互二：client和RegionServer·的交互）

• Client接着读取RegionServer中的-ROOT-表的内容，获取到.META表的地址（交互三：client和-ROOT-的交互）

• Client根据.META表的地址，访问.META表，获取到数据的元数据信息（交互四：client和.METAE的交互）

• client根据获取到的数据的元数据信息，去访问对应的HRegionServer，然后扫描所在的MemeStore和storefile来查询数据（交互五：client和数据本身的交互）

2. 寻址流程细节

image

• -ROOT-表无论多大，都只有一个Region,存放着多条.META表的元数据信息，

• .META表中有多个Region，存放关于实际数据的元数据

• 一个Table对应多个Region，一个Region维护一部分的row key

3. 在Region中读取数据的具体流程

image

• 先到memstore中寻找，注意：memstore中存放的是用户最近写入的数据，如果没有，则去Blockcache中读取数据，注意：BlockCache中存放的是用户最近读取的数据。如果没有，则去HFile中进行读取

• HFile中获取到数据以后，现在Blockcache中进行缓存，然后再返回给客户端

• BlockCache中用到了LRUCache算法

五、Hbase写入数据流程

image

1. 先访问zookeeper，确定当前将要写入的数据所对应的 RegionServer 服务器和 Region。

2. Client 向该 RegionServer 服务器发起写入数据请求，然后 RegionServer 收到请求并响应。

3. Client 先把数据写入到 HLog，以防止数据丢失。

4. 然后将数据写入到 Memstore。

5. 如果 Hlog 和 Memstore 均写入成功，则这条数据写入成功。在此过程中，如果 Memstore达到16kb，会把 Memstore 中的数据写到一个队列中。

6. 当 Storefile 越来越多，会触发 Compact 合并操作，把过多的 Storefile 合并成一个大的

尖叫提示：因为内存空间是有限的，所以说溢写过程必定伴随着大量的小文件产生。