好程序员大数据培训:Hbase的体系结构

    好程序员首先给大家普及一下Hbase的介绍,Hbase的服务器体系结构遵从简单的主从服务器架构,HRegion Server群和HbaseMaster服务器构成。Hbase Master服务器负责管理所有的HRegion Server,而Hbase中所有的服务器都是通过ZooKeeper来进行协调,并处理Hbase 服务器运行期间可能遇到的错误。Hbase Master本身并不存储Hbase中的任何数据,Hbase 逻辑上的表可能会被划分成多个Region,然后存储到HRegion Server群中。Hbase MasterServer中存储的是从数据到HRegion Server的映射。因此,Hbase体系结构如图所示:

好程序员大数据培训:Hbase的体系结构_第1张图片
(Hbase 的体系结构)

  (1).Client

  Client包括Hbase shell 和javaAPI.管理类操作,Client与HMaster进行RPC;对于数据读写类操作,Client与HRegionServer进行RPC。

  (2).Zookeeper

  ​Zookeeper避免了HMaster的单点问题,ZookeeperQuorum中除了存储了-ROOT-表的地址和HMaster的地址,HRegionServer也会把自己以Ephemeral方式注册到Zookeeper中,使得HMaster可以随时感知到各个HRegionServer的健康状态。

  (3).Hmaster

  集群的老大,负责管理HRegionServer,告诉HRegionServer去维护哪些region,主要作用有以下四点:

  管理用户对Table的增、删、改、查操作;

  管理HRegion Server的负载均衡,调整Region分布;

  在Region Split后,负责新Region的分配;

  在HRegion Server停机后,负责失效HRegion Server上的Regions迁移。

  (4).Region

  ​ 当表的大小超过设置值的时候(默认值是10G),Hbase会自动地将表划分为不同的区域,每个区域包含所有行的一个子集region。一个Region会保存一个表里面某段连续的数据,从开始主键到结束主键,一张完整的表格是保存在多个Region上面的。

好程序员大数据培训:Hbase的体系结构_第2张图片

  对用户来说,每个表是一堆数据的集合,靠主键来区分。从物理上来说,一张表被拆分成了多块,每一块就是一个Region。我们用表名+开始/结束主键,来区分每一个Region。

  (5).HRegion Server

好程序员大数据培训:Hbase的体系结构_第3张图片

  HRegionServer主要负责响应用户的读写请求,内部管理了一系列HRegion对象,每个HRegion对应了Table中的一个Region,Region中由多个Store组成。每个Store对应了Table中的一个列族的存储,Store存储是Hbase存储的核心了,其中由两部分组成,一部分是MemStore,一部分是StoreFiles。MemStore是Sorted MemoryBuffer,用户写入的数据首先会放入MemStore,当MemStore满了以后会Flush成一个StoreFile(底层实现是HFile)。

  (6).ROOT表和META表

  所有Region的元数据信息被存在meta表中,随着region不断分裂增多,meta表变大,也会分裂出属于meta表的region,meta表的region元数据信息保存在root表中,并且root表不再split,最终由zookeeper记录root表的位置。

好程序员大数据培训:Hbase的体系结构_第4张图片

  (7).Hlog

  每个HRegion Server中都有一个HLog对象,HLog是一个实现Write AheadLog的类,在每次用户操作写入MemStore的同时,也会写一份数据到HLog文件中(HLog文件格式见后续),HLog文件定期会滚动出新的,并删除旧的文件(已持久化到StoreFile中的数据)。当HRegionServer意外终止后,HMaster会通过Zookeeper感知到,HMaster首先会处理遗留的HLog文件,将其中不同Region的Log数据进行拆分,分别放到相应region的目录下,然后再将失效的region重新分配,领取到这些region的HRegionServer在Load Region的过程中,会发现有历史HLog需要处理,因此会ReplayHLog中的数据到MemStore中,然后flush到StoreFiles,完成数据恢复。

  以上是好程序员小编对Hbase的体系结构的介绍,如有疑问欢迎留言提问。

你可能感兴趣的:(好程序员大数据培训:Hbase的体系结构)