大数据技术原理------期末复习HBase

1、HBase数据模型（相关的概念：表、行键、列族、列限定符、单元格、时间戳）、面向列的存储。能根据数据表的SQL模式给出行式模式和列式模式

表：HBase采用表来组织数据，表由行和列组成，列划分为若干个列族

行键：每个HBase表都由若干行组成，每个行由行键（row key）来标识。行键可以是任意字符串（最大长度是64KB，实际应用中长度一般为10～100Byte)。在HBase内部，行键保存为字节数组。存储时，数据按照行键的字典序存储。在设计行键时，要充分考虑这个特性，将经常一起读取的行存储在一起。

列族：一个HBase表被分组成许多“列族”（Column Family）的集合，它是基本的访问控制单元。需要在创建表时就定义好，数量也不宜过多。列族名必须由可打印字符组成，创建表时候不需要定义好列

列限定符：列族里的数据通过列限定符（或列）来定位

单元格：在HBase表中，通过行、列族和列限定符确定一个“单元格”（cell），单元格中存储的数据没有数据类型，总被视为字节数组byte[]

时间戳：每个单元格都保存着同一份数据的多个版本，这些版本采用时间戳进行索引

（SQL模式）

 

 

2、HBase的架构

A.功能组件：库函数：链接到每个客户端

一个Master主服务器：管理和维护HBase表的分区信息，维护Region服务器列表，分配Region，负载均衡

许多个Region服务器：负责存储和维护分配给自己的Region，处理来自客户端的读写请求

1. 表和Region

数据表：由行和列组成，数据库利用表来组织数据；

Region：是表的一个分区，依据行键的值划分，属于表中连续的一段

1. Region的定位

每一个Region都有一个RegionID来标志它的唯一性，这样，一个Region标识符就可以表示成“表名+开始主键+RegionID”
映射表作用：为了定位每个Region所在的位置，可以构建一张映射表。

映射表结构：映射表的每个条目（或每行）包含两项内容，一个是Region标识符，另一个是Region服务器标识。这个条目表示Region和Region服务器之间的对应关系，从而可以知道某个Region被保存在哪个Region服务器中。

“元数据表”（“META.表”）：存储关于Region的元数据（即Region和Region服务器之间的对应关系）

当一个HBase表中的Region数量很大时，META.表的条目就会非常多，一个服务器保存不下,也需要分区存储到不同的服务器上,因此.META.表也会被分裂成多个Region.

“根数据表”，又名“-ROOT表”：定位这些Region，记录所有元数据的具体位置

ROOT表是不能被分割的，永远只存在一个Region用于存放-ROOT表。

用来存放-ROOT表的唯一一个Region，它的名字在程序中被“写死”，Master主服务器永远知道它的位置
    Hbase使用类似B+树的三层结构来保存Region位置信息

Zookeeper文件记录了-ROOT-表的位置

1. 三级寻址过程（会计算三层结构可保存的Region个数）

一个-ROOT-表最多只能有一个Region，也就是最多只能有128MB，按照每行（一个映射条目）占用1KB内存计算，128MB空间可以容纳128MB/1KB=217行，也就是说，一个-ROOT-表可以寻址217个.META.表的Region。

同理，每个.META.表的 Region可以寻址的用户数据表的Region个数是128MB/1KB=217。

最终，三层结构可以保存的Region数目是(128MB/1KB) × (128MB/1KB) = 234个Region

3、HBase运行机制

1）HBase系统架构

1. 客户端:

客户端包含访问HBase的接口，同时在缓存中维护着已经访问过的Region位置信息，用来加快后续数据访问过程

    使用RPC机制与Master和主服务器进行通信

对于管理类操作，客户端与Master进行RPC；而对于数据读写类操作，客户端会与Region服务器进行RPC

B.Zookeeper服务器

    并非一台单一服务器，可能是由多台机器构成的集群来提供稳定可靠的协同服务

可以很容易的实现集群管理的功能，如果有多台服务器组成一个服务器集群，那么必须有一个总管知道当前集群中每台机器的服务状态，

Zookeeper可以帮助选举出一个Master作为集群的总管，并保证在任何时刻总有唯一一个Master在运行，这就避免了Master的“单点失效”问题

C. Master

主服务器Master主要负责表和Region的管理工作：

管理用户对表的增加、删除、修改、查询等操作

实现不同Region服务器之间的负载均衡

在Region分裂或合并后，负责重新调整Region的分布

对发生故障失效的Region服务器上的Region进行迁移

D.Region服务器

Region服务器是HBase中最核心的模块，负责维护分配给自己的Region，并响应用户的读写请求

1. Region服务器工作原理

A.用户读写数据过程

用户写入数据时，被分配到相应Region服务器去执行

用户数据首先被写入到MemStore和Hlog中

只有当操作写入Hlog之后，commit()调用才会将其返回给客户端

当用户读取数据时，Region服务器会首先访问MemStore缓存，如果找不到，再去磁盘上面的StoreFile中寻找

B.缓存的刷新

系统会周期性地把MemStore缓存里的内容刷写到磁盘的StoreFile文件中，清空缓存，并在Hlog里面写入一个标记

每次刷写都生成一个新的StoreFile文件，因此，每个Store包含多个StoreFile文件

每个Region服务器都有一个自己的HLog 文件，每次启动都检查该文件，确认最近一次执行缓存刷新操作之后是否发生新的写入操作；如果发现更新，则先写入MemStore，再刷写到StoreFile，最后删除旧的Hlog文件，开始为用户提供服务

C. StoreFile的合并

每次刷写都生成一个新的StoreFile，数量太多，影响查找速度

调用Store.compact()把多个合并成一个

合并操作比较耗费资源，只有数量达到一个阈值才启动合并

 

1. Store工作原理

Store是Region服务器的核心

多个StoreFile合并成一个

单个StoreFile过大时，又触发分裂操作，1个父Region被分裂成两个子Region

1. HLog工作原理

分布式环境必须要考虑系统出错。HBase采用HLog保证系统恢复

HBase系统为每个Region服务器配置了一个HLog文件，它是一种预写式日志（Write Ahead Log）

用户更新数据必须首先写入日志后，才能写入MemStore缓存，并且，直到MemStore缓存内容对应的日志已经写入磁盘，该缓存内容才能被刷写到磁盘

Zookeeper会实时监测每个Region服务器的状态，当某个Region服务器发生故障时，Zookeeper会通知Master

Master首先会处理该故障Region服务器上面遗留的HLog文件，这个遗留的HLog文件中包含了来自多个Region对象的日志记录

系统会根据每条日志记录所属的Region对象对HLog数据进行拆分，分别放到相应Region对象的目录下，然后，再将失效的Region重新分配到可用的Region服务器中，并把与该Region对象相关的HLog日志记录也发送给相应的Region服务器

Region服务器领取到分配给自己的Region对象以及与之相关的HLog日志记录以后，会重新做一遍日志记录中的各种操作，把日志记录中的数据写入到MemStore缓存中，然后，刷新到磁盘的StoreFile文件中，完成数据恢复

共用日志优点：提高对表的写操作性能；缺点：恢复时需要分拆日志

5）HBase访问接口

1. 试述HBase的三层结构中各层次的名称和作用。
   第一层 Zookeeper文件 记录了-ROOT-表的位置信息
   第二层 -ROOT-表       记录了.META.表的Region位置信息。-ROOT-表只能有    一个Region。通过-ROOT-表，就可以访问.META.表中的数据
   第三层 .META.表       记录了用户数据表的Region位置信息，.META.表可以有多个Region，保存了HBase中所有用户数据表的Region位置信息
   2、请阐述HBase的三层结构下，客户端是如何访问到数据的。
   先访问Zookeeper，获取-ROOT表位置信息，然后访问-Root-表，获得.MATA.表信息，再访问.MATA.表，找到所需Region具体位于哪个Region服务器，最后到该Region服务器读取数据。
2. 当一台Region服务器意外终止时，Master如何发现这种意外终止情况？为了恢复这台发生意外的Region服务器上的Region,Master应该做出哪些处理(包括如何使用HLog进行恢复)?（重点）

发现：Zookeeper会实时监测每个Region服务器的状态，当某个Region服务器发生故障时，Zookeeper会通知Master。
处理：Master先处理该故障Region服务器上面遗留的HLog文件（包含来自多个Region对象的日志记录）。系统根据每条日志记录所属的Region对象对HLog数据进行拆分，分别放到相应Region对象的目录下，再将失效的Region重新分配到可用的Region服务器中，把与该Region对象相关的HLog日志记录发送给相应的Region服务器。
恢复：Region服务器领取到分配给自己的Region对象以及与之相关的HLog日志记录后，重新做一遍日志记录中各种操作，把日志记录中的数据写入到MemStore缓存中，然后，刷新到磁盘的StoreFile文件中，完成数据恢复。

图4-4、4-9、4-10