大数据技术原理------期末复习HBase

1、HBase数据模型(相关的概念:表、行键、列族、列限定符、单元格、时间戳)、面向列的存储。能根据数据表的SQL模式给出行式模式和列式模式

表:HBase采用表来组织数据,表由行和列组成,列划分为若干个列族

行键每个HBase表都由若干行组成,每个行由行键(row key)来标识。行键可以是任意字符串(最大长度是64KB,实际应用中长度一般为10~100Byte)。在HBase内部,行键保存为字节数组。存储时,数据按照行键的字典序存储。在设计行键时,要充分考虑这个特性,将经常一起读取的行存储在一起。

列族:一个HBase表被分组成许多“列族”(Column Family)的集合,它是基本的访问控制单元。需要在创建表时就定义好,数量也不宜过多。列族名必须由可打印字符组成,创建表时候不需要定义好列

列限定符:列族里的数据通过列限定符(或列)来定位

单元格:在HBase表中,通过行、列族和列限定符确定一个“单元格”(cell),单元格中存储的数据没有数据类型,总被视为字节数组byte[]

时间戳每个单元格都保存着同一份数据的多个版本,这些版本采用时间戳进行索引

(SQL模式)

大数据技术原理------期末复习HBase_第1张图片

 大数据技术原理------期末复习HBase_第2张图片

 大数据技术原理------期末复习HBase_第3张图片

2、HBase的架构

A.功能组件库函数:链接到每个客户端

一个Master主服务器:管理和维护HBase表的分区信息,维护Region服务器列表,分配Region,负载均衡

许多个Region服务器:负责存储和维护分配给自己的Region,处理来自客户端的读写请求

  1. 表和Region

数据表:由行和列组成,数据库利用表来组织数据;

Region:是表的一个分区,依据行键的值划分,属于表中连续的一段

  1. Region的定位

每一个Region都有一个RegionID来标志它的唯一性,这样,一个Region标识符就可以表示成“表名+开始主键+RegionID”
映射表作用:为了定位每个Region所在的位置,可以构建一张映射表。

映射表结构:映射表的每个条目(或每行)包含两项内容,一个是Region标识符,另一个是Region服务器标识。这个条目表示Region和Region服务器之间的对应关系,从而可以知道某个Region被保存在哪个Region服务器中。

“元数据表”“META.表”):存储关于Region的元数据(即Region和Region服务器之间的对应关系)

当一个HBase表中的Region数量很大时,META.表的条目就会非常多,一个服务器保存不下,也需要分区存储到不同的服务器上,因此.META.表也会被分裂成多个Region.

“根数据表”,又名“-ROOT表”定位这些Region,记录所有元数据的具体位置

ROOT表是不能被分割的,永远只存在一个Region用于存放-ROOT表。

用来存放-ROOT表的唯一一个Region,它的名字在程序中被“写死”,Master主服务器永远知道它的位置
    Hbase使用类似B+树的三层结构来保存Region位置信息

Zookeeper文件记录了-ROOT-表的位置

  1. 三级寻址过程(会计算三层结构可保存的Region个数

一个-ROOT-表最多只能有一个Region,也就是最多只能有128MB,按照每行(一个映射条目)占用1KB内存计算,128MB空间可以容纳128MB/1KB=217行,也就是说,一个-ROOT-表可以寻址217个.META.表的Region。

同理,每个.META.表的 Region可以寻址的用户数据表的Region个数是128MB/1KB=217。

最终,三层结构可以保存的Region数目是(128MB/1KB) × (128MB/1KB) = 234个Region

3、HBase运行机制

1)HBase系统架构

大数据技术原理------期末复习HBase_第4张图片

  1. 客户端:

客户端包含访问HBase的接口,同时在缓存中维护着已经访问过的Region位置信息,用来加快后续数据访问过程

    使用RPC机制与Master和主服务器进行通信

对于管理类操作,客户端与Master进行RPC;而对于数据读写类操作,客户端会与Region服务器进行RPC

B.Zookeeper服务器

    并非一台单一服务器,可能是由多台机器构成的集群来提供稳定可靠的协同服务

可以很容易的实现集群管理的功能,如果有多台服务器组成一个服务器集群,那么必须有一个总管知道当前集群中每台机器的服务状态,

Zookeeper可以帮助选举出一个Master作为集群的总管,并保证在任何时刻总有唯一一个Master在运行,这就避免了Master的“单点失效”问题

C. Master

主服务器Master主要负责表和Region的管理工作:

管理用户对表的增加、删除、修改、查询等操作

实现不同Region服务器之间的负载均衡

在Region分裂或合并后,负责重新调整Region的分布

对发生故障失效的Region服务器上的Region进行迁移

D.Region服务器

Region服务器是HBase中最核心的模块,负责维护分配给自己的Region,并响应用户的读写请求

  1. Region服务器工作原理

A.用户读写数据过程

用户写入数据时,被分配到相应Region服务器去执行

用户数据首先被写入到MemStore和Hlog中

只有当操作写入Hlog之后,commit()调用才会将其返回给客户端

当用户读取数据时,Region服务器会首先访问MemStore缓存,如果找不到,再去磁盘上面的StoreFile中寻找

B.缓存的刷新

系统会周期性地把MemStore缓存里的内容刷写到磁盘的StoreFile文件中,清空缓存,并在Hlog里面写入一个标记

每次刷写都生成一个新的StoreFile文件,因此,每个Store包含多个StoreFile文件

每个Region服务器都有一个自己的HLog 文件,每次启动都检查该文件,确认最近一次执行缓存刷新操作之后是否发生新的写入操作;如果发现更新,则先写入MemStore,再刷写到StoreFile,最后删除旧的Hlog文件,开始为用户提供服务

C. StoreFile的合并

每次刷写都生成一个新的StoreFile,数量太多,影响查找速度

调用Store.compact()把多个合并成一个

合并操作比较耗费资源,只有数量达到一个阈值才启动合并

 大数据技术原理------期末复习HBase_第5张图片

  1. Store工作原理

Store是Region服务器的核心

多个StoreFile合并成一个

单个StoreFile过大时,又触发分裂操作,1个父Region被分裂成两个子Region

大数据技术原理------期末复习HBase_第6张图片

  1. HLog工作原理

分布式环境必须要考虑系统出错。HBase采用HLog保证系统恢复

HBase系统为每个Region服务器配置了一个HLog文件,它是一种预写式日志(Write Ahead Log)

用户更新数据必须首先写入日志后,才能写入MemStore缓存,并且,直到MemStore缓存内容对应的日志已经写入磁盘,该缓存内容才能被刷写到磁盘

Zookeeper会实时监测每个Region服务器的状态,当某个Region服务器发生故障时,Zookeeper会通知Master

Master首先会处理该故障Region服务器上面遗留的HLog文件,这个遗留的HLog文件中包含了来自多个Region对象的日志记录

系统会根据每条日志记录所属的Region对象对HLog数据进行拆分,分别放到相应Region对象的目录下,然后,再将失效的Region重新分配到可用的Region服务器中,并把与该Region对象相关的HLog日志记录也发送给相应的Region服务器

Region服务器领取到分配给自己的Region对象以及与之相关的HLog日志记录以后,会重新做一遍日志记录中的各种操作,把日志记录中的数据写入到MemStore缓存中,然后,刷新到磁盘的StoreFile文件中,完成数据恢复

共用日志优点:提高对表的写操作性能;缺点:恢复时需要分拆日志

5)HBase访问接口

大数据技术原理------期末复习HBase_第7张图片

  1. 试述HBase的三层结构中各层次的名称和作用。
    第一层 Zookeeper文件 记录了-ROOT-表的位置信息
    第二层 -ROOT-表       记录了.META.表的Region位置信息。-ROOT-表只能有    一个Region。通过-ROOT-表,就可以访问.META.表中的数据
    第三层 .META.表       记录了用户数据表的Region位置信息,.META.表可以有多个Region,保存了HBase中所有用户数据表的Region位置信息
    2、请阐述HBase的三层结构下,客户端是如何访问到数据的。
    先访问Zookeeper,获取-ROOT表位置信息,然后访问-Root-表,获得.MATA.表信息,再访问.MATA.表,找到所需Region具体位于哪个Region服务器,最后到该Region服务器读取数据。
  2. 当一台Region服务器意外终止时,Master如何发现这种意外终止情况?为了恢复这台发生意外的Region服务器上的Region,Master应该做出哪些处理(包括如何使用HLog进行恢复)?重点

发现:Zookeeper会实时监测每个Region服务器的状态,当某个Region服务器发生故障时,Zookeeper会通知Master。
处理:Master先处理该故障Region服务器上面遗留的HLog文件(包含来自多个Region对象的日志记录)。系统根据每条日志记录所属的Region对象对HLog数据进行拆分,分别放到相应Region对象的目录下,再将失效的Region重新分配到可用的Region服务器中,把与该Region对象相关的HLog日志记录发送给相应的Region服务器。
恢复:Region服务器领取到分配给自己的Region对象以及与之相关的HLog日志记录后,重新做一遍日志记录中各种操作,把日志记录中的数据写入到MemStore缓存中,然后,刷新到磁盘的StoreFile文件中,完成数据恢复。

图4-4、4-9、4-10

你可能感兴趣的:(复习,大数据,spark)