一文读懂分布式数据库Hbase

一、

1、什么是Hbase。

是一个高可靠性、高性能、列存储、可伸缩、实时读写的分布式数据库系统。

适合于存储非结构化数据，基于列的而不是基于行的模式

如图：Hadoop生态中HBase与其他部分的关系。

2、关系数据库已经流行很多年，并且Hadoop已经有了HDFS和MapReduce，为什么需要HBase?

Hadoop 可以很好地解决大规模数据的离线批量处理问题，但是，受限于 HadoopMapReduce 编程框架的高延迟数据处理机制，使得 Hadoop 无法满足大规模数据实时处理应用的需求

HDFS 面向批量访问模式，不是随机访问模式

传统的通用关系型数据库无法应对在数据规模剧增时导致的系统扩展性和性能问题（分库分表也不能很好解决）

传统关系数据库在数据结构变化时一般需要停机维护；空列浪费存储空间

因此，业界出现了一类面向半结构化数据存储和处理的高可扩展、低写入 / 查询延迟的系统，例如，键值数据库、文档数据库和列族数据库（如 BigTable 和 HBase 等）

HBase 已经成功应用于互联网服务领域和传统行业的众多在线式数据分析处理系统中

3、 HBase 与传统的关系数据库的区别

（ 1 ）数据类型：关系数据库采用关系模型，具有丰富的数据类型和存储方式， HBase则采用了更加简单的数据模型，它把数据存储为未经解释的字符串

（ 2 ）数据操作：关系数据库中包含了丰富的操作，其中会涉及复杂的多表连接。 HBase 操作则不存在复杂的表与表之间的关系，只有简单的插入、查询、删除、清空等，因为 HBase 在设计上就避免了复杂的表和表之间的关系
（ 3 ）存储模式：关系数据库是基于行模式存储的。 HBase是基于列存储的，每个列族都由几个文件保存，不同列族的文件是分离的

（ 4 ）数据索引：关系数据库通常可以针对不同列构建复杂的多个索引，以提高数据访问性能。 HBase只有一个索引——行键，通过巧妙的设计，HBase中的所有访问方法，或者通过行键访问，或者通过行键扫描，从而使得整个系统不会慢下来

（ 5 ）数据维护：在关系数据库中，更新操作会用最新的当前值去替换记录中原来的旧值，旧值被覆盖后就不会存在。而在 HBase中执行更新操作时，并不会删除数据旧的版本，而是生成一个新的版本，旧有的版本仍然保留

（ 6 ）可伸缩性：关系数据库很难实现横向扩展，纵向扩展的空间也比较有限。相反， HBase和BigTable这些分布式数据库就是为了实现灵活的水平扩展而开发的，能够轻易地通过在集群中增加或者减少硬件数量来实现性能的伸缩

二、Hbase数据模型

1、模型概述

HBase 是一个稀疏、多维度、排序的映射表，这张表的索引是行键、列族、列限定符和时间戳

每个值是一个未经解释的字符串，没有数据类型

用户在表中存储数据，每一行都有一个可排序的行键和任意多的列

表在水平方向由一个或者多个列族组成，一个列族中可以包含任意多个列，同一个列族里面的数据存储在一起

列族支持动态扩展，可以很轻松地添加一个列族或列，无需预先定义列的数量以及类型，所有列均以字符串形式存储，用户需要自行进行数据类型转换

HBase 中执行更新操作时，并不会删除数据旧的版本，而是生成一个新的版本，旧有的版本仍然保留（这是和 HDFS 只允许追加不允许修改的特性相关的）

2、数据坐标
HBase 中需要根据行键、列族、列限定符和时间戳来确定一个单元格，因此，可以视为一个“四维坐标”，即 [ 行键 , 列族 , 列限定符 , 时间戳 ]

键	值
[“201505003”,“Info”,“email”, 1174184619081]	“[email protected]”
[“201505003”,“Info”,“email”, 1174184620720]	“[email protected]”

3、概念视图

4、物理视图

三、HBase实现原理

1、HBase的实现包括三个主要的功能组件：

（ 1 ）库函数：链接到每个客户端

（ 2 ）一个 Master 主服务器

（ 3 ）许多个 Region 服务器

主服务器Master负责管理和维护HBase表的分区信息 ，维护 Region 服务器列表，分配 Region ，负载均衡

Region 服务器负责存储和维护分配给自己的 Region ，处理来自客户端的读写请求

客户端并不是直接从 Master 主服务器上读取数据，而是在获得 Region 的存储位置信息后，直接从 Region 服务器上读取数据

客户端并不依赖 Master ，而是通过 Zookeeper 来获得 Region 位置信息，大多数客户端甚至从来不和 Master 通信，这种设计方式使得 Master 负载很小

2、Region
开始只有一个 Region ，后来不断分裂

Region 拆分操作非常快，接近瞬间，因为拆分之后的 Region 读取的仍然是原存储文件，直到“合并”过程把存储文件异步地写到独立的文件之后，才会读取新文件

同一个 Region 不会被分拆到多个 Region 服务器

每个 Region 服务器存储 10-1000 个 Region

元数据表，又名 .META. 表，存储了 Region 和 Region 服务器的映射关系

当 HBase 表很大时， .META. 表也会被分裂成多个 Region

根数据表，又名 -ROOT- 表，记录所有元数据的具体位置

-ROOT- 表只有唯一一个 Region ，名字是在程序中被写死的

Zookeeper 文件记录了 -ROOT- 表的位置

客户端访问数据时的“三级寻址”

为了加速寻址，客户端会缓存位置信息，同时，需要解决缓存失效问题

寻址过程客户端只需要询问 Zookeeper 服务器，不需要连接 Master 服务器

3、HBase的三层结构中各层次的名称和作用

层次	名称	作用
第一层	Zookeper文件	记录了-ROOT-表的位置信息
第二层	-ROOT-表	记录了.META.表的Region位置信息 -ROOT-表只能有一个Region。通过-ROOT-表，就可以访问.META.表中的数据
第三层	.META.表	记录了用户数据表的Region位置信息，.META.表可以有多个Region，保存了HBase中所有用户数据表的Region位置信息

四、HBase运行机制
1、HBase系统架构

(1、客户端包含访问 HBase 的接口，同时在缓存中维护着已经访问过的 Region 位置信息，用来加快后续数据访问过程

(2、Zookeeper 可以帮助选举出一个 Master 作为集群的总管，并保证在任何时刻总有唯一一个 Master 在运行，这就避免了 Master 的“单点失效”问题

（Zookeeper是一个很好的集群管理工具，被大量用于分布式计算，提供配置维护、域名服务、分布式同步、组服务等。）

(3. Master

主服务器 Master 主要负责表和 Region 的管理工作：

管理用户对表的增加、删除、修改、查询等操作

实现不同 Region 服务器之间的负载均衡

在 Region 分裂或合并后，负责重新调整 Region 的分布

对发生故障失效的 Region 服务器上的 Region 进行迁移

(4. Region 服务器

Region 服务器是 HBase 中最核心的模块，负责维护分配给自己的 Region ，并响应用户的读写请求

2、Region

(1、用户读写数据过程
用户写入数据时，被分配到相应 Region 服务器去执行

用户数据首先被写入到 MemStore 和 Hlog 中

只有当操作写入 Hlog 之后， commit() 调用才会将其返回给客户端

当用户读取数据时， Region 服务器会首先访问 MemStore 缓存，如果找不到，再去磁盘上面的 StoreFile 中寻找

(2、缓存的刷新

系统会周期性地把 MemStore 缓存里的内容刷写到磁盘的 StoreFile 文件中，清空缓存，并在 Hlog 里面写入一个标记、
每次刷写都生成一个新的 StoreFile 文件，因此，每个 Store 包含多个 StoreFile 文件

每个 Region 服务器都有一个自己的 HLog 文件，每次启动都检查该文件，确认最近一次执行缓存刷新操作之后是否发生新的写入操作；如果发现更新，则先写入 MemStore ，再刷写到 StoreFile ，最后删除旧的 Hlog 文件，开始为用户提供服务
(3、StroreFile的合并

每次刷写都生成一个新的 StoreFile ，数量太多，影响查找速度

调用 Store.compact() 把多个合并成一个

合并操作比较耗费资源，只有数量达到一个阈值才启动合并

3、Store工作原理

Store 是 Region 服务器的核心

多个 StoreFile 合并成一个
触发分裂操作，1个父Region被分裂成两个子Region

单个 StoreFile 过大时，又

4、HLog工作原理

分布式环境必须要考虑系统出错。 HBase 采用 HLog 保证系统恢复

HBase 系统为每个 Region 服务器配置了一个 HLog 文件，它是一种预写式日志（ WriteAhead Log ）

用户更新数据必须首先写入日志后，才能写入 MemStore 缓存，并且，直到 MemStore 缓存内容对应的日志已经写入磁盘，该缓存内容才能被刷写到磁盘

Zookeeper 会实时监测每个 Region 服务器的状态，当某个 Region 服务器发生故障时， Zookeeper 会通知 Master

Master 首先会处理该故障 Region 服务器上面遗留的 HLog 文件，这个遗留的 HLog 文件中包含了来自多个 Region 对象的日志记录

系统会根据每条日志记录所属的 Region 对象对 HLog 数据进行拆分，分别放到相应 Region 对象的目录下，然后，再将失效的 Region 重新分配到可用的 Region 服务器中，并把与该 Region 对象相关的 HLog 日志记录也发送给相应的 Region 服务器

Region 服务器领取到分配给自己的 Region 对象以及与之相关的 HLog 日志记录以后，会重新做一遍日志记录中的各种操作，把日志记录中的数据写入到 MemStore 缓存中，然后，刷新到磁盘的 StoreFile 文件中，完成数据恢复

共用日志优点：提高对表的写操作性能；缺点：恢复时需要分拆日志

五、HBase性能
1、 行键（RowKey）

行键是按照字典序存储，因此，设计行键时，要充分利用这个排序特点，将经常一起读取的数据存储到一块，将最近可能会被访问的数据放在一块。

举个例子：如果最近写入HBase表中的数据是最可能被访问的，可以考虑将时间戳作为行键的一部分，由于是字典序排序，所以可以使用Long.MAX_VALUE- timestamp作为行键，这样能保证新写入的数据在读取时可以被快速命中。

InMemory：创建表的时候，可以通过HColumnDescriptor.setInMemory(true)将表放到Region服务器的缓存中，保证在读取的时候被cache命中。

Max Version：创建表的时候，可以通过HColumnDescriptor.setMaxVersions(int maxVersions)设置表中数据的最大版本，如果只需要保存最新版本的数据，那么可以设置setMaxVersions(1)。

Time To Live创建表的时候，可以通过HColumnDescriptor.setTimeToLive(inttimeToLive)设置表中数据的存储生命期，过期数据将自动被删除，例如如果只需要存储最近两天的数据，那么可以设置setTimeToLive(2* 24 * 60 * 60)。

2、HBaseMaster 默认基于 Web 的 UI 服务端口为 60010 ， HBase region 服务器默认基于 Web 的 UI 服务端口为 60030. 如果 master 运行在名为 master.foo.com 的主机中， mater 的主页地址就是 http://master.foo.com:60010 ，用户可以通过 Web 浏览器输入这个地址查看该页面

可以查看 HBase 集群的当前状态

3、 NoSQL 区别于关系型数据库的一点就是 NoSQL 不使用 SQL 作为查询语言，至于为何在 NoSQL 数据存储 HBase 上提供 SQL 接口

易使用，减少编码

4、HBase只有一个针对行健的索引

访问HBase表中的行，只有三种方式：

通过单个行健访问

通过一个行健的区间来访问

全表扫描

总结：

1、HBase 数据库是 BigTable 的开源实现，和 BigTable 一样，支持大规模海量数据，分布式并发数据处理效率极高，易于扩展且支持动态伸缩，适用于廉价设备

2、HBase 可以支持 NativeJava API 、 HBaseShell 、 ThriftGateway 、 Hive 等多种访问接口，可以根据具体应用场合选择相应访问方式

3、HBase 实际上就是一个稀疏、多维、持久化存储的映射表，它采用行键、列键和时间戳进行索引，每个值都是未经解释的字符串。

4、HBase 采用分区存储，一个大的表会被分拆许多个 Region ，这些 Region 会被分发到不同的服务器上实现分布式存储

5、HBase 的系统架构包括客户端、 Zookeeper 服务器、 Master 主服务器、 Region 服务器。客户端包含访问 HBase 的接口； Zookeeper 服务器负责提供稳定可靠的协同服务； Master 主服务器主要负责表和 Region 的管理工作； Region 服务器负责维护分配给自己的 Region ，并响应用户的读写请求