Hbase的基础知识入门

关于分布式数据库HBase的理解

##概述
HBase是分布式可拓展的NOSQL数据库。提供对半结构化、结构化、以及非机构画大数据的实时读写和随机访问能力。是Google BigData的开源实现。

HDFS与HBase的关联

• HDFS实现了一个分布式的文件系统，虽然这个文件系统可以以分布和可扩展的方式有效存储海重数据，但文件系统缺少结构化半结构化数据的存储管理和访问能力，而且其编程接口对于很多应用来说还是太底层了，所以需要一些数据库来管理数据。
• HBase之于HDFS就是数据库之于文件系统。

HBase与传统的关系数据库的区别主要体现在以下几个方面：

（1）数据类型：关系数据库采用关系模型，具有丰富的数据类型和存储方式，HBase则采用了更加简单的数据模型，它把数据存储为未经解释的字符串。

（2）数据操作：关系数据库中包含了丰富的操作，其中会涉及复杂的多表连接。HBase操作则不存在复杂的表与表之间的关系，只有简单的插入、查询、删除、清空等，因为HBase在设计上就避免了复杂的表和表之间的关系。

（3）存储模式：关系数据库是基于行模式存储的。HBase是基于列存储的，每个列族都由几个文件保存，不同列族的文件是分离的。

（4）数据索引：关系数据库通常可以针对不同列构建复杂的多个索引，以提高数据访问性能。HBase 只有一个索引一行键，通过巧妙的设计，HBase中的所有访问方法，或者通过行键访问，或者通过行键扫描，从而使得整个系统不会慢下来

（5）数据维护：在关系数据库中，更新操作会用最新的当前值去替换记录中原来的旧值，旧值被覆盖后就不会存在。而在HBase中执行更新操作时，并不会删除数据旧的版本，而是生成-一个新的版本，旧有的版本仍然保留

（6）可伸缩性：关系数据库很难实现横向扩展，纵向扩展的空间也比较有限。相反，HBase和Big Table这些分布式数据库就是为了实现灵活的水平扩展而开发的，能够轻易地通过在集群中增加或者减少硬件数量来实现性能的伸缩

BigTable

1. Bigtable是一个分布式多维映射表，表中的数据通过一个行关键字（Row Key）、-一个列关键字（Column Key）以及-一个时间戳（Time Stamp）进行索引
2. Bigtable对存储在其中的数据不做任何解析，一律看做字符串
3. Bigtable的存储逻辑可以表示为：（row:string，column:string，time:int64）->string

行

Bigtable的行关键字可以是任意的字符串，但是大小不能超过64KB.

Bigtable和传统的关系型数据库有很大不同，它不支持般意义上的事务，但能保证对于行的读写操作具有原子性（Atomic）

表中数据都是根据行关键宇进行排序的，排序使用的是词典序。

一个典型实例，其中com.cnn.www就是一个行关键字。不直接存储网页地址而将其倒排是Bigtable的一个巧妙设计。带来两个好处：

（1）同–地址域的网页会被存储在表中的连续位置
（2）有利于用户查找和分析正倒排便于数据压缩，可以大幅提高压缩率

由于规模的问题，单个的大表不利于数据处理，因此Bigtable将一个表分成了多个子表，每个子表包含多个行。
子表是Bigtable中数据划分和负载均衡的基本单位。

列

Bigtable并不是简单地存储所有的列关键字：而是将其组织成所谓的列族每个族中的数据都属于同一个类型，并且同族的数据会被压缩在一起保存。引入了列族的概念之后，列关键字就采用下述的语法规则来定义：
族名：限定词（family：qualifier）

族名必须有意义，限定词则可以任意选定
图中，内容、锚点都是不同的族。而cnnsi.com和my.look.ca则是锚点族中不同的限定词

族同时也是Bigtable中访问控制（Access Control）基本单元，也就是说访问权限的设置是在族这一级别上进行的

时间戳

为了简化不同版本的数据管理，Bigtable目前提供了两种设置：
一种是保留最近的N个不同版本，图中数据模型采取的就是这种方法，它保存最新的三个版本数据。
另一种就是保留限定时间内的所有不同版本，比如可以保存最近10天的所有不同版本数据。失效的版本将会由Bigtable的垃圾回收机制自动处理

HBase

数据模型概述

HBase是一一个稀疏、多维度、排序的映射表，这张表的索引是行键、列族、列限定符和时间戳
每个值是一个未经解释的字符串，没有数据类型用户在表中存储数据，每一行都有一个可排序的行键和任意多的列。表在水平方向由一个或者多个列族组成，一个列族中可以包含任意多个列，同一个列族里面的数据存储在一起。列族支持动态扩展，可以很轻松地添加一个列族或列，无需预先定义列的数量以及类型，所有列均以字符串形式存储，用户需要自行进行数据类型转换。

HBase中执行更新操作时，并不会删除数据旧的版本，而是生成一个新的版本，旧有的版本仍然保留（这是和HDFS只允许追加不允许修改的特性相关的）

表：HBase采用表来组织数据，表由行和列组成，列划分为若干个列族

行：每个HBase表都由若干行组成，每个行由行键（row key）来标识。

列族：–个HBase表被分组成许多“列族”（Column Family）的集合，它是基本的访问控制单元

列限定符：列族里的数据通过列限定符（或列）来定位

单元格：在HBase表中，通过行、列族和列限定符确定-一个“单元格”（cell），单元格中存储的数据没有数据类型，总被视为字节数组byte[]

时间戳：每个单元格都保存着同一份数据的多个版本，这些版本采用时间戳进行索引

可以视为一个“四维坐标”，即[行键列族，列限定符，时间戳]

面向行存储的优缺点:
优点：对于传统的事务型操作，需要每次插入一条数据的时候，会把这条购物记录的各项信息都存入数据库，包括商品名称商品价格在OLTP系统当中，每一-次都生成一个完整的记录

缺点:年龄的字段：对于行式存储来讲，为了取出年龄这一列数据，必须先去扫描数据库的第一行，然后这行中的年龄字段取出来，再去扫描第二行分析年龄分布特征，分析性别特征，都是针对一个列去分析.

适合事务型操作多的应用。

注意：表格中的空白单元并不表示这里有这个单元存在。在传统数据库中，空白单元表示该单元存在但其值为空（null）。但在Hbase中，画成二维表只是逻辑上便于理解，本质上完全是非结构的。

面向列存储的优点：
数据压缩率高。适合分析型应用。

功能组件

（1）库函数：链接到每个客户端
（2）一个Master主服务器
主服务器Master负责管理和维护HBase表的分区信息，维护Region服务器列表，分配Region，负载均衡

（3）许多个Region服务器
Region服务器负责存储和维护分配给自己的Region，处理来自客户端的读写请求客户端并不是直接从Master主服务器上读取数据，而是在获得Region的存储位置信息后，直接从Region服务器上读取数据客户端并不依赖Master，而是通过Zookeeper来获得Region位置信息，大多数客户端甚至从来不和Master通信，这种设计方式使得Master负载很小

一个HBase表被划分成多个Region

同一个Region不会被分拆到多个Region服务器 ，每个Region服务器存储10-100个Region

每个Region由很多个数据存储块Store构成而每个Store数据块又由存放在内存中的memStore（缓存）和存放在
HDFS文件中的StoreFile构成。

HBase设计了三层结构实现Region的寻址和定位
首先要构建一个元数据表，假设这个元数据表只有两列第一列是Region的id第二列是Region服务 器的id
HBase最开始构建时有一个映射表，这个映射表被称为.META.表，.META.表是用于存储元数据的。

HBase数据的访问

当客户端需要进行数据更新时，先查到Region服务器，然后向Region提交数据更新请求。提交的数据并不直接存储到磁盘_上的数据文件中，而是添加到一个基于内存的Region数据对象memStore中，当memStore中的数据达到一定大小时，系统将自动将数据写入到文件数据块StoreFile中。
每个文件数据块StoreFile最后都写入到底层基于HDFS的文件中。

系统架构

1.客户端.
一客户端包含访问HBase的接口，同时在缓存中维护着已经访问过的Region位置信息，用来加快后续数据访问过程

2.Zookeeper服务器
Zookeeper可以帮助选举出一个Master作为集群的总管，并保证在任何时刻总有唯一一个Master在运行，这就避免了Master的“单点失效”问题Zookeeper是一个很好的集群管理工具，被大量用于分布式计算，提供配置维护、域名服务、分布式同步、组服务等。

3.Master主服务器
Master主要负责表和Region的管理工作：
-管理用户对表的增加、删除、修改、查询等操作
-实现不同Region服务器之间的负载均衡
-在Region分裂或合并后，负责重新调整Region的分布-对发生故障失效的Region服务器上的Region进行迁移

4.Region服务器
-Region服务器是HBase中最核心的模块，负责维护分配给自己的Region，并响应用户的读写请求

HBase的Table中的所有行都按照ROW KEY的字典序排列。在行的方向上分割为多个Region.Region根据大小分割，每个表最开始只有个Region，随着数据不断插入表，Region不断增大，当达到一定阈值时，就分割为两个新的Region。Region是HBase中分布式存储和负载均衡的最下单元，最小单元就表示不同的Region可以分布在不同的Region服务器上。

用户读写数据

1. 用户写入数据时，被分配到相应Region服务器去执行
2. 用户数据首先被写入到MemStore和Hlog中
3. 只有当操作写入Hlog之后，commit（）调用才会将其返回给客户端
   
4. 当用户读取数据时，Region服务器会首先访问MemStore缓存，如果找不到，再去磁盘上面的StoreFile中寻找。
   

缓存的刷新

1. 系统会周期性地把MemStore缓存里的内容刷写到磁盘的StoreFile文件中，清空缓存，并在Hlog 里面写入–个标记
2. 每次刷新都生成–个新的StoreFile文件，因此，每个Store包含多个StoreFile文件
3. 每个Region服务器都有-一个自己的HLog文件，每次启动都检查该文件，确认最近一次执行缓存刷新 操作之后是否发生新的写入操作；如果发现更新，则先写入MemStore，再刷新到StoreFile，最后删除旧的Hlog文件，开始为用户提供服务

图中分裂时引发Region分裂。

HLog工作原理

分布式环境必须要考虑系统出错。HBase采用HLog保证系统恢复

HBase系统为每个Region服务器配置了-一个HLog文件，它是一种预写式日志（Write Ahead Log）

用户更新数据必须首先写入日志后，才能写入MemStore缓存，并且，直到MemStore缓存内容对应的日志已经写入磁盘，该缓存内容才能被刷写到磁盘

Zookeeper会实时监测每个Region服务器的状态，当某个Region服务器发生故障时，Zookeeper 会通知Master

Master首先会处理该故障Region服务器上面遗留的HLog文件，这个遗留的HLog文件中包含了来自多个Region对象的日志记录

系统会根据每条8志记录所属的Region对象对HLog数据进行拆分，分别放到相应Region对象的目录下，然后，再将失效的Region重新分配到可用的Region服务器中，并把与该Region对象相关的HLog日志记录也发送给相应的Region服务器

Region服务器领取到分配给自己的Region对象以及与之相关的HLog日志记录以后，会重新做-遍日志记录中的各种操作，把日志记录中的数据写入到MemStore缓存中，然后，刷新到磁盘的StoreFile文件中，完成数据恢复

共用日志优点：提高对表的写操作性能；缺点：恢复时需要分拆日志