HBase基础篇

HBase基础

GFS -> 高富帅
MapReduce -> MR -> 名人
BigTable -> BT -> ??

HBase定义

HBase是一种分布式，可扩展，支持海量数据存储的NoSQL数据库

HBase数据模型

逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从HBase的底层物理存储结构(K-V)来看，HBase更像是一个multi-dimensional map。

HBase逻辑结构

HBase物理存储结构

数据模型

Name Space

• 命名空间，类似于关系型数据库的database概念，每个命名空间下有多个表。
• HBase自带两个命名空间：hbase，default。
• hbase存放HBase内置的表，default是用户默认使用的命名空间。

Table

• 类似于关系型数据库的表概念。
• 不同的是，HBase定义表时只需要声明列族即可，不需要声明具体的列。
• 往HBase写入数据时，字段可以动态，按需指定。
• 和关系型数据库相比，HBase能够轻松应对字段变更的场景。

Row

• HBase表的每行数据都由一个RowKey和多个Column组成。
• 数据是按照RowKey的字典顺序存储的，并且查询数据时只能根据RowKey进行检索，所以RowKey的设计十分重要。

Column

• HBase中的每个列都由 Column Family(列族) 和 Column Qualifier(列限定符) 进行限定，例如 info:name，info:age。
• 建表时，只需指明列族，而列限定符无需预先定义。

Time Stamp

• 用于标识数据的不同版本(version)，每条数据写入时，系统会自动为其加上该字段，其值为写入HBase的时间。

Cell

• 由{rowKey, columnFamily:columnQualifier, timeStamp}唯一确定的单元。
• 单元：指的是物理存储结构中的一行数据
• cell中的数据全部是字节码形式存贮。

HBase基本架构

架构角色

RegionServer

RegionServer为Region的管理者，其实现类为HRegionServer。

主要作用：

• 对于数据的操作：get, put, delete
• 对于Region的操作：splitRegion, compactRegion

Master

Master是所有RegionServer的管理者，其实现类为HMaster。

主要作用：

• 对于表的操作：create, delete, alter
• 对于RegionServer的操作：分配regions到每个RegionServer；监控每个RegionServer的状态；负载均衡和故障转移。

ZooKeeper

HBase通过ZooKeeper来做Master的高可用；RegionServer的监控；元数据的入口(meta-region-server)；集群配置的维护等工作。
元数据：region的rowkey范围，所在的regionServer
元数据：只有一个Region

HDFS

HDFS为HBase提供最终的底层数据存储服务，同时为HBase提供高可用支持(副本)。