HBase简介与表结构

HBase是什么

HBase，即Hadoop DataBase，是Hadoop的一个子项目，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，是Google Bigtable的开源实现。

HBase在Hadoop生态中的位置如下 :

• 使用HDFS作为其分布式存储系统，提供了高可靠的底层存储支持
• 使用MapReduce来处理海量数据，提供了高性能的计算能力
• 使用zookeeper提供协同/协调服务，提供了稳定服务和failover机制（故障切换）

列式存储与行式存储

上面说到HBase是基于列的列式数据库，而常用的关系数据库则是行式数据库，此处对两个概念做简单区分。

行式存储是指数据以行为单位进行存储，同一行的数据在存储介质中连续，如Oracle、Mysql、Sql Server

列式存储是指数据以列为单位进行存储，同一列的数据在存储介质中连续，如HBase、HP vertica等分布式数据库

image

行式存储适合处理OLTP，对实时性要求较高的应用，如ATM系统：

• INSERT/UPDATE容易，适合随机数据的增加和删除

• 适合需要获取行中所有属性的查询操作

• 当数据量很大时且没有索引时，需要大量IO（如只需要查询两列，但仍然要把每一行都读出来）

• 建立索引等提高性能的操作花时间、占空间

列式存储适合处理OLAP，实时性要求不高，但数据量大：

• 每一列都可以作为索引进行查询
• 查询时只有涉及的列被读取
• 各列独立存储，可根据每一列的实际情况进行压缩，节省存储空间
• 查询时对各个列并行查询，再进行组合（查询示意图如下）
• INSERT/UPDATE比较麻烦，不适合需要频繁更新的应用

HBase适用场景

首先在搞HBase之前我们要对其建立感性认识，其适用场景如下：

• 并发、简单、随机查询。
  （注：HBase不太擅长复杂join查询，但可以通过二级索引即全局索引的方式来优化性能，后续博文会进行讲解）

• 半结构化、非结构化数据存储。

一般我们从数仓中离线统计分析海量数据，将得到的结果插入HBase中用于实时查询。

HBase表结构

HBase中一个可能的表格如下，包括：

• 命名空间 ：命名空间是对表的逻辑分组，不同的命名空间类似于关系型数据库中的不同的Database数据库。利用命名空间，在多租户场景下可做到更好的资源和数据隔离。
• 表：对应于关系型数据库中的一张张表，HBase以“表”为单位组织数据，表由多行组成。
• 行：行由一个RowKey和多个列族组成，一个行有一个RowKey，用来唯一标示。
• 行键（RowKey）：类似关系表中的主键，是用来表示唯一一行记录的主键，按字典序排列。
• 列族（column family）：每一行由若干列族组成，每个列族下可包含多个列， 列族是列共性的一些体现。注意：物理上，同一列族的数据存储在一起的， 不同的列族存储在不同文件中 。 引入这个概念是因为HBase查询中，很多情况下不需要一行中所有的列。例如：BaseInfo、AddressInfo
• 列（qualifier）： 类似关系表中的列 ，例如：Gender、Age、City
• 单元格（Cell）：单元格由RowKey、列族、列限定符唯一定位，单元格之中存放一个值（Value）和一个版本号。例如：20
• 时间戳（TimeStamp）：数据修改时加入的时间戳，单元格内不同版本的值按时间倒序排列，最新的数据排在最前面，下图中作为单独一列，实际上这个值是存放在单元格中的，见下面的例子

image

HBase的表数据内部用Map实现，如上图用字典/json形式可表示如下：

{"Tom":{
    "BasicInfo":{
        "Gender":{"T1":"Male"}, 
        "Age":{"T1":"20"}
    },
    "AddressInfo":{
        "Province":{"T1":"ShanDong"},
        "City":{"T1":"JiNan"}
    }
 },
 "Amy":{
     "BasicInfo":{
         "Gender":{"T2":"Female"}, 
         "Age":{"T2":"18"}
     },
     "AddressInfo":{
         "Province":{"T2":"ShanDong"},
         "City":{"T2":"ZiBo"}
     }
 }
}

假设将Tom的Age改为21，在HBase中会保留数据的若干版本，由时间戳区分，可把表格看成如下形式：

image

用字典/JSON形式表示如下，可以看到实际上只在第四行发生了改变，即在Age中增加了一个键值对 :

{"Tom":{
    "BasicInfo":{
        "Gender":{"T1":"Male"}, 
        "Age":{"T1":"20", "T3":"21"}
    },
    "AddressInfo":{
        "Province":{"T1":"ShanDong"},
        "City":{"T1":"JiNan"}
    }
 },
 "Amy":{
     "BasicInfo":{
         "Gender":{"T2":"Female"}, 
         "Age":{"T2":"18"}
     },
     "AddressInfo":{
         "Province":{"T2":"ShanDong"},
         "City":{"T2":"ZiBo"}
     }
 }
}

所以实际上，上述表在HBase中的逻辑表示如下，一个单元格包含数据的若干个版本，是【时间戳:值】的列表 :

image

综上，在HBase中，一个表就是一个高维、稀疏、有序的Map表。

HBase表特点

• 数据规模大，单表可容纳数十亿行，上百万列。
• 无模式，不像关系型数据库有严格的Scheme，每行可以有任意多的列，列可以动态增加，不同行可以有不同的列，列的类型没有限制。
• 稀疏，值为空的列不占存储空间，表可以非常稀疏，但实际存储时，能进行压缩。
• 面向列族，面向列族的存储和权限控制，支持列族独立查询。
• 数据多版本，利用时间戳来标识版本
• 数据无类型，所有数据以字节数据形式存储

---

参考链接：

Spark实战—— (2.1) HBase表格结构、物理存储结构与系统架构