hbase put 写入数据慢_HBase

HBase 是一种分布式、可扩展、支持海量数据存储的NoSQL 数据库。

逻辑结构

物理存储结构

数据模型

逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。HBase的底层物理存储结构(K-V)。

Name Space

命名空间，类似于关系型数据库的 DatabBase 概念，每个命名空间下有多个表。HBase 有两个自带的命名空间，分别是 hbase和 default，hbase 中存放的是 HBase 内置的表，default 表是用户默认使用的命名空间。

Region

类似于关系型数据库的表概念。不同的是，HBase定义表时只需要声明列族即可，不需要声明具体的列。这意味着，往HBase 写入数据时，字段可以动态、按需指定。和关系型数据库相比，HBase 能够轻松应对字段变更的场景。

Row

HBase 表中的每行数据都由一个 RowKey 和多个 Column(列)组成，数据是按照 RowKey 的字典顺序存储的，并且查询数据时只能根据 RowKey 进行检索，所以 RowKey 的设计十分重要。

Column

HBase中的每个列都由 Column Family(列族)和 Column Qualifier(列限定符)进行限定，例如 info：name，info：age。建表时，只需指明列族，而列限定符无需预先定义。

TimeStamp

用于标识数据的不同版本(version)，每条数据写入时，如果不指定时间戳，系统会自动为其加上该字段，其值为写入HBase 的时间。

Cell

由{rowkey, column Family：columnQualifier, time Stamp} 唯一确定的单元。cell 中的数据是没有类型的，全部是字节码形式存贮。

Region Server

RegionServer 为 Region 的管理者，其实现类为 HRegionServer，主要作用如下: 对于数据的操作：get, put, delete；

对于 Region的操作：splitRegion、compactRegion。

Master

Master是所有 Region Server 的管理者，其实现类为 HMaster，主要作用如下：

对于表的操作：create,delete, alter

对于RegionServer的操作：分配regions 到每个RegionServer，监控每个RegionServer的状态，负载均衡和故障转移。

Zookeeper

HBase 通过 Zookeeper来做 Master 的高可用、RegionServer 的监控、元数据的入口以及集群配置的维护等工作。

HDFS

HDFS 为 HBase 提供最终的底层数据存储服务，同时为 HBase 提供高可用支持。

HBase Shell 操作

help  查看当前数据库中有哪些表list建表create 'student','info'插入数据到表put 'student','1001','info:sex','male'put 'student','1001','info:age','18'扫描表scan 'student'scan 'student',{STARTROW => '1001', STOPROW  => '1001'}scan 'student',{STARTROW => '1001'}查看表结构describe 'student'更新指定字段的数据put 'student','1001','info:name','Nick' 查看指定行或指定列族:列的数据get 'student','1001' get 'student','1001','info:name'统计表数据行数count 'student'删除某 rowkey 的全部数据deleteall 'student','1001'删除某 rowkey 的某一列数据delete 'student','1002','info:sex'清空表数据truncate 'student'删除表disable 'student'drop 'student'变更表信息,将 info 列族中的数据存放 3 个版本alter 'student',{
    NAME=>'info',VERSIONS=>3} get 'student','1001',{
    COLUMN=>'info:name',VERSIONS=>3}

架构原理

StoreFile

保存实际数据的物理文件，StoreFile 以 HFile 的形式存储在 HDFS 上。每个 Store 会有一个或多个StoreFile(HFile)，数据在每个 StoreFile中都是有序的。

MemStore

写缓存，由于HFile 中的数据要求是有序的，所以数据是先存储在 MemStore 中，排好序后，等到达刷写时机才会刷写到HFile，每次刷写都会形成一个新的 HFile。

WAL

由于数据要经MemStore 排序后才能刷写到 HFile，但把数据保存在内存中会有很高的概率导致数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Ahead logfile 的文件中，再写入MemStore 中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。

写流程

1. Client 先访问  zookeeper，获取  hbase:meta 表位于哪个Region Server。

2. 访问对应的 Region Server，获取 hbase:meta