HBASE精炼笔记总结—[基础篇]

HBASE笔记总结

1.1. 1/ 什么是HBASE

1.1.1.  概念特性

HBASE是一个数据库----可以提供数据的实时随机读写

 

HBASE与mysql、oralce、db2、sqlserver等关系型数据库不同，它是一个NoSQL数据库（非关系型数据库）

l  Hbase的表模型与关系型数据库的表模型不同：

l  Hbase的表没有固定的字段定义；

l  Hbase的表中每行存储的都是一些key-value对

l  Hbase的表中有列族的划分，用户可以指定将哪些kv插入哪个列族

l  Hbase的表在物理存储上，是按照列族来分割的，不同列族的数据一定存储在不同的文件中

l  Hbase的表中的每一行都固定有一个行键，而且每一行的行键在表中不能重复

l  Hbase中的数据，包含行键，包含key，包含value，都是byte[ ]类型，hbase不负责为用户维护数据类型

l  HBASE对事务的支持很差

 

 

HBASE相比于其他nosql数据库(mongodb、redis、cassendra、hazelcast)的特点：

Hbase的表数据存储在HDFS文件系统中

从而，hbase具备如下特性：存储容量可以线性扩展；数据存储的安全性可靠性极高！

 

1.1.2.  应用场景举例

 

 

 

1.2. 2/ 安装HBASE

HBASE是一个分布式系统

其中有一个管理角色：  HMaster(一般2台，一台active，一台backup)

其他的数据节点角色：  HRegionServer(很多台，看数据容量)

1.2.1.  安装准备：

首先，要有一个HDFS集群，并正常运行； regionserver应该跟hdfs中的datanode在一起

其次，还需要一个zookeeper集群，并正常运行

然后，安装HBASE

角色分配如下：

Hdp01: namenode  datanode  regionserver hmaster  zookeeper

Hdp02: datanode   regionserver  zookeeper

Hdp03: datanode   regionserver  zookeeper

1.2.2.  安装步骤：

1.2.2.1.        1.安装zookeeper  

1.2.2.2.        2.安装hbase

解压hbase安装包

修改hbase-env.sh

export JAVA_HOME=/root/apps/jdk1.7.0_67 export HBASE_MANAGES_ZK=false

 

修改hbase-site.xml

hbase.rootdir                 hdfs://hdp01:9000/hbase                                                   hbase.cluster.distributed                 true                                                  hbase.zookeeper.quorum                 hdp01:2181,hdp02:2181,hdp03:2181

 

修改 regionservers

hdp01 hdp02 hdp03

 

3. 启动hbase集群：

bin/start-hbase.sh

启动完后，还可以在集群中找任意一台机器启动一个备用的master

 

bin/hbase-daemon.sh start master

新启的这个master会处于backup状态

 

4. 启动hbase的命令行客户端

bin/hbase shell

Hbase> list     // 查看表

Hbase> status   // 查看集群状态

Hbase> version  // 查看集群版本

 

 

1.3. HBASE表模型

hbase的表模型跟mysql之类的关系型数据库的表模型差别巨大

hbase的表模型中有：行的概念；但没有字段的概念

行中存的都是key-value对，每行中的key-value对中的key可以是各种各样，每行中的key-value对的数量也可以是各种各样

1.3.1.  hbase表模型的要点：

1、一个表，有表名

2、一个表可以分为多个列族（不同列族的数据会存储在不同文件中）

3、表中的每一行有一个“行键rowkey”，而且行键在表中不能重复

4、表中的每一对kv数据称作一个cell

5、hbase可以对数据存储多个历史版本（历史版本数量可配置）

6、整张表由于数据量过大，会被横向切分成若干个region（用rowkey范围标识），不同region的数据也存储在不同文件中

 

7、hbase会对插入的数据按顺序存储：

要点一：首先会按行键排序

要点二：同一行里面的kv会按列族排序，再按k排序

 

 

 

1.3.2.  hbase的表中能存储什么数据类型

hbase中只支持byte[]

此处的byte[] 包括了： rowkey,key,value,列族名,表名

 

1.3.3.  HBASE表的物理存储结构

1.4. 3/ hbase命令行客户端操作

1.4.1.1.        建表：

create't_user_info','base_info','extra_info'

        表名      列族名   列族名

1.4.1.2.        插入数据：

hbase(main):011:0> put 't_user_info','001','base_info:username','zhangsan' 0 row(s) in 0.2420 seconds   hbase(main):012:0> put 't_user_info','001','base_info:age','18' 0 row(s) in 0.0140 seconds   hbase(main):013:0> put 't_user_info','001','base_info:sex','female' 0 row(s) in 0.0070 seconds   hbase(main):014:0> put 't_user_info','001','extra_info:career','it' 0 row(s) in 0.0090 seconds   hbase(main):015:0> put 't_user_info','002','extra_info:career','actoress' 0 row(s) in 0.0090 seconds   hbase(main):016:0> put 't_user_info','002','base_info:username','liuyifei' 0 row(s) in 0.0060 seconds

 

 

1.4.1.3.        查询数据方式一：scan 扫描

hbase(main):017:0> scan 't_user_info' ROW                               COLUMN+CELL                                                                                      001                              column=base_info:age, timestamp=1496567924507, value=18                                          001                              column=base_info:sex, timestamp=1496567934669, value=female                                      001                              column=base_info:username, timestamp=1496567889554, value=zhangsan                               001                              column=extra_info:career, timestamp=1496567963992, value=it                                      002                              column=base_info:username, timestamp=1496568034187, value=liuyifei                               002                              column=extra_info:career, timestamp=1496568008631, value=actoress                               2 row(s) in 0.0420 seconds

 

1.4.1.4.        查询数据方式二：get 单行数据

hbase(main):020:0> get 't_user_info','001' COLUMN                            CELL                                                                                             base_info:age                    timestamp=1496568160192, value=19                                                                 base_info:sex                    timestamp=1496567934669, value=female                                                            base_info:username               timestamp=1496567889554, value=zhangsan                                                           extra_info:career                timestamp=1496567963992, value=it                                                               4 row(s) in 0.0770 seconds

 

1.4.1.5.        删除一个kv数据

hbase(main):021:0> delete 't_user_info','001','base_info:sex' 0 row(s) in 0.0390 seconds

 

删除整行数据：

hbase(main):024:0> deleteall 't_user_info','001' 0 row(s) in 0.0090 seconds   hbase(main):025:0> get 't_user_info','001' COLUMN                            CELL                                                                                             0 row(s) in 0.0110 seconds

 

1.4.1.6.        删除整个表：

hbase(main):028:0> disable 't_user_info' 0 row(s) in 2.3640 seconds   hbase(main):029:0> drop 't_user_info' 0 row(s) in 1.2950 seconds   hbase(main):030:0> list TABLE                                                                                                                             0 row(s) in 0.0130 seconds   => []

 

 

1.5. 4/ Hbase重要特性--排序特性（行键）

插入到hbase中去的数据，hbase会自动排序存储：

排序规则：  首先看行键，然后看列族名，然后看列（key）名；按字典顺序

 

Hbase的这个特性跟查询效率有极大的关系

比如：一张用来存储用户信息的表，有名字，户籍，年龄，职业....等信息

然后，在业务系统中经常需要：

查询某个省的所有用户

经常需要查询某个省的指定姓的所有用户

 

思路：如果能将相同省的用户在hbase的存储文件中连续存储，并且能将相同省中相同姓的用户连续存储，那么，上述两个查询需求的效率就会提高！！！

 

做法：将查询条件拼到rowkey内。