HBase简介

什么是hbase

HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术廉价的PC Server上搭建起大规模结构化存储集群。
HBASE的目标是存储并处理大型的数据，更具体来说是仅需普通的硬件配置，就能够处理极大规模的数据。
HBASE是Google Bigtable的开源实现，但是也有很多不同之处。比如:Google Bigtable底层是以GFS作为其文件存储系统，而HBASE则是利用Hadoop HDFS作为其文件存储系统;Google Bigtable运行MapReduce来处理Google Bigtable中的海量数据;HBASE同样利用Hadoop MapReduce来处理HBASE中的海量数据;Google Bigtable利用Chubby作为协同服务，HBASE利用Zookeeper作为对应。

与传统数据库的对比

1. 传统数据库遇到的问题:

   a) 数据量很大的时候无法存储

   b) 没有很好的备份机制

   c) 数据达到一定数量开始缓慢，很大的话基本无法支撑

2. HBASE优势:

   a)一个表可以有上亿行，上百万列

   b)面向列簇的存储和权限控制，列簇独立检索。

   c)线性扩展，随着数据量增多可以通过节点扩展轻松支撑

   d)数据存储在hdfs上，备份机制健全

   e)通过zookeeper协调查找数据，访问速度快

   f)每个单元中的数据可以有多个版本，默认情况下版本号就是单元格插入时的时间戳

HBase的应用场景

确保有足够多的数据，支持上亿或上千亿行数据。其次确保可以不依赖关系型数据库的额外特性，
如:列数据类型、第二索引、事务、高级查询语言等。还要有足够的硬件，
因为HDFS在小于5个数据节点时，基本上体现不出它的优势。

hbase集群中的角色

1、一个或多个主节点，Hmaster
2、多个从节点，HregionServer

hbase安装

解压压缩包

tar -zxvf hbase-0.94.6.tar.gz

修改配置文件

1. hbase-env.sh

export JAVA_HOME=/usr/jdk   #jdk安装目录
export HBASE_CLASSPATH=/home/hadoop/hadoop/conf   #hadoop配置文件的位置
export HBASE_MANAGES_ZK=false   #如果使用独立安装的zookeeper这个地方就是false

2.hbase-site.xml

        
        hbase.master   #hbasemaster的主机和端口
        server1:60000
        
        
        
        hbase.master.maxclockskew
        180000
        
        
        
        hbase.rootdir
        hdfs://kris/hbase
        
        
        
        hbase.cluster.distributed
        true
        
        
        
        hbase.zookeeper.quorum
        server1:2181,server1:2182,server1:2183
        
        
        
        hbase.zookeeper.property.dataDir
        /home/hadoop/app/hbase/tmp/zookeeper
        
        
        hbase.master.info.port
        60010
        

3.Regionservers
配置从机器

server2
server3

拷贝hadoop配置文件

注意:如果我们使用的hdfs是高可用的集群，为了让hbase能识别我们配置的命名空间，我们需要把hadoop配置文件中的
hdfs-site.xml和core-site.xml放到hbase/conf

发送配置文件到其他机器

scp -r /home/hadoop/app/hbase/ server2:$PWD
scp -r /home/hadoop/app/hbase/ server3:$PWD

启动

/home/hadoop/app/hbase/bin/start-hbase.sh

注意:启动前必须保证hadoop集群和zookeeper集群是可用的

hbase数据类型

hbase数据类型

行键	时间戳	列族:name	列族:age
“kris_123”	t8	kris	23
“kris_123”	t7		18

Row Key

与nosql数据库们一样，row key是用来检索记录的主键。访问HBASE table中的行，只有三种方式:
1.通过单个row key 访问
2.通过row key的range(正则)
3.全表扫描

Row key行键(Row key)可以是任意字符串(最大长度64KB，实际应用中长度一般为10-100bytes)。
在HBASE内部，row key保存为字节数组。存储时，数据按照Row key的字典序(byte order)排序存储。
因此我们在设计key时，要充分按照这个排序的特性，将经常读取的数据放到一起(位置相关性)。

Columns Family

列簇:HBASE表中的每个列，都归属于某个列簇。列簇是表的schema的一部分(而列不是)，
因此我们必须要在创建表的时候定义好列簇。列名都以列簇作为前缀。例如:courses:history,
coures:math都属于coures这个列簇。

Cell

由{row key,column,version}唯一确定的单元。cell中的数据是没有类型的，全部是字节码形式存储。

关键字:无类型、字节码

Time Stamp

HBASE中通过rowKey和columns确定的唯一一个存储单元称为cell。每个cell都保存着同一份数据的多个版本。
版本通过时间戳来索引。时间戳的类型是64位整型。时间戳可以由HBASE(在数据写入时自动)赋值，
此时间戳精确到毫秒的当前系统时间。时间时间戳也可以有库户显式赋值。如果应用程序要避免数据版本冲突，
就必须自己生成具有唯一性的时间戳。

每个cell中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。

为了避免数据存在过多版本造成的管理负担(包括存储和索引),HBASE提供了两种版本回收方式。
一是保存数据的最后n个版本，二是保存最近一段时间内的版本(比如最近七天)。用户可以针对每个列族进行设置。

hbase命令

进入hbase的交互终端

$HBASE_HOME/bin/hbase shell

退出

>quit

常用命令表达式

名称	命令表达式
创建表	create ‘表名’,‘列族名1’,‘列族名2’,‘列族名N’
查看所有表	list
描述表	describe ‘表名’
判断表存在	exists ‘表名’
判断是否禁用启用表	is_enabled ‘表名’ is_disabled ‘表名’
添加记录	put ‘表名’,‘rowKey’,‘列族:列’,‘值’
查看记录rowKey下的所有数据	get ‘表名’,‘rowKey’
查看表中的记录总数	count ‘表名’
获取某个列族的记录	get ‘表名’,‘rowKey’,‘列族’
获取某个列族的某个列	get ‘表名’,‘rowKey’,‘列族:列’
删除某个cell记录	delete ‘表名’,‘rowKey’,‘列族:列’
删除整行	deleteall ‘表名’,‘rowKey’
删除一张表	先要屏蔽该表，才能对该表进行删除。第一步 disable ‘表名’,第二步 drop ‘表名’
清空表	truncate ‘表名’
查看所有记录	scan ‘表名’
查看某个表某个列的所有数据	scan ‘表名’,{COLUMNS=>‘列族:列名’}
更新记录	就是重新插入一条数据进行覆盖，hbase没有修改，都是追加