HBase集群环境搭建及概念介绍

一、前言

HBase是一个构建在HDFS上的分布式列存储系统,HBase是基于Google BigTable模型开发的,典型的key/value系统;
HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储;
从逻辑上讲,HBase将数据按照表、行和列进行存储。与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力。
Hbase表的特点
大:一个表可以有数十亿行,上百万列;
无模式:每行都有一个可排序的主键和任意多的列,列可以根据需要动态的增加,同一张表中不同的行可以有截然不同的列;
面向列:面向列(族)的存储和权限控制,列(族)独立检索;
稀疏:空(null)列并不占用存储空间,表可以设计的非常稀疏;
数据多版本:每个单元中的数据可以有多个版本,默认情况下版本号自动分配,是单元格插入时的时间戳;
数据类型单一:Hbase中的数据都是字符串,没有类型

二、概念

RowKey:是Byte array,是表中每条记录的“主键”,方便快速查找,Rowkey的设计非常重要。
Column Family:列族,拥有一个名称(string),包含一个或者多个相关列
Column:属于某一个columnfamily,familyName:columnName,每条记录可动态添加
Version Number:类型为Long,默认值是系统时间戳,可由用户自定义
Value(Cell):Byte array,更详细的可以参考参考

三、安装配置

1、JDK环境配置
2、Zookeeper集群配置参考
3、Hadoop集群配置参考
4、上述都已经配置完成开始HBase集群环境搭建
本次使用HBase版本:hbase-1.2.3-bin.tar.gz
在hadoop01上下载hbase发行版本统一配置

wget http://apache.fayea.com/hbase/stable/hbase-1.2.3-bin.tar.gz

下载完成后解压文件:tar -zxvf hbase-1.2.3-bin.tar.gz
HBase集群环境搭建及概念介绍_第1张图片
注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下

1、修改hbase-env.sh
这里写图片描述
这里写图片描述
2、修改hbase-site.xml文件

<configuration>
    <property>
            <name>hbase.mastername>
            <value>hadoop01:60000value>
    property>
    <property>
            <name>hbase.master.maxclockskewname>
            <value>180000value>
    property>
    
    <property>
            <name>hbase.rootdirname>
            <value>hdfs://ns1/hbasevalue>
    property>
    
    <property>
            <name>hbase.cluster.distributedname>
            <value>truevalue>
    property>
    
    <property>
            <name>hbase.zookeeper.quorumname>
            <value>zk01:2181,zk02:2181,zk03:2181value>
    property>
    <property>
            <name>hbase.zookeeper.property.dataDirname>
            <value>/home/hadoop/hbase/tmp/zookeepervalue>
    property>
configuration>

3、修改regionservers 配置子节点

hadoop03
zk01
zk02
zk03

4、拷贝hbase到其他节点

scp -r hbase-1.2.3 hadoop02:/opt/soft/
scp -r hbase-1.2.3 hadoop03:/opt/soft/
scp -r hbase-1.2.3 zk01:/opt/soft/
scp -r hbase-1.2.3 zk02:/opt/soft/
scp -r hbase-1.2.3 zk03:/opt/soft/

5、启动Hbase
在hadoop01上启动Hbasestart-dfs.sh
HBase集群环境搭建及概念介绍_第2张图片
在Hadoop01的机器上有HMaster进程,在其他机器有HRegionServer进程
这里写图片描述
为保证集群的可靠性,要启动多个HMaster,在hadoop02中启动HMaster

./hbase-daemon.sh start master

HBase集群环境搭建及概念介绍_第3张图片
启动完成后通过浏览器查看Hbase

http://192.168.0.11:16010/

HBase集群环境搭建及概念介绍_第4张图片

通过浏览器查看Hadoop中HDFS文件系统中有/hbase文件夹
可以使用HBase的命令行来操作HBase,以后会讲解HBase中JAVA api的使用
HBase集群环境搭建及概念介绍_第5张图片

有什么不对的请大家多多指点。

你可能感兴趣的:(Hadoop)