Spark实战—— (2.2) HBase分布式集群搭建

1. 预置环境

1. VMware创建三台虚拟机，均为Ubuntu16.04，内存为4G，硬盘100G
2. 已搭建Hadoop集群，可参考之前的博客Spark学习—— (2) 从零开始搭建Spark（StandAlone与YARN模式）与Hadoop集群
3. 已搭建zookeeper集群，可参考之前的博客Spark实战—— (1) zookeeper简介与环境搭建
4. 三台虚拟机的ip已在host里绑定为master、slave1、slave2
5. 三台虚拟机已实现ssh免密登陆
6. 三台虚拟机已安装jdk1.8

2. 安装HBase

1. 在官网下载hbase-1.4.9-bin.tar.gz，使用tar指令解压

Node@master ~/Downloads> tar -xf hbase-1.4.9-bin.tar.gz

2. 移动到/opt目录下，并建立软连接

Node@master ~/Downloads> mv hbase-1.4.9 /opt
Node@master ~/Downloads> cd /opt
Node@master /opt> ln -snf hbase-1.4.9/ hbase

3. 配置环境变量，即修改/etc/profile

#hbase env
export HBASE_HOME=/opt/hbase
export PATH=$PATH:$HBASE_HOME/bin

3. 配置HBase

1. 修改HBase的配置文件（hbase/conf/hbase-env.sh），如下：

export JAVA_HOME=/opt/jdk  #jdk位置
export HBASE_CLASSPATH=/opt/hadoop/etc/hadoop #hadoop的位置
export  HBASE_MANAGES_ZK=false #不使用自带的zookeeper

2. 修改hbase-site.xml，如下：

<configuration>
    
    <property>
        <name>hbase.rootdirname>
        <value>hdfs://master:9000/hbasevalue>
    property>
    
    <property>
        <name>hbase.cluster.distributedname>
        <value>truevalue>
    property>
    
    <property>
        <name>hbase.zookeeper.quorumname>
        <value>master,slave1,slave2value>
    property>
    
    <property> 
        <name>hbase.zookeeper.property.dataDirname> 
        <value>/opt/hbase/tmp/zk/datavalue> 
    property>
configuration> 

4. 修改配置文件regionservers如下：

#去掉原来的localhost
master
slave1
slave2

5. 把整个hbase文件夹使用scp复制到另外两个节点上，如下：

Node@master /opt> scp -r hbase-1.4.9/ Node@slave1:/opt/
Node@master /opt> scp -r hbase-1.4.9/ Node@slave2:/opt/

4. 启动

1. 启动hadoop，jps如下：

start-yarn.sh
start-dfs.sh

2. 启动zookeeper，即在三台主机下都使用如下指令，查看jps都有QuorumPeerMain进程

zkServer.sh start #启动

#三台主机都启动后，都使用restart重启
zkServer.sh restart #重启

#使用zkCli.sh测试是否启动成功
#（本来应该使用 zkServer.sh status 测试的，但我不知道为啥提示错误，所以让客户端连接各个Server看看zookeeper有没有正常启动）
zkCli.sh -server master:2181 #若可以连接，说明成功启动，quit退出即可

3. 启动HBase，使用如下指令

start-hbase.sh

4. 启动后查看jps如下：

5. 浏览器进入master:16010，查看webUI，如下，说明启动成功

6. 使用hbase shell进入命令行界面

以上，即为搭建HBase的完整过程。

Reference

1. 1、搭建HBase完全分布式集群
2. Linux-centos下安装hbase