CentOS分布式部署HBase

        继上篇《CentOS分布式部署Hadoop》介绍分布式部署Hadoop2.8.5,本篇在上篇基础上介绍CentOS7下HBase2.2.3的分布式部署。

一、准备工作

部署好Hadoop2.8.5,节点如下:

192.168.23.211  hadoop.master   NameNode,DataNode,ResourceManager,NodeManager

192.168.23.212  hadoop.slaver1  SecondaryNameNode,DataNode,NodeManager

192.168.23.213  hadoop.slaver2  DataNode,NodeManager

HBase部署节点计划如下:

192.168.23.211  hadoop.master   Zookeeper,HMaster(主),HRegionServer

192.168.23.212  hadoop.slaver1  Zookeeper,HRegionServer

192.168.23.213  hadoop.slaver2  Zookeeper,HMaster(备),HRegionServer

二、分布式部署Zookeeper

        HBase可以使用内置的Zookeeper,也可以使用独立部署的Zookeeper,此处使用独立部署Zookeeper方案。下载稳定版apache-zookeeper-3.5.6-bin.tar.gz。

       以下操作在hadoop.master节点上进行:

1、解压并配置环境变量

       解压apache-zookeeper-3.5.6-bin.tar.gz到/data/soft/目录下:

[root@centos /]# tar -zxvf apache-zookeeper-3.5.6-bin.tar.gz -C /data/soft/
[root@centos /]# cd /data/soft/
[root@centos soft]# mv apache-zookeeper-3.5.6-bin zookeeper-3.5.6

       配置环境变量:

[root@centos soft]# vim /etc/profile
#set hadoop environment
export HADOOP_HOME=/data/soft/hadoop-2.8.5
export ZOOKEEPER_HOME=/data/soft/zookeeper-3.5.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin

      让环境变量生效,命令行执行:

[root@centos soft]# source /etc/profile

2、配置zoo.cfg

    复制zookeeper-3.5.6/conf/zoo.sample.cfg为zoo.cfg,并编辑:

[root@centos soft]# cp ./zookeeper-3.5.6/conf/zoo.sample.cfg ./zookeeper-3.5.6/conf/zoo.cfg
[root@centos soft]# vim ./zookeeper-3.5.6/conf/zoo.cfg

主要编辑内容如下:

     dataDir=data/hadoop/zookeeper/data

并在文件最后添加以下内容:

server.1=hadoop.master:2888:3888
server.2=hadoop.slaver1:2888:3888
server.3=hadoop.slaver2:2888:3888

3、将zookeeper复制到另外两个节点,并配置zookeeper环境变量

[root@centos soft]# scp -r zookeeper-3.5.6 hadoop.slaver1:/data/soft/
[root@centos soft]# scp -r zookeeper-3.5.6 hadoop.slaver2:/data/soft/

4、启动zookeeper

    在每个节点上依次启动zookeeper:

[root@centos soft]# zkServer.sh start

三、分布式部署HBase 

 下载hbase-2.2.3-bin.tar.gz,以下操作在hadoop.master节点上进行。

1、解压并配置环境变量

解压缩hbase-2.2.3-bin.tar.gz到/data/soft目录下:

[root@centos /]# tar -zxvf hbase-2.2.3-bin.tar.gz -C /data/soft/
[root@centos /]# cd /data/soft/

配置环境变量:

[root@centos soft]# vim /etc/profile
#set hadoop environment
export HADOOP_HOME=/data/soft/hadoop-2.8.5
export ZOOKEEPER_HOME=/data/soft/zookeeper-3.5.6
export HBASE_HOME=/data/soft/hbase-2.2.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin:$HBASE_HOME/bin

让环境变量生效,命令行执行:

[root@centos soft]# source /etc/profile

 2、配置hbase-env.sh

编辑./conf/hbase-env.sh文件,设置JAVA_HOME和HBASE_MANAGES_ZK,如:

export JAVA_HOME=/usr/java/jdk1.8.0_151
export HBASE_MANAGES_ZK=false

HBASE_MANAGES_ZK值为true是使用hbase自带的zookeeper,false则是使用独立部署的zookeeper。

3、配置hbase-site.xml

编辑./conf/hbase-site.xml文件,主要内容如下:


  
    hbase.rootdir
    hdfs://hadoop.master:9000/hbase
    hbase持久化目录
  
  
    hbase.cluster.distributed
    true
    是否启用分布式集群
  
  
    dfs.replication
    2
    hbase文件备份数,默认为3
  
  
    hbase.zookeeper.quorum
    hadoop.master,hadoop.slaver1,hadoop.slaver2
    zookeeper节点,奇数个
  
    
    hbase.tmp.dir
    /data/hadoop/hbase/tmp  
    临时文件目录
    
  
    hbase.zookeeper.property.dataDir
    /data/hadoop/zookeeper/data
    和zookeeper配置文件zoo.cfg中的dataDir保持一致
  

4、配置regionservers

编辑./conf/regionservers文件,删除localhost,内容如下:

hadoop.master
hadoop.slaver1
hadoop.slaver2

5、配置backup-masters

在zookeeper-3.5.6/conf目录下新建backup-masters文件,用于配置HMaster备份,内容为:

hadoop.slaver2

6、将hbase复制到另外两个节点,并配置hbase环境变量

[root@centos soft]# scp -r hbase-2.2.3 hadoop.slaver1:/data/soft/
[root@centos soft]# scp -r hbase-2.2.3 hadoop.slaver2:/data/soft/

 7、在hadoop.master节点启动hbase

[root@centos soft]# start-hbase.sh

在浏览器输入:http://192.168.23.211:16010/ (16010是默认端口,打开HBase页面)

CentOS分布式部署HBase_第1张图片

 在浏览器输入:http://192.168.23.213:16010 (16010是默认端口,打开HBase备份页面)

CentOS分布式部署HBase_第2张图片

在hadoop.master节点使用jps命令查看启动进程:

9216 NodeManager
9108 ResourceManager
57674 HMaster
57805 HRegionServer
9694 NameNode
9807 DataNode
55663 QuorumPeerMain
58287 Jps

在hadoop.slaver1节点使用jps命令查看启动进程:

61843 HRegionServer
4916 NodeManager
60117 QuorumPeerMain
62550 SecondaryNameNode
62104 Jps
62442 DataNode

在hadoop.slaver2节点使用jps命令查看启动进程: 

41121 QuorumPeerMain
42772 HMaster
42697 HRegionServer
61947 DataNode
43100 Jps
59998 NodeManager

你可能感兴趣的:(Hadoop,hbase,zookeeper,分布式)