Hbase分布式集群部署

目录

一、环境说明

二、部署Hbase

2.1 解压Hbase

2.2 移动解压包

2.3 修改 hbase-env.sh文件

2.4 修改环境变量

2.5 修改hbase-site.xml文件

2.6 修改regionservers 文件

2.7 分发hbase

2.7.1 分发hbase包

2.7.2 分发环境配置

2.8 启动hbase服务

2.8.1 环境生效

2.8.2 master节点执行

2.8.3 node2节点执行

2.8.4 访问

---

一、环境说明

系统环境描述：本教程基于CentOS 8.0版本虚拟机
Hadoop集群：

节点	NN	NN	JN	ZKFC	ZK	DN	RM	NM	IP
master	*		*	*					192.168.31.215
node1		*	*	*		*			192.168.31.8
node2					*	*			192.168.31.9
node3			*		*	*	*	*	192.168.31.167
node4					*	*	*	*	192.168.31.154

Hbase 集群规划:

节点	HMaster	HRegionServer	ZK	IP
master	*			192.168.31.215
node1		*		192.168.31.8
node2	*		*	192.168.31.9
node3		*	*	192.168.31.167
node4		*	*	192.168.31.154

软件版本：

软件	版本
jdk	1.8.0_211
zookeeper	3.8.2
Hbase	2.5.5
Hdoop	3.3.4

提示：Hbase 是基于Hadoop的，在开始Hbase之前，需要确保你的Hadoop集群是可用的。同时，本次部署需要的zookeeper，我使用的是Hadoop集群中的，关于zookeeper的部署，这里不做描述。因为该文章是基于部署Hadoop之后，所以一些机器的基本配置这里不做描述，比如机器的免密登录，机器的hosts文件设置，包括基本的JDK安装等，如果对于这些部分有操作上的疑问，欢迎查看之前Hadoop的系列文章。具体可参考：一篇文章带你学会Hadoop-3.3.4集群部署_夜夜流光相皎洁_小宁的博客-CSDN博客

二、部署Hbase

2.1 解压Hbase

tar -zxvf hbase-2.5.5-bin.tar.gz

2.2 移动解压包

mv hbase-2.5.5 /usr/local/

2.3 修改 hbase-env.sh文件

cd /usr/local/hbase-2.5.5/conf
vim hbase-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_211

2.4 修改环境变量

vim /etcprofile

export HBASE_HOME=/usr/local/hbase-2.5.5
export PATH=$PATH:$HBASE_HOME/bin

2.5 修改hbase-site.xml文件

vim hbase-site.xml

  
    hbase.cluster.distributed
    true
  
  
  
    hbase.zookeeper.quorum
    node2:2181,node3:2181,node4:2181
  
  
  
    hbase.zoopkeeper.property.dataDir
    /usr/local/hbase-2.5.5/data/zookeeper 
  
  
  
    hbase.rootdir
    hdfs://master:9000/hbase
  
  
   
     hbase.tmp.dir
     /usr/local/hbase-2.5.5/data/hbase/tmp
   
  
    hbase.unsafe.stream.capability.enforce
    false
  

  
  
    hbase.regionserver.wal.codec
    org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec
  

  
    hbase.column.max.version
    2
  
  
    hbase.regionserver.global.memstore.size
    0.2
  
  
    hbase.regionserver.global.memstore.size.lower.limit
    0.8
  

  
  
    hfile.block.cache.size
    0.2
  

  
  
    hbase.hregion.memstore.flush.size
    134217728
  

  
  
    dfs.namenode.service.handler.count
    48
  

  
  
    phoenix.coprocessor.maxServerCacheTimeToLiveMs
    300000
  

  
  
    hbase.regionserver.region.split.policy
    org.apache.hadoop.hbase.regionserver.DisabledRegionSplitPolicy
  

  
  
  
    hbase.hstore.compactionthreshold
    5
  
  
    hbase.hstore.compaction.max
    10
  
  
    hbase.hstore.blockingStoreFiles
    16
  
  
    hbase.hregion.majorcompaction
    0
  

  
    hbase.hstore.compaction.throughput.higher.bound
    20971520
    The default is 20 MB/sec
  
  
    hbase.hstore.compaction.throughput.lower.bound
    10485760
    The default is 10 MB/sec
  

2.6 修改regionservers 文件

配置你希望启动HRegionserver服务的节点

vim regionservers

node1
node3
node4

2.7 分发hbase

2.7.1 分发hbase包

scp -r /usr/local/hbase-2.5.5/ root@node1:/usr/local/
scp -r /usr/local/hbase-2.5.5/ root@node2:/usr/local/
scp -r /usr/local/hbase-2.5.5/ root@node3:/usr/local/
scp -r /usr/local/hbase-2.5.5/ root@node4:/usr/local/

2.7.2 分发环境配置

scp /etc/profile root@node1:/etc/profile
scp /etc/profile root@node2:/etc/profile
scp /etc/profile root@node3:/etc/profile
scp /etc/profile root@node4:/etc/profile

提示：注意执行source /etc/profile 使环境生效

2.8 启动hbase服务

2.8.1 环境生效

执行source /etc/profile 使环境生效（所有节点）

source /etc/profile

2.8.2 master节点执行

start-hbase.sh

可以通过netstat -anp | grep 16010 探测端口是否被启用，通过jps 查看master 是否有HMaster 服务启动，有则证明启动成功

注意：启动服务之前，需要先启动zookeeper

2.8.3 node2节点执行

hbase-daemon.sh start master

通过jps 指令查看node2节点，是否有HMaster服务启动，有则证明启动成功。

注意：启动服务之前，需要先启动zookeeper

2.8.4 访问

浏览器访问服务：

Backup Master: master

能成功访问到HBase的页面，查看信息和我们配置的没有出入，符合预期，说明本次HBase集群服务部署成功了。

好了，今天HBase分布式集群部署的相关内容就分享到这里，如果帮助到大家，欢迎大家点赞+关注+收藏，有疑问也欢迎大家评论留言！