本系列文章主要阐述大数据计算平台相关框架的搭建,包括如下内容:
- 虚拟服务器安装
- 基础环境安装
- zookeeper集群的搭建
- kafka集群的搭建
- hadoop/hbase集群的搭建
- spark集群的搭建
- flink集群的搭建
- elasticsearch集群的搭建
- alluxio集群的搭建
本文主要讲解hbase
的分布式搭建过程。
版本要求
- java版本:
1.8.0_181
- zookeeper版本:
zookeeper-3.4.10
- hadoop版本:
hadoop-2.7.6
- hbase版本:
hbase-1.2.6.1
前置条件
免密登录
见链接免密登录
java安装
见链接java安装
zookeeper安装
见链接zookeeper安装
hadoop安装
见链接hadoop安装
服务器资源和分配
本文服务器列表如下:
192.168.220.200 bigdata1
192.168.220.201 bigdata2
192.168.220.202 bigdata3
192.168.220.203 bigdata4
192.168.220.204 bigdata5
其中选用bigdata1
和bigdata2
作为namenode
,bigdata3、bigdat4、bigdata5
作为dataNode
,安装完成后各节点进程名如下:
主机名 | ip地址 | HMaster | HRegionServer |
bigdata1 | 192.168.220.200 | Y | N |
bigdata2 | 192.168.220.201 | N | Y |
bigdata3 | 192.168.220.202 | N | Y |
bigdata4 | 192.168.220.203 | N | Y |
bigdata5 | 192.168.220.204 | N | Y |
解压安装
tar -zxvf hbase-1.2.6.1-bin.tar.gz
mv hbase-1.2.6.1-bin hbase
环境变量
vi ~/.bash_profile
export JAVA_HOME=/wls/oracle/jdk
export SCALA_HOME=/wls/oracle/scala
export ZOOKEEPER_HOME=/wls/oracle/zookeeper
export HADOOP_HOME=/wls/oracle/hadoop
export HBASE_HOME=/wls/oracle/hbase
export SPARK_HOME=/wls/oracle/spark
export PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH CLASSPATH JAVA_HOME SCALA_HOME ZOOKEEPER_HOME HADOOP_HOME SPARK_HOME
配置
hbase需要修改的配置主要包含如下文件
hbase-env.sh
hbase-site.xml
regionservers
hbase-env.sh
hbase-env.sh文件增加JAVA_HOME的配置即可
export JAVA_HOME=/home/oracle/jdk
hbase-site.xml
hbase.master
:指定master
节点hbase.rootdir
:指定hbase
文件存储路径hbase.zookeeper.quorum
:指定zookeeper
地址hbase.zookeeper.property.dataDir
:指定在zookeeper
存储的目录
完整配置如下:
hbase.master
192.168.220.200:60000
hbase.master.maxclockskew
180000
hbase.cluster.distributed
true
hbase.rootdir
hdfs://cluster/hbase
hbase.cluster.distributed
true
hbase.zookeeper.quorum
192.168.220.200,192.168.220.201,192.168.220.202
hbase.zookeeper.property.dataDir
/hbase
dfs.replication
1
zookeeper.session.timeout
60000
hbase.regionserver.lease.period
900000
hbase.rpc.timeout
900000
regionservers
bigdata2
bigdata3
bigdata4
bigdata5
启动
配置完成后,启动hbase
/home/oracle/hbase/bin/start-hbase.sh
停止hbase脚本如下
/home/oracle/hbase/bin/stop-hbase.sh
本文主要讲解分布hbase搭建的过程,后续将会说明hbase使用相关的问题。
关于作者
爱编程、爱钻研、爱分享、爱生活
关注分布式、高并发、数据挖掘
如需捐赠,请扫码