Hbase HA 高可用环境搭建
这是前面博主的总结： 基于ZK的Hadoop HA 高可用的环境搭建步骤
像中间一些无密登录，用户权限等 可参考此博客
后面会写一个shell脚本去启动、关闭、重启、查看集群的博客
一、安装前准备
集群主机规划
| IP | 编号 | 安装软件 | 主机名 | 进程 |
| 192.168.18.27 | node1 | jdk/hadoop/hbase | 主Master27 | NameNode、DFSZKFailoverController、ResourceManager、HMaster |
| 192.168.18.28 | node2 | jdk/hadoop/hbase | 备份Master28 | NameNode、DFSZKFailoverController、ResourceManager、HMaster |
| 192.168.18.29 | node3 | jdk/hadoop/zookeeper/hbase | dn29 | DataNode、NodeManager、JournalNode、QuorumPeerMain、HRegionServer |
| 192.168.18.30 | node4 | jdk/hadoop/zookeeper/hbase | dn30 | DataNode、NodeManager、JournalNode、QuorumPeerMain、HRegionServer |
| 192.168.18.31 | node5 | jdk/hadoop/zookeeper/hbase | dn31 | DataNode、NodeManager、JournalNode、QuorumPeerMain、HRegionServer |
HBase 官网地址：
http://mirror.bit.edu.cn/apache/hbase/
笔者使用的HBase的版本为1.2.6
二、HBase 安装配置
node1、2、3、4、5分别安装配置HBase，以node1为例
1-配置hbase-env.sh
在配置 hbase-env.sh 前先在 hbase 的安装目录下创建两个文件，如下
$ mkdir logs # hbase 的日志目录
$ mkdir pids # hbase 的pids目录
编辑 conf/ hbase-env.sh 文件，添加如下内容
# 配置JDK安装路径
export JAVA_HOME=/home/hadoop/app/jdk
# 配置hadoop安装路径
export HADOOP_HOME=/home/hadoop/app/hadoop
# 配置hbase日志目录
export HBASE_LOG_DIR=${HBASE_HOME}/logs
# 设置HBase的pid目录
export HBASE_PID_DIR=${HBASE_HOME}/pids
# 使用独立的zookeeper集群（默认为true，即使用hbase 的内置的zk）
export HBASE_MANAGES_ZK=false
注释46、47行 *_OPTS 的两行内容（前面加符号‘#）
2.配置hbase-site.xml
$ vi hbase-site
.xml
在 configuration 节点中添加如下内容
hbase.rootdir
hdfs://cluster/hbase
hbase.cluster.distributed
true
hbase.tmp.dir
/home/hadoop/app/hbase/tmp
hbase.zookeeper.quorum
dn29,dn30,dn31
hbase.zookeeper.property.dataDir
/home/hadoop/app/zookeeper/data
zookeeper.session.timeout
120000
hbase.regionserver.restart.on.zk.expire
true
3.配置regionservers
写希望运行的全部 Regionserver，一行写一个主机名（和hadoop中的slave文件一样），这里列出的 Server 会随着集群的启动而启动，集群的停止而停止
$
vim regionservers
添加如下内容
dn29dn30
dn31
配置完成后，将上述所做的hbase安装文件及配置远程拷贝到其它节点
4.配置环境变量（每个节点）
$ vi ~/.bashrc
# 配置的是用户变量
jdk、hadoop、zookeeper、hbase 所有环境变量如下
# Java Environment Variable
export JAVA_HOME=/home/hadoop/app/jdk
# Hadoop Environment Variable
export HADOOP_HOME=/home/hadoop/app/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
# HBase Environment Variable
export HBASE_HOME=//home/hadoop/app/hbase
# PATH
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$HBASE_HOME/bin
$ source ~/bash.rc # 使环境变量立即生效
三、集群启动关闭
hadoop + zookeeper + hbase 集群启动关闭顺序如下
启动：zookeeper、hadoop、hbase
关闭：hbase、hadoop、zookeeper
1.手动启动关闭集群
启动集群
1).启动zookeeper（node3、node4、node5）
$
zkServer.sh start
2).启动journalnode（node3、node4、node5）
$
hadoop-daemon.sh start journalnode
3).格式化HDFS（node1）
注意：格式化后需要把tmp目录拷贝给node2，不然node2的namenode启动不起来，第一次启动时需要格式化
$
hdfs namenode -format
$
scp -r /home/hadoop/app/hadoop/tmp hadoop
@master28
:/home/hadoop/app/hadoop
4).格式化ZKFC（node1）
注意：第一次启动时需要格式化
$
hdfs zkfc -formatZK
5).启动HDFS（node1）
$
start-dfs.sh
6).启动YARN（node1）
$
start-yarn.sh
7).启动resourcemanager（node2）
node2的resourcemanager需要手动单独启动
$
yarn-daemon.sh start resourcemanager
8).启动主HMaster（node1）
注意：启动hbase之前，必须保证hadoop集群和zookeeper集群是可用的
sh
start-hbase.sh
9).启动备份的HMaster
在任意一台选择一台你想作为备份的HMster中启动，笔者将node2作为备份的HMaster
sh
hbase-daemon.sh start master
集群在首次启动时麻烦一点，以后再手动启动就不需要格式化hdfs 和 zkfc，之后的启动命令，总结如下
$ zkServer.sh start # node3、node4、node5
$ start-dfs.sh # node1
$ start-yarn.sh # node1
$ yarn-daemon.sh start resourcemanager # node2
$ start-hbase.sh # node1
$ hbase-daemon.sh start master # node2
关闭集群
$ hbase-daemon.sh stop master # node2
$ stop-hbase.sh # node1
$ stop-dfs.sh # node1
$ stop-yarn.sh # node1
$ yarn-daemon.sh stop resourcemanager # node2
$ zkServer.sh stop # node3、node4、node5
不管是否是第一次，集群的关闭都一样，命令如下
使用命令查看进程：netstat -ant | grep 16010
网页链接查看：
http://master27:16010/master-status
四、测试
启动成功后，输入命令 jps 查看进程，如果和主机规划中的一致则成功，反之失败。如下
***********************************************************
当前 node1 上的进程为：
2804 DFSZKFailoverController
2503 NameNode
4263 Jps
2923 ResourceManager
3182 HMaster
***********************************************************
当前 node2 上的进程为：
2587 ResourceManager
2460 DFSZKFailoverController
2860 HMaster
4220 Jps
2381 NameNode
***********************************************************
当前 node3 上的进程为：
2388 QuorumPeerMain
2516 JournalNode
2622 NodeManager
3118 Jps
2447 DataNode
***********************************************************
当前 node4 上的进程为：
2354 QuorumPeerMain
2419 DataNode
2599 NodeManager
2488 JournalNode
3356 Jps
2799 HRegionServer
***********************************************************
当前 node5 上的进程为：
2784 HRegionServer
2582 NodeManager
2410 DataNode
3389 Jps
2351 QuorumPeerMain
2479 JournalNode
使用如下命令进入hbase 的shell 客户端对hbase进行操作，后续博客中会有详细介绍
$ hbase shell # 进入hbase 的 shell 客户端
$ quit # 退出，或使用exit
访问 WEB UI 页面查看hbase相关信息（
http://master27:16010
）
高可用集群启动常见问题：
1、启动集群查看进程发现master下缺少HMaster进程，但是dn下有HRegionServer这个进程，这时去master机子下hbse检查logs文件会发现报这个问题：File /hbase/.tmp/hbase.version could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation
原有是多次执行./hdfs namenode -format 造成，解决办法手动在各个节点中删除tmp文件夹内容的内容然后从新启动datanode服务就可以启动了