【大数据实验】03：HBase伪分布式部署

HBase伪分布式部署

---

实验环境

• 硬件：ubuntu 16.04
• 软件：JDK-1.8、Hbase1.4、Hadoop-2.7、zookeeper3.4、idea-IC-191.7479.19
• 数据存放路径：~/dataset
• tar包路径：~/software
• tar包压缩路径：~/bigdata
• 软件安装路径:/opt
• 实验设计创建文件：~/resource

Hbase是一个分布式的、面向列的开源数据库，基于Hadoop的分布式数据库，所以安装得确保Hadoop安装完成。

1.HBase单机模式安装配置

# 1.解压tar包
cd ~/software
tar -zxvf hbase-2.2.2-bin.tar.gz -C ~/bigdata
mv hbase-2.2.2/ hbase/
# 2.修改配置文件hbase-env.sh执行命令(进入到hbase的conf目录下)
cd ~/bigdata/hbase/conf
vim hbase-env.sh
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
# 3.修改配置文件hbase-site.xml执行命令
vim hbase-site.xml
<configuration>
	<property>
		<name>hbase.rootdir</name>
		<value>file://~/bigdata/hbase</value>
	</property>
</configuration>
# 4.单节点模式启动hbase
cd ~/bigdata/hbase/bin
./start-hbase.sh
jps #查看hbase进程
./stop-hbase.sh #停止hbase

存在非致命问题：Class path contains multiple SLF4J bindings.

2.HBase伪分布式安装部署

Hbase伪分布式环境的数据需要存储在HDFS之上，所以配置Hbase伪分布式环境之前需要有Hadoop环境。

上个实验已经完成了安装配置Hadoop完全分布式环境（伪分布式替代）：

# 1.启动hadoop服务，执行命令
./start-dfs.sh
jps
# 2.修改hbase-env.sh文件,进入到hbase的conf目录下
cd ~/bigdata/hbase/conf
vim hbase-env.sh
# 添加如下配置信息
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export HBASE_MANAGES_ZK=true
# 3.配置环境变量profile
vim etc/profile
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export HADOOP_HOME=/root/bigdata/hadoop
export HBASE_HOME=/root/bigdata/hbase
export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
# 4.修改hbase-site.xml文件
vim hbase-site.xml
<configuration>
	<property>
		<name>hbase.rootdir</name>
		<value>hdfs://192.168.172.129:9000/hbase</value>
	</property>
	<property>
		<name>hbase.cluster.distributed</name>
		<value>true</value>
	</property>
	<property>
		<name>hbase.unsafe.stream.capability.enforce</name>
		<value>false</value>
	</property>
</configuration>
# 5.启动Hbase
cd ~/bigdta/hbase-2.2.2/bin/
./start-hbase.sh
jps #查看新启动的进程
# 6.hbase部署验证:进入hbase shell,执行命令
./hbase shell
list #查看所有表
exit #退出hbase shell
# 在浏览器网址栏中输入“localhost:16010”进行查看查看hbase的web页
./stop-hbase.sh #停止hbase服务

3.HBase Shell操作

实验原理：

HBase的命令行工具适合HBase管理使用，可以使用shell命令来查询HBase中数据的详细情况。

安装完HBase之后，启动hadoop集群(利用hdfs存储)，启动zookeeper，使用start-hbase.sh命令开启hbase服务。

最后在shell中执行hbase shell就可以进入命令行界面，对Hbase的数据查询和创建操作。

# 1.启动hadoop和Hbase(这里使用的zookeeper为HBase内置)
cd ~/bigdata/hadoop/sbin
./start-all.sh
cd ~/bigdata/hbase/bin
./start-hbase.sh
jps #查看进程确保QuorumPeerMain、HMaster、HRegionServer均已启动
# 2.HBase Shell Gerneral 命令
./hbase shell #进入hbase的命令行模式
status #查询当前服务器状态
version #查看当前版本
whoami #查询当前hbase用户
# 3.HBase Shell 常用操作
help #查看帮助
help'create' #查看create的帮助命令
create 'test', 'cf' #创建“test”表，并指定列族“cf”(使用create创建新表时，必须指定表名和列族)
list 'test' #查询创建的表
describe 'test' #查询表的详细信息
put 'test', 'row1', 'cf:a', 'value1' #插入数据 
scan 'test' #扫描所有数据信息
exit #退出Hbase shell
./stop-hbase.sh #停止Hbase服务
jps #查看是否关闭

4.HBase Web UI管理

实验原理：

Hbase提供了简单的基于Web的可视化管理手段，通过浏览器可以查看Hbase的集群状态、配置信息、日志信息、表和数据信息等。

Hbase中涉及两个重要节点：

• Master节点用于Hbase集群调度和管理
• RegionServer节点用于具体数据处理。

（1）Master节点的Web管理

# 1.启动hadoop和Hbase(这里使用的zookeeper为HBase内置)
cd ~/bigdata/hadoop/sbin
./start-all.sh
cd ~/bigdata/hbase/bin
./start-hbase.sh
jps #查看进程确保QuorumPeerMain、HMaster、HRegionServer均已启动
# 2.在浏览器中输入localhost:16010,查看Master节点的运行状态、Hbase整个集群运行服务信息
# 3.进入HBase的命令行模式,创建表stu
./hbase shell
create 'stu', {NAME => 'info'}
# 4.导入数据
put 'stu','20191216_01','info:name','leo'
# 5.刷新网页可以看到变化后正在使用的表,可以看到刚刚创建的表和其信息
scan 'stu'

在浏览器中输入localhost:16010,查看Master节点的运行状态：

Hbase整个集群运行服务信息：

刷新网页可以看到变化后正在使用的表

（2）RegionServer节点的Web管理

# 1.点击ServerName，可以看到RegionServer节点的运行状态、RegionServer的信息和block信息
# 2.查看Regions和Tasks的信息

RegionServer节点的运行状态：

RegionServer的信息和block信息：

查看Regions和Tasks的信息：