Hbase和zookeeper的详细安装配置 亲测完美

zookeeper安装步骤

注意:前置条件安装完Hadoop集群
安装Hadoop集群详细步骤

1.到官网中下载zookeeper稳定版本的安装包(建议3.4.6)

2.利用xshell中的xftp上传安装包到/opt目录下

3.解压

tar -zxvf zookeeper-3.4.5-cdh5.14.2.tar.gz

这里我习惯把解压好的文件都集中放到soft目录下

mv zookeeper-3.4.5-cdh5.14.2 /opt/soft/zookeeper345

4.cd soft/zookeeper345/conf

5.查看zookeeper的配置文件

[root@sql conf]# ls
configuration.xsl  log4j.properties  zoo_sample.cfg
[root@sql conf]# cp zoo_sample.cfg zoo.cfg 

6.修改zoo.cfg文件

[root@sql conf]# ls
configuration.xsl  log4j.properties  zoo.cfg  zoo_sample.cfg
[root@sql conf]# vi zoo.cfg 

如下图:

i 过会在zookeeper目录下创建data目录
ii.如果是完全分布式还需要在其他机器上布置zookeeper并在此配置文件下根据建立例如server.0=xxx:2287:3387 多台之间端口可以重复

7.返回上一级 到zookeeper文件夹 复制路径

[root@sql conf]# cd ..
[root@sql zookeeper345]# pwd
/opt/soft/zookeeper345

ctrl+insert 复制该路径

8.修改虚拟中添加zookeeper的运行环境

[root@sql bin]# vi /etc/profile

在文件末尾添加如下配置:

9.激活环境配置

[root@sql bin]# source /etc/profile

10.在zookeeper文件夹下创建data目录

[root@sql bin]# cd ..
[root@sql zookeeper345]# mkdir data
[root@sql zookeeper345]# ls
bin               contrib          libexec               share
build.properties  data             LICENSE.txt           src
build.xml         dist-maven       NOTICE.txt            zookeeper-3.4.5-cdh5.14.2.jar
CHANGES.txt       docs             README_packaging.txt  zookeeper-3.4.5-cdh5.14.2.jar.md5
cloudera          ivysettings.xml  README.txt            zookeeper-3.4.5-cdh5.14.2.jar.sha1
cloudera-pom.xml  ivy.xml          recipes
conf              lib              sbin

11.打开所有的节点 并查看

[root@sql zookeeper345]# start-all.sh
[root@sql zookeeper345]# jps
7084 NameNode
7212 DataNode
7534 ResourceManager
7375 SecondaryNameNode
7631 NodeManager
7967 Jps

12.启动zookeeper服务 ,并查看

[root@sql zookeeper345]# zkServer.sh start
JMX enabled by default
Using config: /opt/soft/zookeeper345/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@sql zookeeper345]# jps
8035 Jps
7084 NameNode
7212 DataNode
7534 ResourceManager
7998 QuorumPeerMain
7375 SecondaryNameNode
7631 NodeManager

13.启动客户端 查看

[root@sql zookeeper345]# zkCli.sh
Connecting to localhost:2181

退出使用exit命令无效,请使用quit命令进行退出客户端

Hbase的安装及配置

1.Hbase是hadoop领域的的数据库
2.Hbase是面向列存储的列式数据库，
a)行式数据库优缺点
i.数据在表中的位置空间是确定的，指针在访问只要知道首地址就可以高效获取其他数据
ii.但在常用的可能只是所有列中的部分列的数据，可是行式数据库会自动查询所有的列，只是在客户端进行数据的过滤，会浪费大量的带宽和空间
b)列式数据库的优缺点
i.一张不规则的表（人物画像）每行属性有大量的null
ii.类似于交错数组，只使用在特定的领域
3.逻辑模型
a)表 近似于行式数据库的表
b)行 近似于行式数据库的行
c)列 是不能脱离列簇独立存在的，在行式数据库中没有
d)行健 近似于行式数据库的主键
e)时间戳 类似于timestamp 天然在，不需要用户自己创建
4.物理模型
Hbase数据在进行存储时，是按照行健存储。会自己比较行健大小后进行存储
a)列簇 是单独存储一系列列的文件
5.存储模型
a)Region
i.Table在行的方向上分割为多个Region，一个region由[startkey,endkey]表示，每个Region分散在不同的RegionServer中
6.体系结构
a)主从式结构，主节点称作master，从节点称为region server。
b)工作方式

7.Hbase安装配置

前置条件最少安装了Hadoop（如果只是安装单机版hbase，zookeeper使用hbase内置的即可）如果需要安装伪分布式或完整分布式则需要先安装zookeeper

1.到官网中下载Hbase稳定版本的安装包(建议下载hbase-1.2.1配合hadoop2.7.3)

2.利用xshell中的xftp上传安装包到/opt目录下

3.解压

tar -zxvf hbase-1.2.0-cdh5.14.2.tar.gz

这里我习惯把解压好的文件都集中放到soft目录下

mv hbase-1.2.0-cdh5.14.2 /opt/soft/hbase120

4.修改Hbase文件夹下conf中的hbase-env.sh文件

[root@sql zookeeper345]# cd ..
[root@sql soft]# cd hbase120/
[root@sql hbase120]# cd conf
[root@sql conf]# ls
hadoop-metrics2-hbase.properties  hbase-env.sh      hbase-site.xml    regionservers
hbase-env.cmd                     hbase-policy.xml  log4j.properties
[root@sql conf]# echo $JAVA_HOME
/opt/soft/jdk180
[root@sql conf]# vi hbase-env.sh 

搜索命令: esc+/+自己要搜的东西

5.修改hbase-site.xml文件

[root@sql conf]# vi hbase-site.xml

在末尾添加如下配置

         hbase.rootdir
         hdfs://192.168.56.101:9000/hbase


         hbase.cluster.distributed
         true


         hbase.zookeeper.quorum
         sql:2181


        hbase.master.info.port
        16010

最后一个sql是你自己的hostname 如果有多个集群就在后面加逗号继续写

6. 配置环境变量

[root@sql conf]# cd ..
[root@sql hbase120]# pwd
/opt/soft/hbase120
[root@sql hbase120]# vi /etc/profile

7.激活配置文件

source /etc/profile

8.启动hbase,并查看

[root@sql conf]# start-hbase.sh
starting master, logging to /opt/soft/hbase120/logs/hbase-root-master-sql.out
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
starting regionserver, logging to /opt/soft/hbase120/logs/hbase-root-1-regionserver-sql.out
[root@sql conf]# jps
6259 RemoteInterpreterServer
8211 RunJar
8647 HRegionServer
7084 NameNode
7212 DataNode
8508 HMaster
6029 ZeppelinServer
7534 ResourceManager
7998 QuorumPeerMain
8846 Jps
7375 SecondaryNameNode
7631 NodeManager

如果多出这两个节点 那么恭喜你Hbase安装成功了!!!

[root@sql conf]# hbase shell
2019-12-22 10:57:01,636 INFO  [main] Configuration.deprecation: hadoop.native.lib is deprecated. Instead, use io.native.lib.available
2019-12-22 10:57:03,599 WARN  [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/soft/hbase120/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/soft/hadoop260/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
HBase Shell; enter 'help' for list of supported commands.
Type "exit" to leave the HBase Shell
Version 1.2.0-cdh5.14.2, rUnknown, Tue Mar 27 13:31:54 PDT 2018

hbase(main):001:0>