基于hadoop下的hbase安装
简介
HBase是一个分布式的、面向列的开源数据库，该技术来源于Fay Chang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
HBase的特点有：
稀疏：HBase的列理论上是允许无限扩展的，对于成百万的列来说，会有大量的空值，如果使用null填充的策略，势必会造成大量空间的浪费，因此，稀疏性是HBase无限扩展的一个重要条件。
排序：构成HBase的kv在同一文件中都是有序的，首先是rowkey（行键）升序排序，rowkey相同则column key（列族和修饰符）升序排序，rowkey、column key相同则timestamp（时间戳）降序排序。
分布式：构成HBase的map都不在某台机器上，而是分布在整个集群中。
HBase的缺点有：
HBase不支持条件查询，只支持按照Row key来查询。这意味着用户需要预先知道查询条件，否则无法进行查询。
HBase暂时不能支持Master server的故障切换，当Master宕机后，整个存储系统就会挂掉。这可能会对系统稳定性造成一定影响。
HBase的数据类型只有简单的字符类型，所有的类型都是交由用户自己处理，它只保存字符串。相比之下，关系数据库有丰富的类型和存储方式。
HBase只有很简单的插入、查询、删除、清空等操作，表和表之间是分离的，没有复杂的表和表之间的关系，而传统数据库通常有各式各样的函数和连接操作。
HBase数据模型的核心概念。
（1）表
HBase是一种列式存储的分布式数据库，其核心概念是表（Table）。与传统关系型数据库一样，HBase的表也是由行和列组成，但HBase同一列可以存储不同时刻的值，同时多个列可以组成一个列簇（Column Family），这种组织形式主要基于存取性能。
（2）行键
RowKey既是HBase表的行键，也是HBase表的主键。HBase表中的记录是按照RowKey的字典顺序进行存储的。在HBase中，为了高效地检索数据，需要设计良好的RowKey来提高查询性能。首先RowKey被冗余存储，所以长度不宜过长，RowKey过长将会占用大量的存储空间，同时会降低检索效率；其次RowKey应该尽量均匀分布，避免产生热点问题（大量用户访问集中在一个或极少数节点，造成单台节点超出自身承受能力）；另外需要保证RowKey的唯一性。
（3）列簇
HBase表中的每个列都归属于某个列簇，一个列簇中的所有列成员有着相同的前缀。比如，列anchor:cnnsi.com和anchor:my.look.ca都是列簇anchor的成员。列簇是表的Schema的一部分，必须在使用表之前定义列簇，但列却不是必需的，写数据时可以动态加入。一般将经常一起查询的列放在一个列簇中，合理划分列簇将减少查询时加载到缓存的数据，提高查询效率，但也不能有太多的列簇，因为跨列簇访问是非常低效的。
（4）单元格
HBase中通过Row和Column确定的一个存储单元称为单元格（Cell）。每个单元格都保存着同一份数据的多个版本，不同时间版本的数据按照时间顺序倒序排序，最新时间的数据排在最前面，时间戳是64位的整数，可以由客户端在写入数据时赋值，也可以由RegionServer自动赋值。为了避免数据存在过多版本造成的管理（包括存储和索引）负担，HBase提供了两种数据版本回收方式。一是保存数据的最后n个版本；二是保存最近一段时间内的数据版本，比如最近7天。用户可以针对每个列簇进行设置。
安装准备
zookeeper安装
Hadoop安装
Hbase安装
通过官网下载，hbase-2.5.6-bin.tar.gz 包
##可能使用网页下载会更快，然后再上传到虚拟机中
wget https://dlcdn.apache.org/hbase/2.5.6/hbase-2.5.6-bin.tar.gz
##解压缩
tar -zxvf hbase-2.5.6-bin.tar.gz
##挂载软连接
ln -s hbase-2.5.6/ hbase
配置文件设置
HBase的conf目录下的文件进行配置。通过设置hbase-site.xml配置文件进行个性化配置，从而覆盖默认的hbase-default.xml配置内容；通过设置hbase-en.sh文件，添加HBase启动时使用到的环境变量；通过设置RegionServers文件，使得HBase能启动所有Region服务器进程；通过设置backup-masters文件，可以实现HBase HMaster的高可用。
hbase-site.xml文件配置
hbase-site.xml 是 HBase 运行和对外服务的基本环境配置文件。
vim hbase/conf/hbase-site.xml所有节点均采用以下配置内容
hbase.cluster.distributed
true
hbase.tmp.dir
./tmp
hbase.zookeeper.quorum
vm02,vm03,vm04
hbase.zookeeper.property.dataDir
/home/hadoop/data/zookeeper
hbase.zookeeper.property.clientPort
2181
hbase.rootdir
hdfs://mycluster/hbase
hbase.unsafe.stream.capability.enforce
true
参数解释：
hbase.cluster.distributed true hbase.tmp.dir ./tmp hbase.zookeeper.quorum vm02,vm03,vm04 hbase.zookeeper.property.dataDir /home/hadoop/data/zookeeper hbase.zookeeper.property.clientPort 2181 hbase.rootdir hdfs://mycluster/hbase hbase.unsafe.stream.capability.enforce true
进入HBase根目录下的conf文件夹，修改regionServers配置文件,regionServers配置文件是指定hbase集群的hostname。路径下默认是有一个空内容的该文件。
所有节点均采用以下配置内容
vim RegionServers[hadoop@vm02 conf]$ vim regionServers
vm02
vm03
vm04 backup-masters文件配置
该文件指定备节点为vm03,所有节点均采用以下配置内容
[hadoop@vm02 conf]$ vim backup-masters
vm03
hbase-env.sh文件配置
HBase 的环境变量配置文件是运行的基础运行变量文件。进入HBase根目录下的conf文件夹，修改hbase-env.sh配置文件。
自带的该文件中有很多变量已做注释，可以通过AI得到对这些变量的理解，本文只设置两个值，其余值采用默认值。
所有节点均采用以下配置内容
export JAVA_HOME=/jdk/jdk1.8.0_144/
export HBASE_MANAGES_ZK=false
环境变量配置
使用root用户编辑/etc/profile文件的环境变量。环境变量的命名中${JAVA_HOME}和$JAVA_HOME等同的，由于博主JDK以前设置的问题，以及安装了和Hadoop无关的postgresql数据库，设置了postgresql的相关变量。这里不做统一标准化处理了。读者了解即可。所有节点均采用以下配置内容
export JAVA_HOME=/jdk/jdk1.8.0_144/
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:/home/postgres/pg/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$PATH
export ZOOKEEPER_HOME=/home/hadoop/zookeeper
export PGDATA=/home/postgres/pg/data
#HADOOP_HOME
export HADOOP_HOME=/home/hadoop/hadoop
export HBASE_HOME=/home/hadoop/hbase
export JAVA_HOME CLASSPATH PATH HADOOP_HOME ZOOKEEPER_HOME HBASE_HOME
#加载环境变量
source /etc/profile##切换到hadoop用户下
su - hadoop
##编辑本用户环境变量添加source /etc/profile
[hadoop@vm02 ~]$ vim .bash_profile
# .bash_profile
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
. ~/.bashrc
fi
# User specific environment and startup programs
PATH=$PATH:$HOME/.local/bin:$HOME/bin
source /etc/profile
export PATH
~ 
Hbase启动
所有节点启动zookeeper
zkServer.sh start
zkServer.sh status
主节点vm02启动hdfs，hbase
##打命令的时候使用tab键会有联想功能，如果没有联想成功，说明环境变量配置有问题
start-all.sh
start-hbase.sh
使用jps在所有节点 
hbase客户端访问
客户端访问命令
hbase shell 
附加
hbase的性能变量
hbase是基于jvm上运行的数据库，所以在性能有空间的情况下可以对其运行性能放大（jvm上运行的相关程序多数都有这方面的设置，这里以Hbase举例说明）。
export $HBASE_OPT ="$HBASE_OPT -Xmx9g -Xms8g -Xmn128M -XX:+UseParNewGC -XX:+UseConMarkSweepGC -XX:CMSInitiatingOccupancyFraction=70 --verbose:gc-XLoggc:${HBASE_HOME}/log/gc-hbase.log各个参数的含义如下：
-Xmx9g: 这个参数设置JVM的堆内存最大值为9GB。
-Xms8g: 这个参数设置JVM的堆内存初始值为8GB。
-Xmn128M: 这个参数设置年轻代（Young Generation）的大小为128MB。年轻代是Java堆内存中的一部分，主要存放新创建的对象。
-XX:+UseParNewGC: 这个参数启用并行收集器（Parallel GC），并行收集器主要用于服务端，具有高吞吐量，适合后台应用。
-XX:+UseConcMarkSweepGC: 这个参数启用CMS收集器（CMS GC），CMS收集器主要用于服务端，低停顿，但并发能力比不上并行收集器。
-XX:CMSInitiatingOccupancyFraction=70: 这个参数设置CMS收集器的初始占有比例为70%。
--verbose:gc: 这个参数启用GC的详细日志记录。
-Xloggc:${HBASE_HOME}/log/gc-hbase.log: 这个参数设置GC的日志文件路径，用于记录GC的详细日志信息。
除了以上参数，还有很多其他的参数可以设置，这取决于你的需求和环境。例如，你可以设置其他的JVM参数，如-XX:MaxPermSize、-XX:+UseG1GC等。你也可以设置HBase的特定参数（不推荐），$HBASE_OPT变量重点还是指定JVM相关运行参数。
注：博主对这个变量不感兴趣，不做举例说明。生产环境中需要根据服务器实际使用情况配置该变量，将其设置在每一个节点的环境变量文件中便可。
端口信息查看
hadoop中相关组件和中间件比较多，在整个安装过程中都已经忘了哪些是对外服务的端口信息，这里记住两个查看端口号的指令
#查看对外开放的端口号
netstat -tuln
ss -tulpn