hadoop+zookeeper+hbase分布式环境配置之hbase分布式环境搭建

准备：

安装好hadoop分布式集群环境

参考之前的博文 以下是配置简单清单

192.168.1.252 master namenode secondarynamenode resourcemanager zookeeper

192.168.1.251 slave1 dataNode nodemanager zookeeper

192.168.1.250 slave2 dataNode nodemanager zookeeper

安装好zookeeper分布式集群环境

参考之前的博文

安装hbase分布式环境

下载最新hbase包 解压到指定文件夹(如：/home/yufan/program/hbase)

修改hbase-env.sh文件,假如jdk、hadoop等信息配置 如下

export JAVA_HOME=/home/yufan/program/jdk
export HBASE_MANAGES_ZK=false
export HBASE_HOME=/home/yufan/program/hbase
export HADOOP_HOME=/home/yufan/program/hadoop

第一行配置是加入jdk的安装路径

第二行配置是设置是否启用hbase自带的zookeeper,true是启用,false是不启用,上一篇介绍了zookeeper分布式环境的配置,此处就使用自己配置的,设置为false

第三行配置是设置hbase的安装路径

第四行是设置hadoop的安装路径       hbase是基于fdfs的高可用性数据库自然要配置hadoop的安装路径了

修改hbase-site.xml文件

    hbase.master
    master:9000
 

配置hbase的master的ip和端口

    hbase.cluster.distributed
    true
 

hbase的运行模式设置 false为单机模式 true为分布式模式

    hbase.rootdir
    hdfs://master:9000/hbasedir
 

hbase的持久化数据目录

      zookeeper.session.timeout
      1200000
 

zookeeper超时时间

      hbase.zookeeper.quorum
      master,slave1,slave2
   

zookeeper的集群服务器列表地址

      hbase.zookeeper.property.clientPort
      2181
   

zookeeper的客户端连接端口 这是在zookeeper的zoo.cfg中配置的

        hbase.hregion.max.filesize
        20971520
 

设置hregion的文件的最大值,如果超出这个最大值将会被分割成为两个文件

        hbase.hregion.memstore.flush.size
        5242880
 

设置memstore的大小,如果超过这个值那么会被flush到磁盘,这个值会被一个线程监控

最基本的配置就到此完结了,更多设置请查阅api。

将hbase通过scp命令复制到slave1和slave2与master相同目录下

修改/etc/profile文件 添加hbase的安装目录配置 将hbase 的bin目录加入到classpath中 将lib目录加入到path 同样通过scp命令复制到slave1和slav e2服务器 在三台服务器上通过source /etc/profile命令使之生效

执行hadoop namenode -format和start-all.sh命令启动hadoop,运行hadoop fs -mkdir /hbasedir命令创建hbase持久化数据目录，分别在三台服务器上运行zkServer.sh start命令启动zookeeper,运行start-hbase.sh启动hbase分布式集群。

通过以上操作已经启动了hbase集群,可以通过http://master:60010访问hbase集群的web界面！

初学hbase,有不足之处请多多指教,留作纪念,日后用到的时候也好方便！