hadoop分布式集群配置hbase数据库

注意:

        之前的章节配置好了完全分布式hadoop集群,共有三台机器,master, slave01,  slave02, 下面开始配置hbase

首先说明一点,hbase是依赖于zookeeper的进行运行的,所以在部署hbase之前需要先进行部署zookeeper, 但是,hbase中自带了默认的zookeeper,如果不需要自己手动部署zookeeper 的话,可以选择hbase自带默认的,主要原因方便,简单。

接下来开始部署。(亲测可用,我部署完了之后为了不忘记,就整理了一下)

一、下载hbase安装包

   下载链接:http://archive.apache.org/dist/hbase/

    找个版本下载下来然后解压。我选择的是 2.0.0-alpha-3版本。解压到服务器,和我之前的hadoop放在同一个目录了。

   

二、配置hbase的环境变量:HBASE_HOME、hbase-env.sh

    1.编辑vi /etc/profile文件 加入hbase的环境变量

    

    2.进入hbase的配置文件目录conf: cd opt/modules/hbase/conf/, 打开hbase-env.sh文件

        将java jdk的路径加入进去:export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_161

   

        顺便在此文件中,去掉注释 #export HBASE_MANAGES_ZK=true, 使用hbase自带的zookeeper。

   

三、配置hbase-site.xml文件

      此文件还是在hbase的conf配置文件夹下,配置信息如下:

       
     
        hbase.rootdir  
        hdfs://master:9000/hbase  
   
 
     
     
        hbase.cluster.distributed  
        true  
   
 
     
     
        hbase.master  
        master:60000  
   
 
     
        hbase.tmp.dir  
        /opt/modules/hbase/tmp  
   
 
 
     
     
     
        hbase.client.write.buffer  
        5242880  
   
 
     
     
        hbase.regionserver.handler.count  
        20  
   
 
     
     
        hbase.hregion.max.filesize  
        134217728  
   
 
        
     
        hbase.hregion.majorcompaction  
        0  
   
 
        
     
        dfs.replication  
        2  
   
 
     
     
        hbase.regionserver.region.split.policy  
        org.apache.hadoop.hbase.regionserver.ConstantSizeRegionSplitPolicy  
   
 
     
     
        hbase.regionserver.optionalcacheflushinterval  
        7200000  
   
 
     
     
        hfile.block.cache.size  
        0.3  
   
 
     
     
        hbase.hregion.memstore.flush.size  
        52428800  
   
 
        
     
        hbase.regionserver.global.memstore.size  
        0.5  
   
 
        
     
        hbase.regionserver.global.memstore.size.lower.limit  
        0.5  
   
 
     
     
        dfs.client.socket-timeout  
        600000  
   
 
 
     
     
        hbase.table.sanity.checks  
        false  
   
 
     
     
     
        zookeeper.session.timeout  
        30000  
   
 
     
     
        hbase.zookeeper.quorum  
        master:2181,slave01:2181,slave02:2181  
   
 
     
        hbase.zookeeper.property.dataDir  
        /opt/modules/zookeeper/data  
   
 


             ----------------------------------------------配置信息结束------------------------

四、配置regionservers

      1.编辑vi /opt/modules/hbase/conf/regionservers文件,  去掉默认的localhost, 不能注释掉,不认注释,删掉就行

      加入master, slave01, slave02保存退出。


       2.然后通过把在master上配置好的hbase,通过远程复制命令scp到slave01和slave02机器上

            scp -r /opt/modules/hbase slave01:/opt/modules/

            scp -r /opt/modules/hbase slave02:/opt/modules/

五、启动与停止hbase

      1.在hadoop已经正常启动的基础上,进入hbase/bin目录,执行start-hbase.sh文件启动hase

   输入jps查看是否已经启动成功, hadoop-script.sh jps 脚本命令是我自己写的脚本,可以同时查看三台机器的jps命令

   停止命令是stop-hbase.sh.

   hadoop分布式集群配置hbase数据库_第1张图片


我自己的hadoop-script.sh的脚本

你们改改就可以用了

    #!/bin/bash

    params=$@

    echo ==========master $params=============
    ssh master "$params"
    echo ==========slave01 $params=============
    ssh slave01 "$params"
    echo ==========slave02 $params=============

    ssh slave02 "$params"

----------------------完成----------------------


        

你可能感兴趣的:(hadoop)