Hbase+Hadoop环境搭建

前言

每一颗璀璨的钻石,都曾被泥土和杂草埋没过,但正是因为这些,它才显得弥足珍贵。——我自己。

本文不打算介绍HBase的任何资料,旨在通过简洁明了的叙述,在最短时间内搭建一个可以运行的伪分布式环境。

下载HBase

Apache官网下载hbase-0.92.1,解压到linux用户目录中。并且设置权限

tar -zxvf /mnt/hgfs/PublicData/hbase-0.92.1.tar.gz -C~/hadoop-data

chmod -R 777 ~/hbase-0.92.1

配置HBase

  1. 修改~/.bashrc文件,添加( 可能需要去掉HIVE相关的部分)

    export JAVA_HOME=/usr/java/jdk1.7.0_51

    export HADOOP_HOME=/home/hadoop/hadoop-0.20.2

    export HIVE_HOME=/home/hadoop/hive-0.6.0

    export HBASE_HOME=/home/hadoop/hbase-0.92.1

    export PATH=$HIVE_HOME/bin/:$HBASE_HOME/bin/:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

    export CLASSPATH=$HADOOP_HOME:$HADOOP_HOME/lib:$HBASE_HOME:$HBASE_HOME/lib:$CLASSPATH

  2. 复制$HADOOP_HOME下的hadoop-0.20.2-core.jar到$HBASE_HOME/lib下。并且删除(覆盖)原来的hadoop的版本。
  3. 修改$HBASE_HOME/conf/hbase-env.sh,添加如下内容:

    # The java implementation to use. Java 1.6 required.

    export JAVA_HOME=/usr/java/jdk1.7.0_51

    # Extra Java CLASSPATH elements. Optional.

    export HBASE_CLASSPATH=/home/hadoop/hadoop-0.20.2/conf

    # Tell HBase whether it should manage it's own instance of Zookeeper or not.

    export HBASE_MANAGES_ZK=true

    上面的红色字体为你的HADOOP_HOME路径

  4. 在HDFS中创建HBase的数据存放目录:

    hadoop fs –mkdir ~/hadoop-data/data/hbase

    hadoop fs -chmod -R 777 ~/hadoop-data/data/hbase

  5. 修改(文件若不存在则自己添加)$HBASE_HOME/conf下的hbase-site.xml为如下内容:

    <configuration>
    <property>
    <name>hbase.rootdir</name>
    <value>hdfs://hadoop:9000/home/hadoop/hadoop-data/data/hbase</value>
    <description>这里是HBase的数据文件存放地址,需要预先在hadoop中创建</description>
    </property>
    <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
    </property>
    <property>
    <name>hbase.zookeeper.quorum</name>
    <value>hadoop</value>
    <description>本机名</description>
    </property>
    </configuration>


启动HBase

启动HBase需要首先启动Hadoop,并且退出HDFS的安全模式。

$HADOOP_HOME/bin/start-all.sh

$HADOOP_HOME/bin/hadoop dfsadmin -safemode leave

$HBASE_HOME/bin/start-hbase.sh

启动成功后,进入HBase的Shell进行操作(这里是创建一张'test'表,用以测试HBase的安装成功与否):

$HBASE_HOME/bin/hbase shell

Create 'test','cf1','cf2'

如果看到了和我一样的结果,恭喜你,享受你的HBase之旅吧。

Hbase+Hadoop环境搭建

在Eclipse中运行HBase程序

  1. 复制$HBASE_HOME/lib中的所有jar到工程下(或者扩展添加方式)
  2. 复制$HBASE_HOME/confx/hbase-site.xml到src下。
  3. 如下代码:

    package org.xiaom.hadoop.hbase;
    import java.io.IOException;
    /**
    * 从HBase的'test'中读取数据,处理后存放到'word_count'中。
    * @authorhadoop
    *
    */
    publicclass ReadHBaseAndWriteToHDFS implements Tool {
    private Configuration conf = new Configuration();
    publicstaticclass Mapper extends TableMapper<ImmutableBytesWritable, Text>{
    protectedvoid map(ImmutableBytesWritable key, org.apache.hadoop.hbase.client.Result value, org.apache.hadoop.mapreduce.Mapper<ImmutableBytesWritable,org.apache.hadoop.hbase.client.Result,ImmutableBytesWritable,Text>.Context context) throws java.io.IOException ,InterruptedException {
    Iterator<byte[]> it=value.getMap().keySet().iterator();
    System.out.println(key.toString());
    while(it.hasNext()){
    System.out.println("\t"+new String(it.next())+":"+value.getMap().get(it.next()));
    }
    };
    }
    publicstaticclass SearchMapper extends TableMapper<ImmutableBytesWritable, Text> {
    protectedvoid map(ImmutableBytesWritable key, Result value,
    Context context) throws InterruptedException, IOException {
    System.out.println(value.toString());
    }
    }
    @Override
    publicvoid setConf(Configuration conf) {
    this.conf = conf;
    }
    
    @Override
    public Configuration getConf() {
    returnthis.conf;
    }
    
    @Override
    publicint run(String[] args) throws Exception {
    conf.set(TableInputFormat.INPUT_TABLE, "student");
    conf.set(TableOutputFormat.OUTPUT_TABLE, "test");
    conf.set("hbase.zookeeper.quorum", "hadoop");
    Job job=new Job(this.getConf());
    job.setJobName("read-write-hbase");
    job.setJarByClass(ReadHBaseAndWriteToHDFS.class);
    job.setInputFormatClass(TableInputFormat.class);
    job.setOutputFormatClass(TableOutputFormat.class);
    
    job.setMapOutputKeyClass(Text.class);
    job.setMapOutputValueClass(IntWritable.class);
    
    job.setOutputKeyClass(ImmutableBytesWritable.class);
    job.setOutputValueClass(ImmutableBytesWritable.class);
    
    job.setMapperClass(SearchMapper.class);
    // InitTestData.initData(conf);
    // return 0;
    return job.waitForCompletion(true)?1:0;
    }
    publicstaticvoid main(String[] args) throws Exception {
    System.exit(new ReadHBaseAndWriteToHDFS().run(args));
    
    }
    }


  4. 直接尼玛run as java application

一些小提示

  • 这是我的hosts文件,这个东西配置不恰当会导致 Eclipse的Hadoop插件无法连接HDFS

    Hbase+Hadoop环境搭建

  • 这是我的~/.bashrc文件,我把JDK、Hadoop、Hive、HBase的启动路径都添加到了PATH里面,这样以后就可以在终端中直接运行这些命令了。

    Hbase+Hadoop环境搭建

  • 遇到问题一定要看$HBASE_HOME/logs下的日志记录。

你可能感兴趣的:(hadoop)