Hbase+Hadoop环境搭建

前言

每一颗璀璨的钻石，都曾被泥土和杂草埋没过，但正是因为这些，它才显得弥足珍贵。——我自己。

本文不打算介绍HBase的任何资料，旨在通过简洁明了的叙述，在最短时间内搭建一个可以运行的伪分布式环境。

下载HBase

从Apache官网下载hbase-0.92.1，解压到linux用户目录中。并且设置权限

tar -zxvf /mnt/hgfs/PublicData/hbase-0.92.1.tar.gz -C~/hadoop-data

chmod -R 777 ~/hbase-0.92.1

配置HBase

1. 修改~/.bashrc文件，添加（ 可能需要去掉HIVE相关的部分）：

   export JAVA_HOME=/usr/java/jdk1.7.0_51

   export HADOOP_HOME=/home/hadoop/hadoop-0.20.2

   export HIVE_HOME=/home/hadoop/hive-0.6.0

   export HBASE_HOME=/home/hadoop/hbase-0.92.1

   export PATH=$HIVE_HOME/bin/:$HBASE_HOME/bin/:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

   export CLASSPATH=$HADOOP_HOME:$HADOOP_HOME/lib:$HBASE_HOME:$HBASE_HOME/lib:$CLASSPATH

2. 复制$HADOOP_HOME下的hadoop-0.20.2-core.jar到$HBASE_HOME/lib下。并且删除（覆盖）原来的hadoop的版本。
3. 修改$HBASE_HOME/conf/hbase-env.sh，添加如下内容：

   # The java implementation to use. Java 1.6 required.

   export JAVA_HOME=/usr/java/jdk1.7.0_51

   # Extra Java CLASSPATH elements. Optional.

   export HBASE_CLASSPATH=/home/hadoop/hadoop-0.20.2/conf

   # Tell HBase whether it should manage it's own instance of Zookeeper or not.

   export HBASE_MANAGES_ZK=true

   上面的红色字体为你的HADOOP_HOME路径

4. 在HDFS中创建HBase的数据存放目录：

   hadoop fs –mkdir ~/hadoop-data/data/hbase

   hadoop fs -chmod -R 777 ~/hadoop-data/data/hbase

5. 修改（文件若不存在则自己添加）$HBASE_HOME/conf下的hbase-site.xml为如下内容：

   <configuration>
   <property>
   <name>hbase.rootdir</name>
   <value>hdfs://hadoop:9000/home/hadoop/hadoop-data/data/hbase</value>
   <description>这里是HBase的数据文件存放地址，需要预先在hadoop中创建</description>
   </property>
   <property>
   <name>hbase.cluster.distributed</name>
   <value>true</value>
   </property>
   <property>
   <name>hbase.zookeeper.quorum</name>
   <value>hadoop</value>
   <description>本机名</description>
   </property>
   </configuration>

   
   
   

启动HBase

启动HBase需要首先启动Hadoop，并且退出HDFS的安全模式。

$HADOOP_HOME/bin/start-all.sh

$HADOOP_HOME/bin/hadoop dfsadmin -safemode leave

$HBASE_HOME/bin/start-hbase.sh

启动成功后，进入HBase的Shell进行操作（这里是创建一张'test'表，用以测试HBase的安装成功与否）：

$HBASE_HOME/bin/hbase shell

Create 'test','cf1','cf2'

如果看到了和我一样的结果，恭喜你，享受你的HBase之旅吧。

在Eclipse中运行HBase程序

1. 复制$HBASE_HOME/lib中的所有jar到工程下（或者扩展添加方式）
2. 复制$HBASE_HOME/confx/hbase-site.xml到src下。
3. 如下代码：

   package org.xiaom.hadoop.hbase;
   import java.io.IOException;
   /**
   * 从HBase的'test'中读取数据，处理后存放到'word_count'中。
   * @authorhadoop
   *
   */
   publicclass ReadHBaseAndWriteToHDFS implements Tool {
   private Configuration conf = new Configuration();
   publicstaticclass Mapper extends TableMapper<ImmutableBytesWritable, Text>{
   protectedvoid map(ImmutableBytesWritable key, org.apache.hadoop.hbase.client.Result value, org.apache.hadoop.mapreduce.Mapper<ImmutableBytesWritable,org.apache.hadoop.hbase.client.Result,ImmutableBytesWritable,Text>.Context context) throws java.io.IOException ,InterruptedException {
   Iterator<byte[]> it=value.getMap().keySet().iterator();
   System.out.println(key.toString());
   while(it.hasNext()){
   System.out.println("\t"+new String(it.next())+":"+value.getMap().get(it.next()));
   }
   };
   }
   publicstaticclass SearchMapper extends TableMapper<ImmutableBytesWritable, Text> {
   protectedvoid map(ImmutableBytesWritable key, Result value,
   Context context) throws InterruptedException, IOException {
   System.out.println(value.toString());
   }
   }
   @Override
   publicvoid setConf(Configuration conf) {
   this.conf = conf;
   }
   
   @Override
   public Configuration getConf() {
   returnthis.conf;
   }
   
   @Override
   publicint run(String[] args) throws Exception {
   conf.set(TableInputFormat.INPUT_TABLE, "student");
   conf.set(TableOutputFormat.OUTPUT_TABLE, "test");
   conf.set("hbase.zookeeper.quorum", "hadoop");
   Job job=new Job(this.getConf());
   job.setJobName("read-write-hbase");
   job.setJarByClass(ReadHBaseAndWriteToHDFS.class);
   job.setInputFormatClass(TableInputFormat.class);
   job.setOutputFormatClass(TableOutputFormat.class);
   
   job.setMapOutputKeyClass(Text.class);
   job.setMapOutputValueClass(IntWritable.class);
   
   job.setOutputKeyClass(ImmutableBytesWritable.class);
   job.setOutputValueClass(ImmutableBytesWritable.class);
   
   job.setMapperClass(SearchMapper.class);
   // InitTestData.initData(conf);
   // return 0;
   return job.waitForCompletion(true)?1:0;
   }
   publicstaticvoid main(String[] args) throws Exception {
   System.exit(new ReadHBaseAndWriteToHDFS().run(args));
   
   }
   }

   
   
   

4. 直接尼玛run as java application

一些小提示

• 这是我的hosts文件，这个东西配置不恰当会导致 Eclipse的Hadoop插件无法连接HDFS

  

• 这是我的~/.bashrc文件，我把JDK、Hadoop、Hive、HBase的启动路径都添加到了PATH里面，这样以后就可以在终端中直接运行这些命令了。

  

• 遇到问题一定要看$HBASE_HOME/logs下的日志记录。