Alex 的 Hadoop 菜鸟教程: 第8课 Hbase 的 java调用方法
原帖地址： http://blog.csdn.net/nsrainbow/article/details/42649249 最新课程请关注原作者博客，获得更好的显示体验
声明
- 本文基于Centos 6.x + CDH 5.x
- 本例中 Hbase 是安装成集群模式的
- 本文基于Maven3.5+ 和 Eclipse 4.3
- 教程后的参考资料建议大家一定要看下
我们搭建hbase并不是要用shell来查数据的，我们是要写基于hbase的应用的，所以学习如何使用java来调用hbase是必修课。
环境搭建
建立项目
打开Eclipse 建立一个Maven项目，archetype选quickstart，项目的artifactId 和 groupId 随便起
修改一下pom.xml 修改jdk为1.6+ ，并且引入hadoop相关jar包
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>org.crazycake</groupId>
<artifactId>playhbase</artifactId>
<version>0.0.1-SNAPSHOT</version>
<packaging>jar</packaging>
<name>playhbase</name>
<url>http://maven.apache.org</url>
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>
<resources>
<resource>
<directory>${basedir}/conf</directory>
<filtering>false</filtering>
<includes>
<include>hbase-site.xml</include>
</includes>
</resource>
</resources>
<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>3.8.1</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>0.98.4-hadoop2</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<artifactId>maven-compiler-plugin</artifactId>
<version>2.0.2</version>
<configuration>
<source>1.6</source>
<target>1.6</target>
<encoding>UTF-8</encoding>
<optimise>true</optimise>
<compilerArgument>-nowarn</compilerArgument>
</configuration>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>2.3</version>
<configuration>
<transformers>
<transformer
implementation="org.apache.maven.plugins.shade.resource.ApacheLicenseResourceTransformer">
</transformer>
</transformers>
</configuration>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
</project>
- 除了引入Hbase 的Jar包以外，还引入了一个maven插件叫 maven-shade-plugin ，这个插件可以防止出现“证书重复问题”，重复的证书文件会造成HDInsight集群在运行报错。
- 配置中还增加了一个resource，这个resource引用了一个配置文件hbase-site.xml，在这里写上hbase的连接信息
建立配置文件
建立src/main/resources 文件夹，并添加到源文件夹，并在文件夹内建立一个 hbase-site.xml 文件，内容是
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
/**
* Copyright 2010 The Apache Software Foundation
*
* Licensed to the Apache Software Foundation (ASF) under one
* or more contributor license agreements. See the NOTICE file
* distributed with this work for additional information
* regarding copyright ownership. The ASF licenses this file
* to you under the Apache License, Version 2.0 (the
* "License"); you may not use this file except in compliance
* with the License. You may obtain a copy of the License at
*
* http://www.apache.org/licenses/LICENSE-2.0
*
* Unless required by applicable law or agreed to in writing, software
* distributed under the License is distributed on an "AS IS" BASIS,
* WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
* See the License for the specific language governing permissions and
* limitations under the License.
*/
-->
<configuration>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>host1,host2</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
</configuration>
这个host1 跟 host2 就是你安装zookeeper的机器，因为我只装了两台机器，所以只有host1 和 host2，正常情况下至少是要3个，并且是奇数个增长
操作
创建表并插入数据
创建一类叫 CreateTable.java 这个例子来自 ： http://azure.microsoft.com/en-us/documentation/articles/hdinsight-hbase-build-java-maven/?rnd=1 我做了翻译
package org.crazycake.playhbase;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.MasterNotRunningException;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.ZooKeeperConnectionException;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.util.Bytes;
public class CreateTable {
public static void main(String[] args) throws MasterNotRunningException, ZooKeeperConnectionException, IOException {
Configuration config = HBaseConfiguration.create();
// 这边注释起来的是动态设定zookeeper参数的方法，如果你没有hbase-site.xml 或者想动态改变
// 可以采用动态方式设定
//
// config.set("hbase.zookeeper.quorum",
// "zookeepernode0,zookeepernode1,zookeepernode2");
//config.set("hbase.zookeeper.property.clientPort", "2181");
//config.set("hbase.cluster.distributed", "true");
// 使用配置文件创建一个 admin 对象
HBaseAdmin admin = new HBaseAdmin(config);
// 创建表
HTableDescriptor tableDescriptor = new HTableDescriptor(TableName.valueOf("people"));
// 创建2个列簇
tableDescriptor.addFamily(new HColumnDescriptor("name"));
tableDescriptor.addFamily(new HColumnDescriptor("contactinfo"));
admin.createTable(tableDescriptor);
// 接下来搞点数据进去呗
String[][] people = {
{ "1", "Marcel", "Haddad", "[email protected]"},
{ "2", "Franklin", "Holtz", "[email protected]" },
{ "3", "Dwayne", "McKee", "[email protected]" },
{ "4", "Rae", "Schroeder", "[email protected]" },
{ "5", "Rosalie", "burton", "[email protected]"},
{ "6", "Gabriela", "Ingram", "[email protected]"} };
HTable table = new HTable(config, "people");
// 把这些数据插入到表里面
for (int i = 0; i< people.length; i++) {
//第一列做rowkey
Put person = new Put(Bytes.toBytes(people[i][0]));
//把 Marcel 放到 name 这个列簇的 first 这个字段去
person.add(Bytes.toBytes("name"), Bytes.toBytes("first"), Bytes.toBytes(people[i][1]));
person.add(Bytes.toBytes("name"), Bytes.toBytes("last"), Bytes.toBytes(people[i][2]));
person.add(Bytes.toBytes("contactinfo"), Bytes.toBytes("email"), Bytes.toBytes(people[i][3]));
table.put(person);
}
// 最后要记得提交和关闭表
table.flushCommits();
table.close();
}
}
注意：在运行前，先用hbase shell 连上去，然后运行list 命令，看看是否正常，如果不正常就用jps看看是否hbase和hadoop的那些服务都启动起来了，把该起的都给起了。不然java运行了出错了，都不知道错在哪里再代码上瞎找原因浪费时间
一切就绪后，运行代码！
如果你的代码长时间卡主，不要傻等，去hbase部署的机器上看日志 ：
tail -200f /var/log/hbase/hbase-hbase-master-host1.localdomain.log
hbase(main):003:0> scan 'people' ROW COLUMN+CELL 1 column=contactinfo:email, timestamp=1421338694666, [email protected] 1 column=name:first, timestamp=1421338694666, value=Marcel 1 column=name:last, timestamp=1421338694666, value=Haddad 2 column=contactinfo:email, timestamp=1421338694932, [email protected] 2 column=name:first, timestamp=1421338694932, value=Franklin 2 column=name:last, timestamp=1421338694932, value=Holtz 3 column=contactinfo:email, timestamp=1421338694977, [email protected] 3 column=name:first, timestamp=1421338694977, value=Dwayne 3 column=name:last, timestamp=1421338694977, value=McKee 4 column=contactinfo:email, timestamp=1421338695034, [email protected] 4 column=name:first, timestamp=1421338695034, value=Rae 4 column=name:last, timestamp=1421338695034, value=Schroeder 5 column=contactinfo:email, timestamp=1421338695054, [email protected] 5 column=name:first, timestamp=1421338695054, value=Rosalie 5 column=name:last, timestamp=1421338695054, value=burton 6 column=contactinfo:email, timestamp=1421338695076, [email protected] 6 column=name:first, timestamp=1421338695076, value=Gabriela 6 column=name:last, timestamp=1421338695076, value=Ingram 6 row(s) in 0.3910 seconds
根据email来搜索
建立一个SearchByEmail类
package org.crazycake.playhbase;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp;
import org.apache.hadoop.hbase.filter.RegexStringComparator;
import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;
import org.apache.hadoop.hbase.util.Bytes;
/**
* 根据email 来搜索用户
* @author alexxiyang (https://github.com/alexxiyang)
*
*/
public class SearchByEmail {
public static void main(String[] args) throws IOException {
//创建配置
Configuration config = HBaseConfiguration.create();
// 打开表
HTable table = new HTable(config, "people");
//定义一系列要用到的列簇和列
// 定义列簇
byte[] contactFamily = Bytes.toBytes("contactinfo");
// 列
byte[] emailQualifier = Bytes.toBytes("email");
//列簇
byte[] nameFamily = Bytes.toBytes("name");
//列
byte[] firstNameQualifier = Bytes.toBytes("first");
byte[] lastNameQualifier = Bytes.toBytes("last");
// 创建一个正则表达式的比较器
RegexStringComparator emailFilter = new RegexStringComparator("[email protected]");
// 创建一个filter，把这个正则比较器传进去
SingleColumnValueFilter filter = new SingleColumnValueFilter(contactFamily, emailQualifier, CompareOp.EQUAL, emailFilter);
// 创建一个 scan对象
Scan scan = new Scan();
//把filter 传进去
scan.setFilter(filter);
// 开始查询，并获取结果
ResultScanner results = table.getScanner(scan);
// 遍历结果打印数据
for (Result result : results) {
String id = new String(result.getRow());
byte[] firstNameObj = result.getValue(nameFamily, firstNameQualifier);
String firstName = new String(firstNameObj);
byte[] lastNameObj = result.getValue(nameFamily, lastNameQualifier);
String lastName = new String(lastNameObj);
System.out.println(firstName + " " + lastName + " - ID: " + id);
byte[] emailObj = result.getValue(contactFamily, emailQualifier);
String email = new String(emailObj);
System.out.println(firstName + " " + lastName + " - " + email + " - ID: " + id);
}
//关闭结果
results.close();
//关闭表
table.close();
}
}
运行结果
Rosalie burton - ID: 5 Rosalie burton - [email protected] - ID: 5
删除表
建立 DeleteTable 类
package org.crazycake.playhbase;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.HBaseAdmin;
/**
* 删除表
* @author alexxiyang (https://github.com/alexxiyang)
*
*/
public class DeleteTable {
public static void main(String[] args) throws IOException {
//创建配置
Configuration config = HBaseConfiguration.create();
// 建立 admin
HBaseAdmin admin = new HBaseAdmin(config);
// 先 disable 表，再delete
admin.disableTable("people");
admin.deleteTable("people");
}
}
去hbase检查下结果
hbase(main):004:0> list TABLE employee employee2 student users 4 row(s) in 4.8460 seconds => ["employee", "employee2", "student", "users"]
people表没有了
我遇到的问题
中间有一个小插曲，浪费了我一天的时间：
一开始我照这个教程 http://azure.microsoft.com/en-us/documentation/articles/hdinsight-hbase-build-java-maven/?rnd=1 做的时候发现我运行了代码发现长时间卡主，我就去hbase-master机器上看下日志，没有任何异常。
又到RegionServer 所在机器上看了下日志，没有任何异常。
然后我觉得可能hbase出了什么问题，我先停掉程序用hbase shell操作一下试试看，建了一个表，插入了一条数据，一切正常
hbase(main):002:0> create 'users','info' 0 row(s) in 36.5110 seconds => Hbase::Table - users hbase(main):003:0> list TABLE employee employee2 student users 4 row(s) in 0.4520 seconds => ["employee", "employee2", "student", "users"] hbase(main):004:0> put 'users',1,'info:name','ted' 0 row(s) in 0.8350 seconds hbase(main):005:0> scan 'users' ROW COLUMN+CELL 1 column=info:name, timestamp=1421252020520, value=ted 1 row(s) in 0.3140 seconds
这样问题就有可能出在zookeeper上了，因为你的java API 不是直接跟hbase交互的，是先通过zookeeper交互，所以我就去看下zookeeper的日志，我用tail监听zookeeper日志
tail -200f /var/log/zookeeper/zookeeper.log
然后我运行java代码，看下zookeeper有没有报什么异常，不过很令我失望，zookeeper什么都没有报
用telnet来连接两台zookeeper机器也都ok，未发现问题。
我没办法只好用最土的方法，直接调试到源代码内部，发现了卡在了检测zookeeper是否可用的代码上
这里出现了一个localhost
联想到我在hbase 管理界面 (host1:60010)上看到的
估计是这个localhost有问题吧，造成java程序检测本机的2181，这样肯定会卡住的。
然后我去检查我的 host1 上的hbase-site.xml 文件，发现果然没有配置 hbase.zookeeper.quorum 这个参数，于是我配置上这个参数，然后重启hbase-master，再访问 host1:60010
这下比较像样了，然后我再去运行java代码，发现还是卡主！断点到checkIfBaseNodeAvailable发现获取到的配置还是localhost:2181！看来问题在于配置文件的解析上了。
继续断点配置文件的解析。
然后我就发现程序读取的配置文件居然不是hbase-site.xml 而是 zoo.cfg，这是怎么回事？！我看了下官方文档 “HBase 会优先加载 zoo.cfg 里面的配置，把hbase-site.xml里面的覆盖掉.” ，卧槽！既然这样，我就把 zookeeper 的配置文件zoo.cfg 干脆拷贝到 conf 文件夹下，再试试看。还是不行。
然后我突然想到这个hbase-site.xml根本没有加入编译，咋会被java读取到呢？所以我果断不理教程，自己建立了 resources 文件夹，并把这个文件塞到这个目录下，再运行就成了！
参考资料
- Use Maven to build Java applications that use HBase with HDInsight (Hadoop)