Alex 的 Hadoop 菜鸟教程: 第8课 Hbase 的 java调用方法
原帖地址： http://blog.csdn.net/nsrainbow/article/details/42649249 最新课程请关注原作者博客，获得更好的显示体验
声明
- 本文基于Centos 6.x + CDH 5.x
- 本例中 Hbase 是安装成集群模式的
- 本文基于Maven3.5+ 和 Eclipse 4.3
- 教程后的参考资料建议大家一定要看下
我们搭建hbase并不是要用shell来查数据的，我们是要写基于hbase的应用的，所以学习如何使用java来调用hbase是必修课。
环境搭建
建立项目
打开Eclipse 建立一个Maven项目，archetype选quickstart，项目的artifactId 和 groupId 随便起
修改一下pom.xml 修改jdk为1.6+ ，并且引入hadoop相关jar包
4.0.0
org.crazycake
playhbase
0.0.1-SNAPSHOT
jar
playhbase
http://maven.apache.org
UTF-8
${basedir}/conf
false
hbase-site.xml
junit
junit
3.8.1
test
org.apache.hbase
hbase-client
0.98.4-hadoop2
maven-compiler-plugin
2.0.2
1.6
1.6
UTF-8
true
-nowarn
org.apache.maven.plugins
maven-shade-plugin
2.3
package
shade
- 除了引入Hbase 的Jar包以外，还引入了一个maven插件叫 maven-shade-plugin ，这个插件可以防止出现“证书重复问题”，重复的证书文件会造成HDInsight集群在运行报错。
- 配置中还增加了一个resource，这个resource引用了一个配置文件hbase-site.xml，在这里写上hbase的连接信息
建立配置文件
建立src/main/resources 文件夹，并添加到源文件夹，并在文件夹内建立一个 hbase-site.xml 文件，内容是
hbase.cluster.distributed
true
hbase.zookeeper.quorum
host1,host2
hbase.zookeeper.property.clientPort
2181
这个host1 跟 host2 就是你安装zookeeper的机器，因为我只装了两台机器，所以只有host1 和 host2，正常情况下至少是要3个，并且是奇数个增长
操作
创建表并插入数据
创建一类叫 CreateTable.java 这个例子来自 ： http://azure.microsoft.com/en-us/documentation/articles/hdinsight-hbase-build-java-maven/?rnd=1 我做了翻译
package org.crazycake.playhbase;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.MasterNotRunningException;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.ZooKeeperConnectionException;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.util.Bytes;
public class CreateTable {
public static void main(String[] args) throws MasterNotRunningException, ZooKeeperConnectionException, IOException {
Configuration config = HBaseConfiguration.create();
// 这边注释起来的是动态设定zookeeper参数的方法，如果你没有hbase-site.xml 或者想动态改变
// 可以采用动态方式设定
//
// config.set("hbase.zookeeper.quorum",
// "zookeepernode0,zookeepernode1,zookeepernode2");
//config.set("hbase.zookeeper.property.clientPort", "2181");
//config.set("hbase.cluster.distributed", "true");
// 使用配置文件创建一个 admin 对象
HBaseAdmin admin = new HBaseAdmin(config);
// 创建表
HTableDescriptor tableDescriptor = new HTableDescriptor(TableName.valueOf("people"));
// 创建2个列簇
tableDescriptor.addFamily(new HColumnDescriptor("name"));
tableDescriptor.addFamily(new HColumnDescriptor("contactinfo"));
admin.createTable(tableDescriptor);
// 接下来搞点数据进去呗
String[][] people = {
{ "1", "Marcel", "Haddad", "[email protected]"},
{ "2", "Franklin", "Holtz", "[email protected]" },
{ "3", "Dwayne", "McKee", "[email protected]" },
{ "4", "Rae", "Schroeder", "[email protected]" },
{ "5", "Rosalie", "burton", "[email protected]"},
{ "6", "Gabriela", "Ingram", "[email protected]"} };
HTable table = new HTable(config, "people");
// 把这些数据插入到表里面
for (int i = 0; i< people.length; i++) {
//第一列做rowkey
Put person = new Put(Bytes.toBytes(people[i][0]));
//把 Marcel 放到 name 这个列簇的 first 这个字段去
person.add(Bytes.toBytes("name"), Bytes.toBytes("first"), Bytes.toBytes(people[i][1]));
person.add(Bytes.toBytes("name"), Bytes.toBytes("last"), Bytes.toBytes(people[i][2]));
person.add(Bytes.toBytes("contactinfo"), Bytes.toBytes("email"), Bytes.toBytes(people[i][3]));
table.put(person);
}
// 最后要记得提交和关闭表
table.flushCommits();
table.close();
}
}
注意：在运行前，先用hbase shell 连上去，然后运行list 命令，看看是否正常，如果不正常就用jps看看是否hbase和hadoop的那些服务都启动起来了，把该起的都给起了。不然java运行了出错了，都不知道错在哪里再代码上瞎找原因浪费时间
一切就绪后，运行代码！
如果你的代码长时间卡主，不要傻等，去hbase部署的机器上看日志 ：
tail -200f /var/log/hbase/hbase-hbase-master-host1.localdomain.loghbase(main):003:0> scan 'people'
ROW COLUMN+CELL
1 column=contactinfo:email, timestamp=1421338694666, [email protected]
1 column=name:first, timestamp=1421338694666, value=Marcel
1 column=name:last, timestamp=1421338694666, value=Haddad
2 column=contactinfo:email, timestamp=1421338694932, [email protected]
2 column=name:first, timestamp=1421338694932, value=Franklin
2 column=name:last, timestamp=1421338694932, value=Holtz
3 column=contactinfo:email, timestamp=1421338694977, [email protected]
3 column=name:first, timestamp=1421338694977, value=Dwayne
3 column=name:last, timestamp=1421338694977, value=McKee
4 column=contactinfo:email, timestamp=1421338695034, [email protected]
4 column=name:first, timestamp=1421338695034, value=Rae
4 column=name:last, timestamp=1421338695034, value=Schroeder
5 column=contactinfo:email, timestamp=1421338695054, [email protected]
5 column=name:first, timestamp=1421338695054, value=Rosalie
5 column=name:last, timestamp=1421338695054, value=burton
6 column=contactinfo:email, timestamp=1421338695076, [email protected]
6 column=name:first, timestamp=1421338695076, value=Gabriela
6 column=name:last, timestamp=1421338695076, value=Ingram
6 row(s) in 0.3910 seconds根据email来搜索
建立一个SearchByEmail类
package org.crazycake.playhbase;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp;
import org.apache.hadoop.hbase.filter.RegexStringComparator;
import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;
import org.apache.hadoop.hbase.util.Bytes;
/**
* 根据email 来搜索用户
* @author alexxiyang (https://github.com/alexxiyang)
*
*/
public class SearchByEmail {
public static void main(String[] args) throws IOException {
//创建配置
Configuration config = HBaseConfiguration.create();
// 打开表
HTable table = new HTable(config, "people");
//定义一系列要用到的列簇和列
// 定义列簇
byte[] contactFamily = Bytes.toBytes("contactinfo");
// 列
byte[] emailQualifier = Bytes.toBytes("email");
//列簇
byte[] nameFamily = Bytes.toBytes("name");
//列
byte[] firstNameQualifier = Bytes.toBytes("first");
byte[] lastNameQualifier = Bytes.toBytes("last");
// 创建一个正则表达式的比较器
RegexStringComparator emailFilter = new RegexStringComparator("[email protected]");
// 创建一个filter，把这个正则比较器传进去
SingleColumnValueFilter filter = new SingleColumnValueFilter(contactFamily, emailQualifier, CompareOp.EQUAL, emailFilter);
// 创建一个 scan对象
Scan scan = new Scan();
//把filter 传进去
scan.setFilter(filter);
// 开始查询，并获取结果
ResultScanner results = table.getScanner(scan);
// 遍历结果打印数据
for (Result result : results) {
String id = new String(result.getRow());
byte[] firstNameObj = result.getValue(nameFamily, firstNameQualifier);
String firstName = new String(firstNameObj);
byte[] lastNameObj = result.getValue(nameFamily, lastNameQualifier);
String lastName = new String(lastNameObj);
System.out.println(firstName + " " + lastName + " - ID: " + id);
byte[] emailObj = result.getValue(contactFamily, emailQualifier);
String email = new String(emailObj);
System.out.println(firstName + " " + lastName + " - " + email + " - ID: " + id);
}
//关闭结果
results.close();
//关闭表
table.close();
}
}
Rosalie burton - ID: 5
Rosalie burton - [email protected] - ID: 5删除表
建立 DeleteTable 类
package org.crazycake.playhbase;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.HBaseAdmin;
/**
* 删除表
* @author alexxiyang (https://github.com/alexxiyang)
*
*/
public class DeleteTable {
public static void main(String[] args) throws IOException {
//创建配置
Configuration config = HBaseConfiguration.create();
// 建立 admin
HBaseAdmin admin = new HBaseAdmin(config);
// 先 disable 表，再delete
admin.disableTable("people");
admin.deleteTable("people");
}
}去hbase检查下结果
hbase(main):004:0> list
TABLE
employee
employee2
student
users
4 row(s) in 4.8460 seconds
=> ["employee", "employee2", "student", "users"]people表没有了
我遇到的问题
中间有一个小插曲，浪费了我一天的时间：
一开始我照这个教程 http://azure.microsoft.com/en-us/documentation/articles/hdinsight-hbase-build-java-maven/?rnd=1 做的时候发现我运行了代码发现长时间卡主，我就去hbase-master机器上看下日志，没有任何异常。
又到RegionServer 所在机器上看了下日志，没有任何异常。
然后我觉得可能hbase出了什么问题，我先停掉程序用hbase shell操作一下试试看，建了一个表，插入了一条数据，一切正常
hbase(main):002:0> create 'users','info'
0 row(s) in 36.5110 seconds
=> Hbase::Table - users
hbase(main):003:0> list
TABLE
employee
employee2
student
users
4 row(s) in 0.4520 seconds
=> ["employee", "employee2", "student", "users"]
hbase(main):004:0> put 'users',1,'info:name','ted'
0 row(s) in 0.8350 seconds
hbase(main):005:0> scan 'users'
ROW COLUMN+CELL
1 column=info:name, timestamp=1421252020520, value=ted
1 row(s) in 0.3140 seconds这样问题就有可能出在zookeeper上了，因为你的java API 不是直接跟hbase交互的，是先通过zookeeper交互，所以我就去看下zookeeper的日志，我用tail监听zookeeper日志
tail -200f /var/log/zookeeper/zookeeper.log
然后我运行java代码，看下zookeeper有没有报什么异常，不过很令我失望，zookeeper什么都没有报
用telnet来连接两台zookeeper机器也都ok，未发现问题。
我没办法只好用最土的方法，直接调试到源代码内部，发现了卡在了检测zookeeper是否可用的代码上
这里出现了一个localhost
联想到我在hbase 管理界面 (host1:60010)上看到的
估计是这个localhost有问题吧，造成java程序检测本机的2181，这样肯定会卡住的。
然后我去检查我的 host1 上的hbase-site.xml 文件，发现果然没有配置 hbase.zookeeper.quorum 这个参数，于是我配置上这个参数，然后重启hbase-master，再访问 host1:60010
这下比较像样了，然后我再去运行java代码，发现还是卡主！断点到checkIfBaseNodeAvailable发现获取到的配置还是localhost:2181！看来问题在于配置文件的解析上了。
继续断点配置文件的解析。
然后我就发现程序读取的配置文件居然不是hbase-site.xml 而是 zoo.cfg，这是怎么回事？！我看了下官方文档 “HBase 会优先加载 zoo.cfg 里面的配置，把hbase-site.xml里面的覆盖掉.” ，卧槽！既然这样，我就把 zookeeper 的配置文件zoo.cfg 干脆拷贝到 conf 文件夹下，再试试看。还是不行。
然后我突然想到这个hbase-site.xml根本没有加入编译，咋会被java读取到呢？所以我果断不理教程，自己建立了 resources 文件夹，并把这个文件塞到这个目录下，再运行就成了！
参考资料
- Use Maven to build Java applications that use HBase with HDInsight (Hadoop)