1.
配置kafkaSpout,通过KafkaSpout获取Kafka集群中的数据
//从zookeeper动态读取broker
BrokerHosts hosts = new ZkHosts("172.17.11.120:2181,172.17.11.117:2181,172.17.11.118:2181");
String topic="TOPIC-STORM-HBASE";
String zkRoot="/storm";//用于存储当前处理到哪个Offset
SpoutConfig spoutConfig = new SpoutConfig(hosts, topic, zkRoot, SPOUTID);
spoutConfig.scheme = new SchemeAsMultiScheme(new StringScheme());//如何解码数据
KafkaSpout kafkaSpout = new KafkaSpout(spoutConfig);
2.
实现一个Bolt用于切割字符串并记录每个单词出现的次数,关键代码
@Override
public void execute(Tuple input) {
String line=input.getString(0);
String[] words=line.split(" ");
for(String word:words){
if (!word.equals("")){
// this.collector.emit(tuple(word,1));
if(map.containsKey(word)){
map.put(word,map.get(word)+1);
}else {
map.put(word,1);
}
}
}
for (Map.Entry e:map.entrySet()){
this.collector.emit(tuple(e.getKey(),e.getValue().toString()));
}
this.collector.ack(input);
}
@Override
public void declareOutputFields(OutputFieldsDeclarer declarer) {
declarer.declare(new Fields("word", "count"));
}
使用计数器
在Topology中
SimpleHBaseMapper mapper = new SimpleHBaseMapper()
.withRowKeyField("word")
.withCounterFields(new Fields("count"))
//.withColumnFields(new Fields("count"))
.withColumnFamily("result");
在Bolt中可以直接传送分割后的字符串,count为1
this.collector.emit(tuple(word,1));
3.
配置HBase,存储storm输出的实时数据
Config config = new Config();
config.setDebug(true);
Map hbConf = new HashMap();
hbConf.put("hbase.rootdir","hdfs://master:9000/hbase");
hbConf.put("hbase.zookeeper.quorum","master,slave1,slave2");//不加入该项配置,会出现连接到HBase失败的错误
config.put("hbase.conf", hbConf);
SimpleHBaseMapper mapper = new SimpleHBaseMapper()
.withRowKeyField("word")
.withColumnFields(new Fields("count"))
.withColumnFamily("result");
HBaseBolt hbase = new HBaseBolt("Wordcount", mapper)
.withConfigKey("hbase.conf");
4.
在Topology中加入spout,bolt
TopologyBuilder builder=new TopologyBuilder();
builder.setSpout(SPOUTID,new KafkaSpout(spoutConfig),1);
builder.setBolt(COUNT_BOLT,bolt,1).shuffleGrouping(SPOUTID);
builder.setBolt(HBASE_BOLT,hbase,1).fieldsGrouping(COUNT_BOLT,new Fields("word"));
没有指定拓扑名,在控制台运行,并不提交
bin/storm jar examples/Storm-Case-02-0.0.1-SNAPSHOT.jar com.horizon.storm.kafkahbase.KHTopology
指定拓扑名,提交运行
bin/storm jar examples/Storm-Case-02-0.0.1-SNAPSHOT.jar com.horizon.storm.kafkahbase.KHTopology KHTopology
Topology成功提交运行
测试一下,在Kafka启动的Producer中输入
在HBase中查看表,可以看到新生产的数据已经加入,及对应的value
之前的测试扔进去一大段话,所以表中显示这么多,但是可以发现HBase存储的value类型为十六进制
修改Bolt中传递到HBaseBolt的数据类型为String,可以使在HBase表中查看的效果为十进制
this.collector.emit(tuple(e.getKey(),e.getValue().toString()));
1.
jar包的依赖中含有配置文件,和集群环境中的配置文件冲突
删掉jar包中的文件即可
2.
本地模式无法保存Offset,参考http://blog.csdn.net/xeseo/article/details/18615761
原因:KafkaSpout初始化时,会去取spoutConfig.zkServers 和 spoutConfig.zkPort 变量的值,而该值默认是没塞的,所以是空,那么它就会去取当前运行的Storm所配置的zookeeper地址和端口,而本地运行的Storm,是一个临时的zookeeper实例,并不会真正持久化。所以,每次关闭后,数据就没了。本地模式,要显示的去配置
spoutConfig.zkServers = new ArrayList(){{
add("10.1.110.20");
add("10.1.110.21");
add("10.1.110.24");
}};
spoutConfig.zkPort = 2181;
Scheme解码方式是与Producer端生成时加入数据的编码方式配套的
public class MyKHScheme implements Scheme{
@Override
public List
修改Topology中scheme为自定义的scheme
spoutConfig.scheme = new SchemeAsMultiScheme(new MyKHScheme());
在Bolt中测试一下读入的数据
正确打印出我想要的数据格式(可以改成错误的试试,我试过了)
HBase相关操作 看这里
Kafka相关操作看这里
完整代码看我的GitHub