kafka整合strom代码实例讲解

strom整合kafka关键就是以strom中的spout当作kafka的消费者来接收生产者传入的数据。

画一个简单的图：

好了，接下来我们直接上代码！

1，先写一个main方法，作为消费者来接受生产者数据。

package cn.itcast.storm.topology;

import storm.kafka.BrokerHosts;
import storm.kafka.KafkaSpout;
import storm.kafka.SpoutConfig;
import storm.kafka.ZkHosts;
import backtype.storm.Config;
import backtype.storm.LocalCluster;
import backtype.storm.StormSubmitter;
import backtype.storm.spout.SchemeAsMultiScheme;
import backtype.storm.topology.TopologyBuilder;
import backtype.storm.tuple.Fields;
import cn.itcast.storm.bolt.WordSpliter;
import cn.itcast.storm.bolt.WriterBolt;
import cn.itcast.storm.spout.MessageScheme;
	
public class KafkaTopo {

	public static void main(String[] args) throws Exception {
		String topic = "kafkaStrom"; //执行要消费的topic
		String zkRoot = "/kafka-storm";
		String spoutId = "KafkaSpout";
		//这里相当于一个消费者，所以不知道topic所在的broker是那台，我们只需要指定zk即可， 从zk中取的元数据查看 topic所在broker，从而拿到topic中生产者的数据
		//实际开发生产者一般用flume采集数据，之后文章介绍 flume整合kafka
		BrokerHosts brokerHosts = new ZkHosts("weekend01:2181,weekend02:2181,weekend03:2181"); 
		SpoutConfig spoutConfig = new SpoutConfig(brokerHosts, topic, zkRoot, spoutId);
		spoutConfig.forceFromStart = true;//从头开始读
		spoutConfig.scheme = new SchemeAsMultiScheme(new MessageScheme());
		TopologyBuilder builder = new TopologyBuilder(); 
		//设置一个spout用来从kaflka消息队列中读取数据并发送给下一级的bolt组件，此处用的spout组件并非自定义的，而是storm中已经开发好的KafkaSpout 
		//我们只需要传入strom需要的东西即可,kafka为我们继承了类 kafakaSpout()
		builder.setSpout("KafkaSpout", new KafkaSpout(spoutConfig));  
		builder.setBolt("word-spilter", new WordSpliter()).shuffleGrouping(spoutId);
		//产生4个文件，以uuid命名，指定了4个bolt同时处理数据，但是每一行数据只会让同一个bolt处理。
		builder.setBolt("writer", new WriterBolt(), 4).fieldsGrouping("word-spilter", new Fields("word"));
		Config conf = new Config();
		conf.setNumWorkers(4);
		conf.setNumAckers(0);
		conf.setDebug(false);
		
		LocalCluster cluster = new LocalCluster();
		//LocalCluster用来将topology提交到本地模拟器运行，方便开发调试
		cluster.submitTopology("WordCount", conf, builder.createTopology());
		
		//提交topology到storm集群中运行
		//StormSubmitter.submitTopology("kafkaStrom-topo", conf, builder.createTopology());
	}
}

2，实现scheme接口并重写里面方法，主要作用是将生产者送来的数据反序列化，然后指定输出每行信息的字段名称，

然后把这个类放到new KafkaSpout(spoutConfig)方法里面，这是kafka整合好的方法，他相当与storm中的spout组件。

package cn.itcast.storm.spout;
import java.io.UnsupportedEncodingException;
import java.util.List;
import backtype.storm.spout.Scheme;
import backtype.storm.tuple.Fields;
import backtype.storm.tuple.Values;
public class MessageScheme implements Scheme {
	
	private static final long serialVersionUID = 8423372426211017613L;
	@Override
	public List