【Strom篇】Flume+Kafaka+Strom整合完成信息记录

第一部分：流程分析

由flume收集客户端发送的信息，经过kafka集群消费者收集，然后给storm集群数据处理（数据清洗），最后再发给kafka集群收集。

第二部分：集群搭建
flume+kafka
一、配合flume
修改flume-env.sh里的JAVA_HOME的位置，（flume仅修改此处）
（若查看flume的版本通过：./bin flume-ng version）
二、创建fk.conf （flume和kafka整合配置项）

a1.sources = r1
a1.sinks = k1
a1.channels = c1
// Describe/configure the source
a1.sources.r1.type = avro
a1.sources.r1.bind = node02 //注意修改
a1.sources.r1.port = 41414
//Describe the sink
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.topic = testflume
a1.sinks.k1.brokerList = node02:9092,node03:9092,node04:9092
a1.sinks.k1.requiredAcks = 1
a1.sinks.k1.batchSize = 20
a1.sinks.k1.channel = c1
//Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000000
a1.channels.c1.transactionCapacity = 10000
//Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

三、启动Flume + Kafka
1.启动zk集群
zkServer.sh start zkServer.sh status
2.启动Kafka集群。
bin/kafka-server-start.sh config/server.properties
3.配置Flume集群，并启动Flume集群。
bin/flume-ng agent -n a1 -c conf -f conf/fk.conf -Dflume.root.logger=DEBUG,console
4.启动消费者：
bin/kafka-console-consumer.sh –zookeeper node06:2181,node07:2181,node08:2181 –from-beginning –topic testflume
5.启动生产者
bin/kafka-topics.sh –zookeeper node06:2181,node07:2181,node08:2181 –create –replication-factor 2 –partitions 1 –topic LogError
6.测试客户端到flume过程
运行“RpcClientDemo”代码，通过rpc请求发送数据到Flume集群。
bin/kafka-console-consumer.sh --zookeeper node02:2181,node03:2181,node04:2181 --from-beginning --topic testflume

Storm + Kafka
一、配置kafka
修改server.properties里的
zookeeper.connect=node02:2181,node03:2181,node04:2181
二、测试storm和kafka之间的连接
kafka创建消费者：
bin/kafka-topics.sh --zookeeper node06:2181,node07:2181,node08:2181 --create --replication-factor 2 --partitions 1 --topic LogError
LogFilterTopology.java启动后，观察bin/kafka-console-consumer.sh --zookeeper node02:2181,node03:2181,node04:2181 --from-beginning --topic LogError
联测，flume+storm+kafka
先启动LogFilterTopology.java，再启动RpcClientDemo.java 观察LogError的消费者的输出即可。

备：
附完整版Flume+Kafka+Storm架构设计图