【Strom篇】Flume+Kafaka+Strom整合完成信息记录

第一部分:流程分析
【Strom篇】Flume+Kafaka+Strom整合完成信息记录_第1张图片
由flume收集客户端发送的信息,经过kafka集群消费者收集,然后给storm集群数据处理(数据清洗),最后再发给kafka集群收集。

第二部分:集群搭建
flume+kafka
一、配合flume
修改flume-env.sh里的JAVA_HOME的位置,(flume仅修改此处)
(若查看flume的版本通过:./bin flume-ng version)
二、创建fk.conf (flume和kafka整合配置项)

a1.sources = r1
a1.sinks = k1
a1.channels = c1
// Describe/configure the source
a1.sources.r1.type = avro
a1.sources.r1.bind = node02 //注意修改
a1.sources.r1.port = 41414
//Describe the sink
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.topic = testflume
a1.sinks.k1.brokerList = node02:9092,node03:9092,node04:9092
a1.sinks.k1.requiredAcks = 1
a1.sinks.k1.batchSize = 20
a1.sinks.k1.channel = c1
//Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000000
a1.channels.c1.transactionCapacity = 10000
//Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

三、启动Flume + Kafka
1.启动zk集群
zkServer.sh start zkServer.sh status
2.启动Kafka集群。
bin/kafka-server-start.sh config/server.properties
3.配置Flume集群,并启动Flume集群。
bin/flume-ng agent -n a1 -c conf -f conf/fk.conf -Dflume.root.logger=DEBUG,console
4.启动消费者:
bin/kafka-console-consumer.sh –zookeeper node06:2181,node07:2181,node08:2181 –from-beginning –topic testflume
5.启动生产者
bin/kafka-topics.sh –zookeeper node06:2181,node07:2181,node08:2181 –create –replication-factor 2 –partitions 1 –topic LogError
6.测试客户端到flume过程
运行“RpcClientDemo”代码,通过rpc请求发送数据到Flume集群。
bin/kafka-console-consumer.sh --zookeeper node02:2181,node03:2181,node04:2181 --from-beginning --topic testflume

Storm + Kafka
一、配置kafka
修改server.properties里的
zookeeper.connect=node02:2181,node03:2181,node04:2181
二、测试storm和kafka之间的连接
kafka创建消费者:
bin/kafka-topics.sh --zookeeper node06:2181,node07:2181,node08:2181 --create --replication-factor 2 --partitions 1 --topic LogError
LogFilterTopology.java启动后,观察bin/kafka-console-consumer.sh --zookeeper node02:2181,node03:2181,node04:2181 --from-beginning --topic LogError
联测,flume+storm+kafka
先启动LogFilterTopology.java,再启动RpcClientDemo.java 观察LogError的消费者的输出即可。

备:
附完整版Flume+Kafka+Storm架构设计图
【Strom篇】Flume+Kafaka+Strom整合完成信息记录_第2张图片

你可能感兴趣的:(【Strom篇】Flume+Kafaka+Strom整合完成信息记录)