Kafka与Flume的联系和应用场景

参考文章:Flume和Kafka的区别与联系

日志采集系统flume和kafka有什么区别及联系,它们分别在什么时候使用,什么时候又可以结合?

一、相同点

  1. 同样是流式数据采集框架,
  2. flume一般用于日志采集,可以定制很多数据源,减少开发量,基本架构是一个flume进程agent(source、拦截器、选择器、channel、sink),其中传递的是原子性的event数据;使用双层Flume架构可以实现一层数据采集,一层数据集合;
  3. kafka一般用于日志缓存,是一个可持久的分布式消息队列,自带存储,提供push和pull两种存储数据功能;包括producer、kafkaCluster(broker:topic、partition)、consumer,依赖于Zookeeper(brokerid、topic、partition元数据存在ZNode,partition选举leader依赖Zookeeper);
  4. Flume和Kafka都是消息系统,但Flume更趋向于消息采集系统,而Kafka更趋向于消息缓存系统。
  5. flume负责数据采集及保障数据可靠传输,kafka做缓冲,及数据多重,两者结合使用。

二、区别点

区别点一:

flume和kafka的侧重点不同:

  1. kafka追求的是高吞吐,高负载,同一topic下可以有多个partition,由于是pull模式拉取数据,因此适合多个消费者的场景;kafka没有内置的producer和consumer组件,需要自己编写代码。
  2. 而flume追求的是数据和数据源、数据流向的多样性,适合多个生产者的场景;flume有自己内置的多种source和sink组件,具体操作方式是编写source、channel和sink的.conf配置文件,开启flume组件的时候用命令关联读取配置文件实现;
  3. kafka:用来做消息推送中间件,消息的处理完全由业务方自己定义,请求频次单机吞吐量轻轻松松50W+/s,数据在集群不全挂的情况下是不会丢数据,消费也很灵活,可以指定分区和offset,可以当做成一个数据库
  4. flume:用来做数据采集和落地,采用flume-ng,流程:source(kafka)->channel->hdfs, 相比较kafka比较轻量级 ,本质是一个数据的流通管道,当一个flume实例挂了数据会丢失
  1. Kafka是一个更加通用的系统。用户可以构造不同的生产者与消费者共享不同的主题;相反,Flume主要是用于向Hadoop或HBase导入数据,因此它对HDFS/HBase具有更好的优化,同时它也集成了Hadoop安全组件。因此,如果数据需要被多个应用程序处理,建议Kafka;如果数据主要是用于Hadoop,建议Flume。
  2. Flume具有很多内置的源与槽。Kafka相比而言,现成生产者与消费者就比较少了,而且Kafka社区对这些生产者/消费者的支持也比较薄弱。因此如果准备自己编写生产者与消费者,建议Kafka;如果Flume的内置源/槽已经足够满足你的需求而又不想编程,建议Flume。

  3. Flume内置了拦截器,可以对流经Flume的数据进行直接处理,因此比较容易实现数据屏蔽与数据过滤。Kafka则需要额外的流处理系统来对数据进行处理。

  4. Kafka与Flume都可以通过配置保证数据不丢失。但是,Flume不会复制消息,因此即使使用可靠的文件渠道,当Flume进程宕机后,你就无法访问这些消息了(当然Flume进程重启,从磁盘上恢复之前状态后,可以继续对消息进行处理)。因此如果对 HA高可用性具有很高要求,建议Kafka。

区别点二:

flume和kafka的定位有所不同:

flume:

  1. cloudera公司研发,适合多个生产者;
  2. 适合下游数据消费者不多的情况;(一个消费者开一个channel)
  3. 适合数据安全性要求不高的操作;(数据没有备份、没有副本)
  4. 适合与Hadoop生态圈对接的操作。(HDFS、Hbase等)
  5. 适合生产和收集数据

kafka: 

  1. linkedin公司研发,适合多个消费者;
  2. 适合数据下游消费众多的情况;(kafka从磁盘读,并且只找Leader读)
  3. 适合数据安全性要求较高的操作,支持replication(多副本)。
  4. Kafka 一般作为Pub-Sub管道,没有抓取功能。
  5. 适合消费数据
  6. Kafka本身也不算消息中间件,中间件一般会有Queue和Topic两种模型,Kafka主要是Topic类的模型。

三、联系 

联系:

  1. Flume和Kafka应该结合来使用,Flume作为日志收集端,Kafka作为日志消费端。
  2. Flume的Source-Channel-Sink模型,非常适合作为日志收集的模型。
  3. Kafka采用生产者消费者模型,采用kafka消息队列作为中间件,消费的下游和上游可以完美的解耦。

工作中常用的一种模型是:

线上数据 --> flume --> kafka --> HDFS --> hive/MR计算
                                              --> SparkStreaming计算
也有kafka与springboot组合,采集数据后交给sparkStreaming进行流式计算

搭建日志系统常用方案:

  1. 日志采集(Logstash/Flume,SDK wrapper)
  2. 实时消费 (Storm, Flink, Spark Streaming)
  3. 离线存储 (HDFS or Object Storage or NoSQL) +  离线分析(Presto,Hive,Hadoop)
  4. 有一些场景可能需要搜索,可以加上ES或ELK
  • flume:日志采集系统
  • kafka:消息中间件
  • 组合:log->flume->kafka->hdfs(solr)

你可能感兴趣的:(大数据学习,kafka,flume,hadoop)