Kafka与Flume比较

在企业中必须要清楚流式数据采集框架flume和kafka的定位是什么：

1 Flume

flume：cloudera公司研发

1.适合多个生产者；

                                                                       多数据源数据汇总

可以参考Flume采集案例：https://blog.csdn.net/weixin_38023225/article/details/102495990

2.适合下游数据消费者不多的情况；

如果消费者多（如上图HDFS，JMS等），Agent foo会产生多个副本（Channel1,Channel2,Channel3）对应，数据冗余严重。

可参考Flume采集案例：https://blog.csdn.net/weixin_38023225/article/details/102487745

3.适合数据安全性要求不高的操作；

更多的是使用Memory Channel,在实时框架中处理，追求的是速度，无本地缓存，数据有丢失风险。

4.适合与Hadoop生态圈对接的操作。

如，可以通过配置文件配置hdfs sink, hbase sink，直接可以对接HDFS,HBASE等，不用写多余代码。

2 Kafka

kafka：linkedin公司研发

1.适合数据下游消费众多的情况；

消息是基于pull模式，由消费者自己决定

2.适合数据安全性要求较高的操作，支持replication。

安全性：有本地文件缓存（默认存储7天）

支持replication：

kafka副本与flume副本机制不同

flume副本机制是从消费者出发，新增消费者就必须新增副本Channel。

flume副本是从数据安全性，可靠性出发，可以设置1个副本，也可以设置多个副本（Leader/Fllower模式，生产消费者只与Leader交流）。

3 常用模型

线上数据（生产者多） --> flume --> kafka --> flume(根据情景增删该流程) --> HDFS