大数据面试通关手册｜Flume面试题汇总

⭐⭐欢迎关注博客主页：https://blog.csdn.net/u013411339
⭐⭐欢迎点赞  收藏 ⭐留言  ，欢迎留言交流！
⭐⭐本文由【王知无】原创，首发于 CSDN博客！
⭐⭐本文首发CSDN论坛，未经过官方和本人允许，严禁转载！

1、Flume使用场景

线上数据一般主要是落地（存储到磁盘）或者通过socket传输给另外一个系统，这种情况下，你很难推动线上应用或服务去修改接口，实现直接向kafka里写数据，这时候你可能就需要flume这样的系统帮你去做传输。

2、Flume丢包问题

单机upd的flume source的配置，100+M/s数据量，10w qps flume就开始大量丢包，因此很多公司在搭建系统时，抛弃了Flume，自己研发传输系统，但是往往会参考Flume的Source-Channel-Sink模式。

一些公司在Flume工作过程中，会对业务日志进行监控，例如Flume agent中有多少条日志，Flume到Kafka后有多少条日志等等，如果数据丢失保持在1%左右是没有问题的，当数据丢失达到5%左右时就必须采取相应措施。

3、Flume与Kafka的选取

采集层主要可以使用Flume、Kafka两种技术。

Flume：Flume 是管道流方式，提供了很多的默认实现，让用户通过参数部署，及扩展API。

Kafka：Kafka是一个可持久化的分布式的消息队列。

Kafka 是一个非常通用的系统。你可以有许多生产者和很多的消费者共享多个主题To