大数据面试题(七)----Flume面试题

“无意中发现了一个巨牛的人工智能教程,忍不住分享一下给大家。教程不仅是零基础,通俗易懂,而且非常风趣幽默,像看小说一样!觉得太牛了,所以分享给大家。点这里可以跳转到教程。”。

大数据面试宝典目录,请点击

目录

1. Flume 使用场景(☆☆☆☆☆)
2. Flume 丢包问题(☆☆☆☆☆)
3. Flume 与Kafka 的选取


1. Flume 使用场景(☆☆☆☆☆)

线上数据一般主要是落地(存储到磁盘)或者通过socket 传输给另外一个系统,这种情况下,你很难推动线上应用或服务去修改接口,实现直接向kafka 里写数据,这时候你可能就需要flume 这样的系统帮你去做传输。

2. Flume 丢包问题(☆☆☆☆☆)

单机upd 的flume source 的配置,100+M/s 数据量,10w qps flume 就开始大量丢包,因此很多公司在搭建系统时,抛弃了Flume,自己研发传输系统,但是往往会参考Flume 的Source-Channel-Sink模式。一些公司在Flume 工作过程中,会对业务日志进行监控,例如Flume agent 中有多少条日志,Flume 到Kafka 后有多少条日志等等,如果数据丢失保持在1%左右是没有问题的, 当数据丢失达到5%左右时就必须采取相应措施。

3

你可能感兴趣的:(【大数据面试宝典】)