日志文件数据采集组件

1、日志文件数据采集组件对比(后续逐个介绍)

方案 架构 特点
Apache Flume 由source,channel、sink组成。
多个Agent可以组成调用链
支持一个Agent中有多个不同类型的channel和sink,
 可以选择把Source的数据分发给不同的目的地
LogStash 包含input、Filter、output组成 灵活性高,支持很多插件
Fluentd 包含Input、Parser、Output、
match、Formatter、Buffer
fluentd设计简洁,pipeline内数据传递可靠性高。
Filebeta prospector和harvesters 没有任何依赖,占用资源极少,可靠性高
logtail 阿里云日志服务的生产者,
为阿里公有云用户提供日志收集服务
采用C++语言实现,对稳定性、资源控制、
管理等下过很大的功夫,性能良好

你可能感兴趣的:(数据采集,大数据)