flume

官方文档:
http://flume.apache.org/FlumeUserGuide.html#spooling-directory-source

1 数量来源 Flume Sources

  • Avro
  • Thrift
  • Syslog
  • Netcat
  • Exec Source
    作用:

    Exec source runs a given Unix command

缺点:


flume_第1张图片
日志文件发送变化处理不了.png
6 Spooling Directory Source  spooldir
>   SpoolingDirSource用于监控文件目录变化的,
  但是实际的使用中会有以下两个问题:
  一 是文件不能写,只能读。
 二 是延迟比较高,需要等待日志定期归档。
flume_第2张图片
spooldir适合离线日志处理.png
flume_第3张图片
解决办法.png

启动flume:

flume-ng agent --conf conf -f /usr/local/apache-flume-1.7.0-bin/conf/flume-conf.properties -n agent&

参考
1 基于Flume的野狗实时日志系统的演进和优化
https://blog.wilddog.com/?p=862&utm_source=tuicool&utm_medium=referral
2
https://yq.aliyun.com/articles/100902?t=t1

你可能感兴趣的:(flume)