flume

官方文档：
http://flume.apache.org/FlumeUserGuide.html#spooling-directory-source

1 数量来源 Flume Sources

• Avro
• Thrift
• Syslog
• Netcat
• Exec Source
  作用：

  Exec source runs a given Unix command

缺点：

日志文件发送变化处理不了.png

6 Spooling Directory Source  spooldir
>   SpoolingDirSource用于监控文件目录变化的，
  但是实际的使用中会有以下两个问题：
  一 是文件不能写，只能读。
 二 是延迟比较高，需要等待日志定期归档。

spooldir适合离线日志处理.png

解决办法.png

启动flume：

flume-ng agent --conf conf -f /usr/local/apache-flume-1.7.0-bin/conf/flume-conf.properties -n agent&

参考
1 基于Flume的野狗实时日志系统的演进和优化
https://blog.wilddog.com/?p=862&utm_source=tuicool&utm_medium=referral
2
https://yq.aliyun.com/articles/100902?t=t1