flume系列之:监控flume有没有关闭上个小时的临时文件gz.tmp,并发送告警信息

flume系列之:监控flume有没有关闭上个小时的gz.tmp文件

  • 一、flume落到hdfs文件格式
  • 二、登陆远程服务器代码
  • 三、获取当前时间和上个小时时间
  • 四、访问hdfs执行kerberos认证
  • 五、查找上个小时是否有tmp文件的命令
  • 六、执行查找tmp文件命令代码
  • 七、告警信息部分代码
  • 八、存在未关闭tmp文件发送告警信息
  • 九、完整详细注释代码如下所示
  • 十、手动关闭上个小时未关闭的临时文件

一、flume落到hdfs文件格式

设置flume落到hdfs文件格式:

  • sinks.sink1.hdfs.codeC sinks.sink1.hdfs.codeC = gzip
  • 文件压缩格式,包括:gzip,bzip2, lzo, lzop, snappy

设置flume落到hdfs文件大小:

  • sinks.sink1.hdfs.rollSize
  • sinks.sink1.hdfs.rollSize = 134217728
  • 默认值1024字节
  • 当临时文件达到该大小(单位:bytes)时,滚动成目标文件

你可能感兴趣的:(flume,flume系列,监控flume,临时文件gz.tmp,告警信息)