flume系列之:监控flume上个小时生成的HDFS文件是否有损毁,并发送告警信息

flume系列之:监控flume上个小时生成的HDFS文件是否有损毁,并发送告警信息

  • 一、查看HDFS文件状态背景知识
  • 二、登陆远程服务器代码
  • 三、获取当前时间和上个小时时间
  • 四、访问hdfs执行kerberos认证
  • 五、查找上个小时是否有损毁文件的命令
  • 六、执行查找损毁文件命令代码
  • 七、告警信息部分代码
  • 八、存在损毁文件发送告警信息
  • 九、完整详细注释代码如下所示

一、查看HDFS文件状态背景知识

相关背景知识参考博主下面两篇博客:

  • Hdfs系列之:查看hdfs文件状态,判断文件是否损坏,修复hdfs损坏文件
  • flume系列之:Error while trying to hflushOrSync,查看hdfs生成的文件发现文件损坏

你可能感兴趣的:(flume,flume系列,损毁文件)