记录一次Flink+ELK实践,实时监控flink任务

话不多说,先上图。
在这里插入图片描述
通过上图的流程elk与flink的联系在于日志文件,flink程序将日志写入文件,filebeat读取文件。
实时流任务意外的挂掉,没有数据是程序问题还是程序出问题,写入redis数据到底有没有写入,写入有没有异常,这些问题在开发中一直伴随着这个问题,为了更好的解决这个问题,考虑到一个方案,那就是elk日志系统的特点,优美的可视化图标,超时相关的饼图,数量频次统计的折线图,与我们的需求不谋而合,最后完美的切合了报警处理,让我们能更好及时的发现问题所在。
在引入的过程中,出现了种种问题,在官方文档了解到,为了程序员更好的控制日志,提供了logback日志,我像往常springboot中的一样在flink中加入了logback的配置,测试起来我们的程序,发现日志文件并没有打印进去日志,经历过种种,发现了logback的配置在集群中,自身提供了三种logback配置文件,去flink的包目录下看到,就会一目了然


    

你可能感兴趣的:(java,flink,flink,kafka,hadoop)