flink1.12配置滚动日志(超详细)

flink1.12配置滚动日志(超详细)

  • 配置滚动生成的目的
  • 配置方式
    • 1.在代码中指定
    • 2.提交任务时指定
    • 3.官方建议
  • 详细配置
    • 完整的log4j.properties配置文件如下:
    • flink1.12 kafka的BUG

配置滚动生成的目的

1.
当yarn配置了日志聚集功能时,yarn上的任务停止时,会将程序运行日志信息上传到HDFS系统上。日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。
但是像flink和sparkstreaming这样长期运行的项目,会生成很多日志。任务停止时,大量日志上传到HDFS,造成的后果就是HDFS瞬时写入速率激增大量占用网络宽带,导致网络阻塞,系统受到影响。配置滚动生成日志,只保留最近10个日志,可以避免这种现象。

2.不滚动生成那就只有一个log文件,文件很大不方便查看。

配置方式

1.在代码中指定

这个参数是在web ui界面,jobmanager 的configuration里找到

你可能感兴趣的:(flink,log4j,flink)