亿级日志log4j2接入Kafka方案

亿级日志log4j2接入Kafka方案

背景描述

一个高访问量高并发高响应的系统，每天大概5~6亿的请求日志量，日志接入大数据平台，第一版使用的是Flume方式，后来因为需要基于日志做实时预警功能，故需要实时接入，采用log4j2 KafkaAppender接入Kafka消息队列的模式。

log4j2配置

    
    bigdata001.dns.org:9092,bigdata002.dns.org:9092
    2000



    
    
        [%-4level]_|_%d{YYYY-MM-dd HH:mm:ss}_|_%m_|_${sys:ip}%n
    
    
        
    



    
        
    




    

注意点（坑点）：

① 日志接入必须异步，绝对不能影响服务性能，

② 响应要求比较高的系统接入第三方系统，必须依赖解耦，此处的Failover Appender就是解耦对Kafka的依赖，当Kafka Crash时，日志触发Failover，写本地即可

③ log4j2 Failover appender retryIntervalSeconds的默认值是1分钟，是通过异常来切换的，所以可以适量加大间隔，比如上面的10分钟

④ Kafka appender ignoreExceptions 必须设置为false，否则无法触发Failover

⑤ 这里有个比较大的坑是max.block.ms Property，KafkaClient包里默认值是60000ms，当Kafka宕机时，尝试写Kafka需要1分钟才能返回Exception，之后才会触发Failover，当请求量大时，log4j2 队列很快就会打满，之后写日志就Blocking，严重影响到主服务响应。所以要设置足够短，队列长度足够长。

⑥ log4j2异步设置详细参考：log4j2异步注意事项