log4j集成flume-ng

阅读更多

原文地址：http://www.1-blog.com/?p=38

flume-ng是时下比较流行的日志收集方案，log4j也是java领域内常用的日志组件。那有什么简单的办法把他们结合起来呢？

• 背景：

通常，我们的应用程序已经在使用log4j来记录日志了，有一天我们的日志需要导入到其他地方（同时文本日志暂时也不想丢），用来分析（hdfs）或者检索（elasticsearch），我们就想到通过一个数据管道来做这件事情，flume似乎是一个不错的选择。

• 解决方案：

1. 写log4j日志的同时，集成flume-ng的SDK，同时把日志写到flume中。好处是：日志的内容和格式都可以随便定义
2. 使用log4j-flume-appender，日志输出到文本的同时，也输出到flume中。好处是：基本不需要更改代码，方便快捷

结合实际考虑，决定采用第二种方式，最快捷

• 实施步骤：

1. 引入需要的lib包

最简单的方式，当然是使用maven来引入了，同时就把依赖的jar包自动包含了

        org.apache.flume.flume-ng-clients
        flume-ng-log4jappender
        1.6.0

2. 配置log4j.xml

需要注意，为了避免记录日志对于应用程序的阻塞，最好添加AsyncAppender（所以好像就不能通过property文件来配置log4j了）。

org.apache.flume.clients.log4jappender.LoadBalancingLog4jAppender">
       
       
       
       

       
               
       

       
       
       

我这里采用了负载均衡的log4jappender，如果是单节点的flume的话，appender修改如下即可：

       
       
       
       
       
               
       

 

另外需注意：flume-ng-log4jappender对异常部分是忽略掉的，如果想要记录这部分异常信息，需要在log4j.error的时候，把exception信息附加到message中。

详细的参数定义参考下一篇：flume-ng-log4jappender运行机制（源码）分析