log4j2利用SocketAppender将日志写入rsyslog

摘要：利用elk(elasticsearch/logstash/kibana)做些简单的分布式日志查看还是比较高效方便的。这周将线上项目的日志升级到log4j2，但是比较坑的是log4j2的SyslogAppender无法自定义PatternLayout。本文将介绍一下如何利用SocketAppender将数据写入rsyslog。

背景

上文scala接入log4j2中我们介绍了log4j2的一些基本配置，本以为已经完全ready了，没想到上线之后，在kibana中并不能查到相关日志。

查看/var/log/syslog可以看到我们的日志已经正常写入了，但是跟运维排查过后，发现我们的日志是需要写入我们自定的模块LOCAL4

问题解决

一度怀疑是log4j2的propertie配置文件支持有问题，于是我将properties配置文件切换到xml配置文件。于是我们看到，日志是可以正常打入到LOCAL4模块的，但是看了pattern是不符合我们设置的预期。无奈，继续查找如何修改pattern。

google查到Log4j2- Syslog appender and PatternLayout一文，发现这是log4j2的bug，但是里面提到可以利用SocketAppender来模拟消息，给rsyslog发送消息。

SocketAppender

按其中答案来设置发现消息并未如愿发到Local4模块（其实他是将INFO日志发送到local1，而我的需求是发送到local4)。

可以看到我们需要模拟一个消息头部，syslog的具体协议可参考[1]，但是这个头部具体该如何模拟呢？

我们可以看到stackoverflow中的答案，Facility和Severity跟头部code的对应关系。

Syslog:          Facility  | Severity
Numerical Code:      1          6
Bin:             0 0 0 0 1 |  1 1 0
Dec:                 8     +    6    =  14

Numerical Code和Facility/Severity的对应关系请参考[2]

猜想意思是Facility code需要左移三位，猜想是不是正确的呢？翻下GitHub源码。

private static int toPriority(final Facility aFacility, final Severity aSeverity) {
    return (aFacility.getCode() << 3) + aSeverity.getCode();
}

证实我们的猜想是正确的。
具体的消息是拼接成什么样的呢？我们继续翻下源码。

public String toSerializable(final LogEvent event) {
    final StringBuilder buf = getStringBuilder();

    buf.append('<');
    buf.append(Priority.getPriority(facility, event.getLevel()));
    buf.append('>');
    addDate(event.getTimeMillis(), buf);
    buf.append(Chars.SPACE);
    buf.append(localHostname);
    buf.append(Chars.SPACE);

    String message = event.getMessage().getFormattedMessage();
    if (null != escapeNewLine) {
        message = NEWLINE_PATTERN.matcher(message).replaceAll(escapeNewLine);
    }
    buf.append(message);

    if (includeNewLine) {
        buf.append('\n');
    }
    return buf.toString();
}

结合我们对syslog的协议的理解，我们需要这样的一个头部消息。

 
  
  其中Code为Facility和Severity拼接成的，在我们的场景中，我们的Facility=20和Severity=6，所以我们的code=166 
  
 后续 
 正当我以为全部问题都解决了，发现最终打到我们Local4模块的主机名还是不对的，我们写入elasticsearch的字段需要的是真正的hostname，而不是localhost. 
 通过Google发现如何获取client名字一文 
 查阅文档我们发现log4j2配置文件支持Property，参考[3]。
 而Property又支持环境变量，参考[4]。 
 完整配置 
 

  
    
      
    
    
      
      
        
        
        
        
        
      
    
    
      
    
  
  
    
      
    
    
      $${HOSTNAME}
      
    
  

 
 总结 
 我们可以看到rsyslog就是通过一个udp请求，将日志写入rsyslog。
 最后，elk虽然能很好的收集展示分布式日志，但是还是无法做到查看日志上下文的 
 Reference 
  
  1.syslog协议解析 
  2.RFC5424 
  3.Property Substitution 
  4.Environment Lookup

log4j2利用SocketAppender将日志写入rsyslog