在上一遍博文中我们介绍了Nginx容器访问日志收集的方案,我们使用EFK的架构来完成对容器日志内应用日志的收集,如果不知道什么是EFK架构,那么请访问以下链接获取相关的帮助

Nginx容器日志收集方案fluentd+elasticsearch+kilbana


  如果你已经认真阅读了上面的链接,并撑握了其用法,那么再来看本博文(针对于初学者),下面假设我们已经搭建好了上一讲所需要的基础环境,我们接下来就直接开始步入正题。


  在步入正题之前我们首先需要确认我们需要完成的目标与效果,同样我们在启动Tomcat容器的时候使用fluentd日志驱动,将标准输出的日志发送到fluentd服务端,然后通过fluentd服务端处理日志发送至ES,最后再通过kilbana展示日志。就这么简单?NO NO NO!!!经测试默认情况下Tomcat容器(docker hub官方镜像)内catalina的日志会自动从stdout输出,并发送到fluentd服务端,但access日志不会,这是我们第一个需要解决的技术问题,另外Tomcat的日志默认情况下是每天滚动生成,每天日志名称都不一样,这是我们需要解决的第二个问题,假设我们解决了以上两个问题,最后还会存在一个问题,也就是我们输出的日志有两种类型,我们又如何通过fluentd服务端区分不同的日志,并发送到ES存储为不同的Index。我们明白了目标和技术难题下面我们就一步一步来解决。


第一个问题解决方法(先解决第二个问题再解决第一个问题)

  我们可以手工指定将access日志输出到/dev/stdout,所以此方法刚下载下来的镜像无法直接使用,我们需要重新build该镜像创建一个/dev/stdou的软链接到Tomcat的access日志文件路径。

ln -s /dev/stdout  /usr/local/tomcat/logs/localhost_access_log.txt

第二个问题解决方法:

  默认docker hub官方的tomcat镜像的日志是每天滚动生成的,所以我们需要重新build该镜像,关闭日志的滚动生成

关闭catalina日志的滚动生成

编辑容器内配置文件:/usr/local/tomcat/conf/logging.properties

#下面这一行是已经存在的一行,用来定义文件的前缀
1catalina.org.apache.juli.AsyncFileHandler.prefix = catalina.
#下面两行是需要加入的内容,分别为定义文件的后缀和关闭日志轮替,最终日志名称为catalina.out
1catalina.org.apache.juli.AsyncFileHandler.suffix = out
1catalina.org.apache.juli.AsyncFileHandler.rotatable = False

关闭access日志的滚生成

编辑配置文件:/usr/local/tomcat/conf/server.xml

#配置中rotatable="false"是我们加入的内容,而pattern里面的内容是我们需要修改为的内容,用来将访问日志转换为json格式用来关闭日志的轮替,最终日志名称为localhost_access_log.txt
        

第三个问题解决方法:

这里我们可以采用通过fluentd服务端对收集过来的日志再进行过滤,分类重新打标签,最后再发送到ES存为不同的Index,修改fluentd服务端配置文件如下:

#如果没有rewrite-tag-filter插件请安装gem install fluent-plugin-rewrite-tag-filter

  @type forward
  port 24224
  bind 0.0.0.0


#下面根据tomcat.test.docker标签进行过滤,因为里面有两种日志输出,分别为access和catalina

  @type copy
  
    @type rewrite_tag_filter
    #这里是匹配我们的catalina日志,根据log字段用正则匹配,这里需要根据自己字段进行修改正则
    rewriterule1 log ^\d.*$ catalina.${tag}
    
  
    @type rewrite_tag_filter
    #因为我们的访问日志转换为了json,所以开头一定为{,这里根据正则匹配,匹配到后重新打tag
    rewriterule1 log ^{.*$ access.${tag}
  


#对访问日志做json转换,**代表任何字符

  @type parser
  format json
  key_name log


#将访问日志输出到ES,索引名为tomcat.test.docker.access

  @type elasticsearch
  host 192.168.1.23
  port 9200
  logstash_format true
  logstash_prefix tomcat.test.docker.access
  logstash_dateformat %Y-%m-%d
  flush_interval 5s
  type_name docker_container_log
  include_tag_key true


#将catalina日志输出到ES,索引名为tomcat.test.docker.catalina

  @type elasticsearch
  host 192.168.1.23
  port 9200
  logstash_format true
  logstash_prefix tomcat.test.docker.catalina
  logstash_dateformat %Y-%m-%d
  flush_interval 5s
  type_name docker_container_log
  include_tag_key true

  完成以上配置以后我们只要启动我们的fluentd服务端服务和Tomcat容器,并访问下我们的Tomcat站点,这时候就可以在ES中查看到我们所需要的Index了

systemctl start td-agent
docker run -dit -p 80:8080 --log-driver=fluentd --log-opt fluentd-address=192.168.3.232:24224 --log-opt tag="tomcat.test.docker" tomcat

上面需要注意tag,需要和fluentd服务端配置文件里面接收的tag一样


最后还有一个技术问题,一直没有解决,需要大家独立思考,如果有好的解决方案可以在博文中留言,如果后续我解决了,会及时更新此博文。问题就是catalina的错误日志多行合并处理,目前没有找到适合的方法

.