基于docker部署的微服务架构（六）： 日志统一输出到kafka中间件

前言

上一篇 基于docker部署的微服务架构（五）： docker环境下的zookeeper和kafka部署 中，已经成功部署了 kafka 环境，现在我们要改造之前的项目，使用 log4j2 的 kafka appender 把日志统一输出到 kafka 中。

修改日志系统

spring boot 默认使用 logback 作为日志工具，这里需要作出修改。
以 service-registry-demo 为例，其他项目做相同的修改。
修改 pom.xml 文件，去掉默认的日志依赖，并引入 log4j2：

    org.springframework.boot
    spring-boot-starter
    
        
            org.springframework.boot
            spring-boot-starter-logging
        
    


    org.springframework.boot
    spring-boot-starter-log4j2

引入 kafka 客户端：

    org.apache.kafka
    kafka-clients
    0.10.0.1

修改 标签的内容，增加 kafka server 的配置，后边创建的 log4j2.xml 从这里读取 kafka 的服务器地址：
kafka宿主机IP:9092
在 docker profile中配置 docker 环境的 kafka server：kafka:9092，在启动容器时使用 --link kafka，连接kafka容器。

在 resources 目录下新建 log4j2.xml ：

    
        
            %d{yyyy-MM-dd HH:mm:ss.SSS}{GMT+8} [@project.artifactId@] [%thread] %-5level %logger{35} - %msg %n
        
        
            @kafka.bootstrap.servers@
        
    
    
        
            
        

        
            
                
                    ${logFormat}
                
            
            
                
            
        

        
            
                
                    ${logFormat}
                
            
            ${kafkaBootstrapServers}
        

        
            
        

        
            
        

    
    
        
        
            
            
            
        
    

简单说明下 log4j2.xml 配置文件中的内容：
在 标签中定义了 logFormat 和 kafkaBootstrapServers 两个属性，这两个属性在下边的日志配置中需要用到，其中 kafkaBootstrapServers 的属性值从 pom.xml 中读取，可以根据不同的 profile 动态替换。
在 标签中定义了一系列 appender，从上到下分别是：

1. 控制台 appender
2. 根据日期分割的日志文件 appender
3. 把日志输出到kafka 的 appender，定义了 topic 为 basic-log
4. 在日期分割的 appender 之上做了异步处理的 appender，不会阻塞程序运行
5. 在 kafka apender 之上做了异步处理的 appender，不会阻塞程序运行

在 标签中使用了 1、4、5，这3种 appender。2、3 这两种 appender 在发生异常时会阻塞程序运行，所以 4、5 在其之上进行了异步处理。

demo源码 spring-cloud-3.0

查看kafka中的日志数据

启动 service-registry-demo，进入 kafka 容器：
运行 docker ps，找到kafka的 CONTAINER ID，运行 docker exec -it ${CONTAINER ID} /bin/bash，进入kafka容器。
进入kafka默认目录 cd /opt/kafka_2.11-0.10.1.0
查看 basic-log 的内容：
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic basic-log --from-beginning

使用docker-maven-plugin打包并生成docker镜像

这部分的内容和前几篇文章基本相同，需要注意 docker 环境下 kafka server 的配置，在启动容器时需要 --link 连接 kafka 容器。
具体配置参见 demo源码 spring-cloud-3.0

最后

经过上边的配置，我们已经把 service-registry-demo 的日志输出到了 kafka，其他项目也做同样的修改，这样所有项目的日志都集中到了 kafka 。接下来继续搭建 ELK 日志统计系统，利用 logstash 把 kafka 中的日志数据导入到 elasticsearch ，最后用 kibana 显示日志数据。