springboot中logback配置conversionRule、ConsoleAppender|RollingFileAppender、PatternLayoutEncoder、Layout等

1 概述

在Java生态中，日志框架有很多，常见的有：jul（JDK提供）、log4j、logback等，随着各种日志框架的出现，在实际项目中使用方式、暴露的日志api、依赖等问题都需要程序员考虑和选择。面对中场景SLF4J出现了即简单日志门面，自身不记录日志，只作为各个日志框架的门面存在。SLF4J常用的日志实现：log4j、logback，一般有slf4j+log4j（log4j2）、slf4j+logback两种日志组合。

在springboot中，默认使用logback作为日志实现，并对logback进行了默认的配置，我们在项目开发和系统运行中难免会遇到，对logback进行定制和高并发场景日志性能优化。本文主要在springboot环境下对logback的使用、配置、优化进行讲解。

1.1 logback介绍

logback 由log4j创始人Ceki Gülcü设计的，相比于其他日志框架，性能更好、占用空间更小。主要包含三个模块：

logback-core：logback的核心基础模块，为其他模块提供支撑

logback-classic：实现了slf4j API，看作log4j的增强，提供了常用的encoder、filter、pattern、AsyncAppender等

Logback-access：可以与 Servlet 容器(如 Jetty 或 Tomcat)集成，以提供丰富而强大的 HTTP 访问日志功能。

甩出官网：Documentation (qos.ch)

1.2 演示测试项目

springboot版本：

<groupId>org.springframework.bootgroupId>
<artifactId>spring-boot-starter-parentartifactId>
<version>2.7.7version>

logback版本：1.2.11

jdk版本：17.0.2

2 抛砖引玉

开始之前先给出，个人开发项目过程中使用的配置方式和细节，暂时没做dev、test、pre、pro环境区分。

logback-spring.xml

<configuration scan="true" scanPeriod="60 seconds" debug="false">

    
    <springProperty scope="context" name="APP_NAME" source="spring.application.name"/>
    <springProperty scope="context" name="APP_PORT" source="server.port"/>

    
    <conversionRule conversionWord="clr"
                    converterClass="org.springframework.boot.logging.logback.ColorConverter"/>
    
    <conversionRule conversionWord="wex"
                    converterClass="org.springframework.boot.logging.logback.WhitespaceThrowableProxyConverter"/>
    <conversionRule conversionWord="wEx"
                    converterClass="org.springframework.boot.logging.logback.ExtendedWhitespaceThrowableProxyConverter"/>

    
    <property name="CONSOLE_LOG_PATTERN"
              value="%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} [${APP_NAME:-APP} %clr(${APP_PORT:-}){blue}] %clr(${PID:- }){magenta} %clr(%5p) %clr([%15.15t]){faint} %clr(%-40.40logger{39} %-4line){cyan} %clr(:){faint} %m%n%wEx"/>

    
    <property name="FILE_LOG_PATTERN"
              value="%d{yyyy-MM-dd HH:mm:ss.SSS} [${APP_NAME:-APP}] %5p ${PID:- } [%15.15t] %-40.40logger{39} %-4line : %m%n%wEx"/>


    
    <property name="LOG_FILE" value="logs/log"/>

    
    <property name="ROLLINGPOLICY_FILE_NAME_PATTERN" value="${LOG_FILE}.%d{yyyy-MM-dd}.%i.gz"/>

    
    <property name="ROLLINGPOLICY_MAX_FILE_SIZE" value="20MB"/>

    
    <property name="ROLLINGPOLICY_TOTAL_SIZE_CAP" value="1GB"/>

    
    <property name="ROLLINGPOLICY_CLEAN_HISTORY_ON_START" value="true"/>

    
    <property name="ROLLINGPOLICY_MAX_HISTORY" value="10"/>
    

    
    <appender name="CONSOLE_OUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
            <pattern>${CONSOLE_LOG_PATTERN}pattern>
            <charset>UTF-8charset>
        encoder>
    appender>

    
    <appender name="FILE_OUT" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
            <pattern>${FILE_LOG_PATTERN}pattern>
            <charset>UTF-8charset>
        encoder>
        <file>${LOG_FILE}file>
        
        <rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
            <fileNamePattern>${ROLLINGPOLICY_FILE_NAME_PATTERN}fileNamePattern>
            <cleanHistoryOnStart>${ROLLINGPOLICY_CLEAN_HISTORY_ON_START}cleanHistoryOnStart>
            <maxFileSize>${ROLLINGPOLICY_MAX_FILE_SIZE}maxFileSize>
            <totalSizeCap>${ROLLINGPOLICY_TOTAL_SIZE_CAP}totalSizeCap>
            <maxHistory>${ROLLINGPOLICY_MAX_HISTORY}maxHistory>
        rollingPolicy>
    appender>


    

    <appender name="ASYNC_CONSOLE_APPENDER" class="ch.qos.logback.classic.AsyncAppender">
        
        <discardingThreshold>0discardingThreshold>
        
        <queueSize>1024queueSize>
        
        <neverBlock>falseneverBlock>
        
        <includeCallerData>trueincludeCallerData>
        
        <appender-ref ref ="CONSOLE_OUT"/>
    appender>

    <appender name="ASYNC_FILE_APPENDER" class="ch.qos.logback.classic.AsyncAppender">
        
        <discardingThreshold>0discardingThreshold>
        
        <queueSize>1024queueSize>
        
        <neverBlock>falseneverBlock>
        
        <appender-ref ref ="FILE_OUT"/>
    appender>

    
    <root level="INFO">
        
        <appender-ref ref="ASYNC_CONSOLE_APPENDER"/>
        <appender-ref ref="ASYNC_FILE_APPENDER"/>
    root>
configuration>

3 功能介绍

3.1 配置文件加载

springboot默认加载classpath下 logback-spring.xml，可以通过properties配置指定路径:

logging.config=classpath:log/logback-spring.xml

如果想区分环境可以通过不同的环境的application-xx.properties指定不同的日志文件路径。

3.2 logback配置

3.2.1 configuration

根节点：configuration，作为顶级标签， 可以用来配置一些lockback的全局属性，常见的属性如下：

• scan=“true” ：scan是否开启自动扫描，监控配置文件更新，生效。
• scanPeriod=“60 seconds” ：扫描的频率
• debug=“false”：是否开启logback的debug模式，注意这里和日志的debug无关，开启后启动之前会打印一些logback自身的信息。

3.2.2 property

property 标签可以定义一些属性变量，供其他配置地方通过${xxx}使用。

springProperty 标签可以获取spring上下文里的属性。

3.2.3 conversionRule

定义转换器，可以用来对日志进行特殊的转换，比如，SpringBoot后启动项目控制台会带有彩色日志样式，是因为使用了org.springframework.boot.logging.logback.ColorConverter颜色转换器，会把日志用AnsiOutput进行输出。

3.2.4 appender

Appender是logback中的最核心组件之一，承担日志时间的写入任务，包括：控制台、日志文件、网络输出等。借用一张官方的继承体系图：

途中可以看出常用的appender有三个：

• ConsoleAppender：日志写入到控制台，底层会调用jdk的 System.out 和 System.err

<appender name="CONSOLE_OUT" class="ch.qos.logback.core.ConsoleAppender">
    <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
        <pattern>${CONSOLE_LOG_PATTERN}pattern>
        <charset>UTF-8charset>
    encoder>
appender>

• FileAppender：日志写入到指定文件，有几个常用属性。
  • file：指定写入的日志文件名，可以是相对或者绝对目录
  • append：追加模式默认开启，不会清空原文件
  • prudent：当设置为true,日志会被安全的写入文件,即使其他的FileAppender也在向此文件做写入操作，效率低，默认是 false。
  • immediateFlush：默认情况下true，每个日志事件都会立即刷新到文件输出流中。这种方法更安全，因为如果应用程序退出时没有正确关闭appender，则不会丢失日志记录事件。但是，想显著提高日志的吞吐量，可以将 limateFlush 属性设置为 false。

<appender name="FILE" class="ch.qos.logback.core.FileAppender">
    <file>testFile.logfile>
    <append>trueappend>
    <immediateFlush>trueimmediateFlush>
    <encoder>
        <pattern>${FILE_LOG_PATTERN}pattern>
    encoder>
appender>

• RollingFileAppender：实际生产环境写文件日志的首选appender，可以实现滚动式写日志，在写日志的过程中如果符合某些条件策略时，会重新写入到新的文件，还可以将历史日志进行归档、定期删除等。解决了FileAppender方式会导致日志都在一个文件中，文件会越来越大，难以打开。常用属性配置：
  • file：文件存储位置
  • rollingPolicy：滚动策略配置

<appender name="FILE_OUT" class="ch.qos.logback.core.rolling.RollingFileAppender">
    <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
        <pattern>${FILE_LOG_PATTERN}pattern>
        <charset>UTF-8charset>
    encoder>
    <file>${LOG_FILE}file>
    
    <rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
        
        <fileNamePattern>${LOG_FILE}.%d{yyyy-MM-dd}.%i.gzfileNamePattern>
        
        <cleanHistoryOnStart>truecleanHistoryOnStart>
        
        <maxFileSize>20MBmaxFileSize>
        
        <totalSizeCap>1GBtotalSizeCap>
        
        <maxHistory>10maxHistory>
    rollingPolicy>
appender>

• AsyncAppender：异步写日志，本身不做真是的日志写入，需要配置包裹其它appender，在于高并发下，加如日志队列缓存，减少写磁盘日志的IO次数。可以根据实际情况决定是否使用 。

<appender name="ASYNC_FILE_APPENDER" class="ch.qos.logback.classic.AsyncAppender">
    
    <discardingThreshold>0discardingThreshold>
    
    <queueSize>1024queueSize>
    
    <neverBlock>falseneverBlock>
    
    <appender-ref ref ="FILE_OUT"/>
appender>

• 不常用的appender：SocketAppender 写入socket、SMTPAppender 写入邮件、DBAppender 写入数据库

3.2.5 encoder

Encoder在0.9.19中引入，作用负责将日志事件转换为字节数组，并将字节数组输出到输出流中（具体的appender输出流）。在此之前的版本主要使用Layout，Layout只能将日志事件转换为String。Layout还无法控制何时写出日志，因此Layout无法对日志事件进行批量控制，相比之下，Encoder不仅可以完全控制写出的字节的格式，而且还可以控制何时(以及是否)写出这些字节内容。

• PatternLayoutEncoder：最常用的编码器，通常指定：编码和日志打印规则

<encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
    <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %5p ${PID:- } [%15.15t] %-40.40logger{39} %-4line : %m%n%wExpattern>
    <charset>UTF-8charset>
encoder>

3.2.6 Layout

layout根据pattern规则，将日志事件转换为具体的日志字符串，我们配置的各种日志打印格式，都是由layout解析翻译成字符串。由于官方规则太多，我们以一个具体的例介绍一些常用的规则符号：

时间:            %d{yyyy-MM-dd HH:mm:ss.SSS}
应用名称:         ${APP_NAME:-APP}
日志级别:         %5p
进程ID:          ${PID:- }
线程名称:         %15.15t
触发日志类方法:    %-40.40logger{39}
代码行号:         %-4line
日志内容:         %m
换行符:           %n
异常:            %wEx

%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} [${APP_NAME:-APP} %clr(${APP_PORT:-}){blue}] %clr(${PID:- }){magenta} %clr(%5p) %clr([%15.15t]){faint} %clr(%-40.40logger{39} %-4line){cyan} %clr(:){faint} %m%n%wEx

详细规则：Chapter 6: Layouts (qos.ch)

3.2.7 Filters

filter 日志过滤器，本人实际用的不是太多，logback 的内置 filter 有一下几种：

• 级别过滤器 ch.qos.logback.classic.filter.LevelFilter。对指定级别的日志进行具体的操作

• 阀值过滤器 ch.qos.logback.classic.filter.ThresholdFilter。

• 表达式过滤器 ch.qos.logback.core.filter.EvaluatorFilter。

  • Groovy的表达式 ch.qos.logback.classic.boolex.GEventEvaluator。

  • Java的表达式ch.qos.logback.classic.boolex.JaninoEventEvaluator。使用 Janino 解析java script。

• 包含标记 ch.qos.logback.classic.boolex.OnMarkerEvaluator

<filter class="ch.qos.logback.classic.filter.LevelFilter">
    
    <level>INFOlevel>
    
    <onMatch>ACCEPTonMatch>
    
    <onMismatch>DENYonMismatch>
filter>

4 结束