日志使用项目实战

一、准备工作

本文计划以log4j以及logback配置及使用为例，以真实的线上项目中的配置展示具体应该如何进行日志相关的配置以及如何使用。

由于计划在日志中打印分布式追踪ID信息traceId，因此需要编写编写的工具类：

package com.netease.cloud.scaffold.util;

import com.netease.cloud.scaffold.common.Constant;
import com.netease.cloud.scaffold.common.http.ThreadContext;
import org.apache.commons.lang.StringUtils;
import org.slf4j.MDC;

import java.util.UUID;

public class TraceUtil {
    /**
     * 启动跟踪
     */
    public static void traceStart(String traceId) {
        ThreadContext.init();
        if (StringUtils.isBlank(traceId)) {
            traceId = UUID.randomUUID().toString();
        }
        MDC.put(Constant.TRACE_ID_KEY, traceId);
        ThreadContext.putContext(Constant.TRACE_ID_KEY, traceId);
    }

    /**
     * 结束跟踪
     */
    public static void traceEnd() {
        MDC.clear();
        ThreadContext.clean();
    }

    /**
     * 生成跟踪ID
     *
     * @return
     */
    private static String generateTraceId() {
        return UUID.randomUUID().toString();
    }
}

编写测试日志打印用到的测试Controller

package com.netease.cloud.scaffold.controller;

import lombok.extern.slf4j.Slf4j;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestMethod;
import org.springframework.web.bind.annotation.ResponseBody;

@Controller
@RequestMapping("/log")
@Slf4j
public class LoggerController {

    @RequestMapping(value = "", method = RequestMethod.GET)
    @ResponseBody
    public String basicLogTest() {
        log.debug("debug [{}]", 1);
        log.info("info [{}]", 2);
        log.warn("warn [{}]", 3);
        log.error("error [{}]", 4, new RuntimeException());
        return "hello";
    }
}

二、实战

2.1 log4j2日志配置示例

2.1.1 引入依赖

由于slf4j只提供一个核心slf4j api(就是slf4j-api.jar包)，这个包只有日志的接口，并没有实现，所以如果要使用就得再给它提供一个实现了些接口的日志包，比 如：log4j,common logging,jdk log日志实现包等，但是这些日志实现又不能通过接口直接调用，实现上他们根本就和slf4j-api不一致，因此slf4j又增加了一层来转换各日志实 现包的使用，比如slf4j-log4j12等。

    1.7.13
    1.7.25
    1.2.15
    1.18.6



    
    
        org.projectlombok
        lombok
        ${lombok.version}
    

    
    
        org.slf4j
        slf4j-api
        ${slf4j-api.version}
    

    
    
        org.slf4j
        slf4j-log4j12
        ${slf4j-log4j12.version}
    
    
    
    
        log4j
        log4j
        ${log4j.version}
    

2.1.2 配置文件

配置文件log4j.xml的内容如下：

2.1.3 自定义翻滚类

扩展的一个按天滚动的appender类, 暂时不支持datePattern设置, 但是可以配置maxBackupIndex。

package com.netease.cloud.scaffold.common.log;


import org.apache.log4j.FileAppender;
import org.apache.log4j.Layout;
import org.apache.log4j.helpers.LogLog;
import org.apache.log4j.spi.LoggingEvent;

import java.io.File;
import java.io.IOException;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Calendar;
import java.util.Date;
import java.util.List;

/**
 * 扩展的一个按天滚动的appender类, 暂时不支持datePattern设置, 但是可以配置maxBackupIndex
 *
 * @author Dan Shan
 */
public class CustomLogAppender extends FileAppender {

    /**
     * 不允许改写的datepattern
     */
    private static final String datePattern = "'.'yyyy-MM-dd";
    /**
     * 最多文件增长个数
     */
    private int maxBackupIndex = 2;
    /**
     * 文件名+上次最后更新时间
     */
    private String scheduledFilename;

    /**
     * The next time we estimate a rollover should occur.
     */
    private long nextCheck = System.currentTimeMillis() - 1;

    Date now = new Date();
    SimpleDateFormat sdf;

    /**
     * The default constructor does nothing.
     */
    public CustomLogAppender() {
    }

    /**
     * 改造过的构造器
     */
    public CustomLogAppender(Layout layout, String filename, int maxBackupIndex) throws IOException {
        super(layout, filename, true);
        this.maxBackupIndex = maxBackupIndex;
        activateOptions();
    }

    /**
     * 初始化本Appender对象的时候调用一次
     */
    @Override
    public void activateOptions() {
        super.activateOptions();
        if (fileName != null) {
            // perf.log now.setTime(System.currentTimeMillis());
            sdf = new SimpleDateFormat(datePattern);
            File file = new File(fileName);
            // 获取最后更新时间拼成的文件名
            scheduledFilename = fileName + sdf.format(new Date(file.lastModified()));
        } else {
            LogLog.error("File is not set for appender [" + name + "].");
        }
        if (maxBackupIndex <= 0) {
            LogLog.error("maxBackupIndex reset to default value[2],orignal value is:" + maxBackupIndex);
            maxBackupIndex = 2;
        }
    }

    /**
     * 滚动文件的函数:

     * 1. 对文件名带的时间戳进行比较, 确定是否更新

     * 2. if需要更新, 当前文件rename到文件名+日期, 重新开始写文件

     * 3. 针对配置的maxBackupIndex,删除过期的文件
     */
    void rollOver() throws IOException {
        String datedFilename = fileName + sdf.format(now);
        // 如果上次写的日期跟当前日期相同，不需要换文件
        if (scheduledFilename.equals(datedFilename)) {
            return;
        }
        // close current file, and rename it to datedFilename
        this.closeFile();
        File target = new File(scheduledFilename);
        if (target.exists()) {
            try {
                target.delete();
            } catch (SecurityException e) {
                e.printStackTrace();
            }
        }

        File file = new File(fileName);
        boolean result = file.renameTo(target);
        if (result) {
            LogLog.debug(fileName + " -> " + scheduledFilename);
        } else {
            LogLog.error("Failed to rename [" + fileName + "] to [" + scheduledFilename + "].");
        }

        // 删除过期文件
        if (maxBackupIndex > 0) {
            File folder = new File(file.getParent());
            List maxBackupIndexDates = getMaxBackupIndexDates();
            for (File ff : folder.listFiles()) {
                // 遍历目录，将日期不在备份范围内的日志删掉
                if (ff.getName().startsWith(file.getName()) && !ff.getName().equals(file.getName())) {
                    // 获取文件名带的日期时间戳
                    String markedDate = ff.getName().substring(file.getName().length());
                    if (!maxBackupIndexDates.contains(markedDate)) {
                        result = ff.delete();
                    }
                    if (result) {
                        LogLog.debug(ff.getName() + " -> deleted ");
                    } else {
                        LogLog.error("Failed to deleted old DayRollingFileAppender file :" + ff.getName());
                    }
                }
            }
        }

        try {
            // This will also close the file. This is OK since multiple
            // close operations are safe.
            this.setFile(fileName, false, this.bufferedIO, this.bufferSize);
        } catch (IOException e) {
            errorHandler.error("setFile(" + fileName + ", false) call failed.");
        }

        scheduledFilename = datedFilename;
        // 更新最后更新日期戳
    }

    /**
     * Actual writing occurs here.
     * 这个方法是写操作真正的执行过程.
     */
    @Override
    protected void subAppend(LoggingEvent event) {

        long n = System.currentTimeMillis();
        if (n >= nextCheck) {

            // 在每次写操作前判断一下是否需要滚动文件
            now.setTime(n);
            nextCheck = getNextDayCheckPoint(now);
            try {
                rollOver();
            } catch (IOException ioe) {
                LogLog.error("rollOver() failed.", ioe);
            }
        }
        super.subAppend(event);
    }

    /**
     * 获取下一天的时间变更点
     *
     * @param now
     * @return
     */
    long getNextDayCheckPoint(Date now) {

        Calendar calendar = Calendar.getInstance();
        calendar.setTime(now);
        calendar.set(Calendar.HOUR_OF_DAY, 0);
        calendar.set(Calendar.MINUTE, 0);
        calendar.set(Calendar.SECOND, 0);
        calendar.set(Calendar.MILLISECOND, 0);// 注意MILLISECOND,毫秒也要置0.。。否则错了也找不出来的 calendar.add(Calendar.DATE, 1);
        return calendar.getTimeInMillis();
    }

    /**
     * 根据maxBackupIndex配置的备份文件个数，获取要保留log文件的日期范围集合
     *
     * @return list<'   fileName   +   yyyy-MM-dd   '>
     */
    List getMaxBackupIndexDates() {

        List result = new ArrayList();
        if (maxBackupIndex > 0) {
            for (int i = 1; i <= maxBackupIndex; i++) {
                Calendar calendar = Calendar.getInstance();
                calendar.setTime(now);
                calendar.set(Calendar.HOUR_OF_DAY, 0);
                calendar.set(Calendar.MINUTE, 0);
                calendar.set(Calendar.SECOND, 0);
                calendar.set(Calendar.MILLISECOND, 0);

                // 注意MILLISECOND,毫秒也要置0...否则错了也找不出来的
                calendar.add(Calendar.DATE, -i);
                result.add(sdf.format(calendar.getTime()));
            }
        }

        return result;
    }

    public int getMaxBackupIndex() {
        return maxBackupIndex;
    }

    public void setMaxBackupIndex(int maxBackupIndex) {
        this.maxBackupIndex = maxBackupIndex;
    }

    public String getDatePattern() {
        return datePattern;
    }
}

2.1.4 测试

访问地址：localhost:8080/log,
控制台输出显示如下：

控制台输出

日志文件输出显示如下：

日志文件输出

不难发现，日志文件中的日志内容只有info级别及其以上的日志内容，并且在打印类信息的时候只有简短的类名和方法名信息。

2.2 lockback日志配置示例

2.2.1 引入依赖

    1.7.13
    1.2.3
    1.18.6



    
    
        org.projectlombok
        lombok
        ${lombok.version}
    

    
    
      org.slf4j
      slf4j-api
      ${slf4j-api.version}
    
    
    
    
    
      ch.qos.logback
      logback-classic
      ${logback-classic.version}
    

2.2.2 配置文件

配置文件logback.xml的内容如下：

    logback
    
    
    
    
        
        
        
            DEBUG
        
        
        
        
            [%d{yyyy-MM-dd HH:mm:ss SSS}] [%-5p] [%X{traceId}] [%t] [%l] %m%n
        
    

    
        
        
        
        ${scheduler.manager.server.home}/logs/${app.name}.log
        
        
            INFO
        
        
        
            
            ${scheduler.manager.server.home}/logs/${app.name}.%d{yyyy-MM-dd.HH}.log.gz
            
            
            30
            
            20GB
        
        
            
            500MB
        
        
        
            [%d{HH:mm:ss.SSS}] [%-5p] [%X{traceId}] [%F %M] %m%n
        
    

    
    
    
    
    
    

    
    
        
        
        
    

    
    
    
    




    
    

JVM启动参数配置：

-Dscheduler.manager.server.home=C:\Users\louxiujun\scaffold

JVM启动参数

2.2.3 测试

再次利用准备工作中的Controller进行测试，观察到控制台和日志文件的输出与上面配置log4j时的输出完全一致，这里就不再贴图展示了。

三、其他说明

如果使用了Springboot搭建的项目，如果计划使用logback作为日志框架，那么恭喜你，上述的依赖都不需要引入的，各种stater都会帮忙引入logback的依赖包，因为logback已经成为SpringBoot的默认日志依赖，你需要做的就是配置一下日志配置文件而已。但是如果需要在SpringBoot项目中使用log4j，那么你需要将各个starter中的logback给排除掉，下面举一个具体的例子：

    org.springframework.boot
    spring-boot-starter-web
    
        
            org.springframework.boot
            spring-boot-starter-logging