日志管理工具Zap笔记
文章目录
-
- Uber-go Zap日志库
-
- 为什么选择 Zap
- 配置 Zap Logger
-
- 1. Logger
- 2. SugaredLogger
- 定制logger
-
- 1. 将日志写入文件而不是终端
- 2. 将JSON Encoder更改为普通的Log Encoder
- 3. 更改时间编码并添加调用者详细信息
- 4. AddCallerSkip
- 5. 将err日志单独输出到文件
- 使用Lumberjack进行日志切割归档
-
- zap logger中加入Lumberjack
- 总结
Uber-go Zap日志库
为什么选择 Zap
Zap是非常快的、结构化的，分日志级别的Go日志库。
根据Uber-go Zap的文档，它的性能比类似的结构化日志包更好，也比标准库更快。 以下是Zap发布的基准测试信息
记录一条消息和10个字段:
记录一个静态字符串，没有任何上下文或printf风格的模板：
配置 Zap Logger
Zap提供了两种类型的日志记录器：Sugared Logger和Logger。
- 在性能很好但不是很关键的上下文中，使用
SugaredLogger。它比其他结构化日志记录包快4-10倍，并且支持结构化和printf风格的日志记录。 - 在每一微秒和每一次内存分配都很重要的上下文中，使用
Logger。它比SugaredLogger更快，内存分配次数也更少，但它只支持强类型的结构化日志记录。
什么是printf风格的日志记录？就是实现相同的日志描述，sugarLogger只要写更少的代码就能实现更清晰的描述功能。demo代码如下：
// 使用logger
logger.Info("Failed to fetch URL", zap.String("url", url))
logger.Debug("Retrying：", zap.Int("delay", delay))
// 使用sugarLogger
sugarLogger.Infof("Failed to fetch URL: %s", url)
sugarLogger.Debugf("Retrying in %d seconds...", delay)
1. Logger
- 通过调用 zap.NewProduction()/zap.NewDevelopment()或者zap.Example()创建一个Logger。
zap.NewProduction(): 创建一个适合在生产环境中使用的Logger。这个Logger会输出JSON格式的日志，包含时间戳和调用者信息。默认情况下，它会将InfoLevel及以上的日志写入标准输出。这个Logger的配置更注重性能和日志的机器解析性。zap.NewDevelopment(): 创建一个适合在开发环境中使用的Logger。这个Logger的输出格式更适合人类阅读，而不是机器解析。它也包含了时间戳和调用者信息，但是默认情况下，它会将DebugLevel及以上的日志写入标准错误输出。这个Logger的配置更注重人类的可读性和错误的详细信息。zap.Example(): 创建一个简单的Logger主要用于库的示例。这个Logger会将所有级别的JSON格式的日志写入标准输出，不包含时间戳和调用者信息。这个Logger配置主要用于演示库的基础功能，通常不会在生产或开发环境中使用。
- 通过Logger调用Info/Error等。
- 默认情况下日志都会打印到应用程序的console界面。
var logger *zap.Logger
func main() {
InitLogger()
defer func(logger *zap.Logger) {
//每个使用zap库的应用程序在结束前都应调用Logger.Sync()，来确保所有的日志都被写入目标设备。
//因为zap库为了提高性能，可能会缓存一些日志在内存中，而不是立即写入目标设备。
_ = logger.Sync()
}(logger)
simpleHttpGet("https://www.baidu.com")
simpleHttpGet("https://www.google.com")
}
func InitLogger() {
logger, _ = zap.NewProduction()
}
func simpleHttpGet(url string) {
resp, err := http.Get(url)
if err != nil {
logger.Error(
"Error fetching url..",
zap.String("url", url),
zap.Error(err))
} else {
logger.Info("Success..",
zap.String("statusCode", resp.Status),
zap.String("url", url))
_ = resp.Body.Close()
}
}
当发送请求错误时使用error级别的日志记录；当请求成功时使用info级别的日志记录。运行结果如下：
2. SugaredLogger
var sugarLogger *zap.SugaredLogger
func main() {
InitLogger()
defer func(sugarLogger *zap.SugaredLogger) {
_ = sugarLogger.Sync()
}(sugarLogger)
simpleHttpGet("https://www.baidu.com")
simpleHttpGet("https://www.google.com")
}
func InitLogger() {
logger, _ := zap.NewProduction()
sugarLogger = logger.Sugar()
}
func simpleHttpGet(url string) {
sugarLogger.Debugf("Trying to hit GET request for %s", url)
resp, err := http.Get(url)
if err != nil {
sugarLogger.Errorf("Error fetching URL %s : Error = %s", url, err)
} else {
sugarLogger.Infof("Success! statusCode = %s for URL %s", resp.Status, url)
_ = resp.Body.Close()
}
}
运行结果如下：
定制logger
1. 将日志写入文件而不是终端
我们将使用 zap.New() 方法来手动传递所有配置，而不是使用像 zap.NewProduction() 这样的预置方法来创建logger。logger常见完成要做的第一个更改是把日志写入文件，而不是打印到应用程序控制台。zap.New() 方法的原型如下：
func New(core zapcore.Core, options ...Option) *Logger
zapcore.Core 这个参数需要三个配置，分别是Encoder、WriteSyncer和LogLevel。
-
Encoder：编码器(如何写入日志)。这里使用开箱即用的 NewJSONEncoder()，zapcore.NewJSONEncoder()返回一个将日志消息编码为JSON格式的编码器。然后并使用预先设置的 NewProductionEncoderConfig()，这个NewProductionEncoderConfig()有如下配置可供选择：
MessageKey: 默认为"msg"，用于指定输出的消息的键名。LevelKey: 默认为"level"，用于指定输出的日志级别的键名。TimeKey: 默认为"ts"，用于指定输出的时间戳的键名。NameKey: 默认为"logger"，用于指定输出的日志记录器名称的键名。CallerKey: 默认为"caller"，用于指定输出的调用者信息的键名。StacktraceKey: 默认为"stacktrace"，用于指定输出的堆栈信息的键名。LineEnding: 默认为"\n"，用于指定行结束符。EncodeLevel: 默认为zapcore.LowercaseLevelEncoder，用于指定日志级别的编码方式。EncodeTime: 默认为zapcore.EpochTimeEncoder，用于指定时间戳的编码方式。EncodeDuration: 默认为zapcore.SecondsDurationEncoder，用于指定时间持续期的编码方式。EncodeCaller: 默认为zapcore.ShortCallerEncoder，用于指定调用者信息的编码方式。
// 这里我们都使用默认的即可 zapcore.NewJSONEncoder(zap.NewProductionEncoderConfig()) -
WriterSyncer：指定日志将写到哪里去。我们使用 zapcore.AddSync() 函数并且将打开的文件句柄传进去。
file, _ := os.Create("./log/demo.log") writeSyncer := zapcore.AddSync(file) -
Log Level：哪种级别的日志将被写入。有以下几种日志级别：
DebugLevel: 通常只在开发环境中使用，用于输出详细的调试信息。InfoLevel: 适用于生产环境，用于记录关键的系统信息。WarnLevel: 对可能存在问题的情况进行警告，但不会影响系统运行。ErrorLevel: 在系统无法正常运行时进行记录，比如无法进行数据库连接、缺失必要的配置文件等。DPanicLevel: 用于开发环境，当代码运行到绝不应该运行的部分时，记录Panic日志。在生产环境，不会引起Panic，只会记录错误。PanicLevel: 与DPanicLevel相似，用于非开发环境，当代码运行到绝不应该运行的部分时，会引发Panic。FatalLevel: 当系统无法运行时，记录致命错误，然后调用os.Exit。
修改上述部分中的Logger代码：重写InitLogger()方法。
func InitLogger() { encoder := getEncoder() writeSyncer := getLogWriter() core := zapcore.NewCore(encoder, writeSyncer, zapcore.DebugLevel) logger := zap.New(core) sugarLogger = logger.Sugar() } func getEncoder() zapcore.Encoder { return zapcore.NewJSONEncoder(zap.NewProductionEncoderConfig()) } func getLogWriter() zapcore.WriteSyncer { file, _ := os.Create("./log/demo.log") return zapcore.AddSync(file) }
当使用这些修改过的logger配置调用上述部分的main()函数时，以下输出将打印在文件./log/demo.log中。
{"level":"debug","ts":1697091706.9003525,"msg":"Trying to hit GET request for https://www.baidu.com"}
{"level":"info","ts":1697091707.2923145,"msg":"Success! statusCode = 200 OK for URL https://www.baidu.com"}
{"level":"debug","ts":1697091707.2925751,"msg":"Trying to hit GET request for https://www.google.com"}
{"level":"error","ts":1697091728.6855457,"msg":"Error fetching URL https://www.google.com : Error = Get \"https://www.google.com\": dial tcp [2a03:2880:f126:83:face:b00c:0:25de]:443: connectex: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond."}
2. 将JSON Encoder更改为普通的Log Encoder
现在，我们希望将编码器从JSON Encoder更改为普通Encoder。其实只需要将NewJSONEncoder()更改为NewConsoleEncoder()即可。
func getEncoder() zapcore.Encoder {
return zapcore.NewConsoleEncoder(zap.NewProductionEncoderConfig())
}
最后的日志结果如下：
1.6970938827359314e+09 debug Trying to hit GET request for https://www.baidu.com
1.697093883124089e+09 info Success! statusCode = 200 OK for URL https://www.baidu.com
1.6970938831244597e+09 debug Trying to hit GET request for https://www.google.com
1.6970939045269628e+09 error Error fetching URL https://www.google.com : Error = Get "https://www.google.com": dial tcp 162.125.32.15:443: connectex: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.
3. 更改时间编码并添加调用者详细信息
第一步：覆盖默认的ProductionConfig()
func getEncoder() zapcore.Encoder {
// 得到编码配置
encoderConfig := zap.NewProductionEncoderConfig()
// 通过配置修改时间编码规则
encoderConfig.EncodeTime = zapcore.ISO8601TimeEncoder
// 通过配置添加调用者信息
encoderConfig.EncodeLevel = zapcore.CapitalLevelEncoder
return zapcore.NewConsoleEncoder(encoderConfig)
}
第二步：修改zap logger代码，添加将调用函数信息记录到日志中的功能。也就是在zap.New()函数中添加一个Option。
logger := zap.New(core, zap.AddCaller())
最后的运行结果如下：
2023-10-12T15:11:29.098+0800 DEBUG zap/main.go:47 Trying to hit GET request for https://www.baidu.com
2023-10-12T15:11:29.624+0800 INFO zap/main.go:52 Success! statusCode = 200 OK for URL https://www.baidu.com
2023-10-12T15:11:29.624+0800 DEBUG zap/main.go:47 Trying to hit GET request for https://www.google.com
2023-10-12T15:11:51.053+0800 ERROR zap/main.go:50 Error fetching URL https://www.google.com : Error = Get "https://www.google.com": dial tcp [2a03:2880:f10d:83:face:b00c:0:25de]:443: connectex: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.
4. AddCallerSkip
当我们不是直接使用初始化好的logger实例记录日志，而是将其包装成一个函数等，此时日录日志的函数调用链会增加，想要获得准确的调用信息就需要通过AddCallerSkip函数来跳过。
logger := zap.New(core, zap.AddCaller(), zap.AddCallerSkip(1))
5. 将err日志单独输出到文件
有时候我们除了将全量日志输出到xxx.log文件中之外，还希望将ERROR级别的日志单独输出到一个名为xxx.err.log的日志文件中。我们可以通过以下方式实现。
func InitLogger() {
encoder := getEncoder()
// demo.log记录全量日志
logF, _ := os.Create("./log/demo.log")
c1 := zapcore.NewCore(encoder, zapcore.AddSync(logF), zapcore.DebugLevel)
// demo.err.log记录ERROR级别的日志
errF, _ := os.Create("./log/demo.err.log")
c2 := zapcore.NewCore(encoder, zapcore.AddSync(errF), zap.ErrorLevel)
// 使用NewTee将c1和c2合并到core
core := zapcore.NewTee(c1, c2)
logger := zap.New(core, zap.AddCaller())
sugarLogger = logger.Sugar()
}
demo.err.log的内容如下：
2023-10-12T15:21:09.108+0800 ERROR zap/main.go:55 Error fetching URL https://www.google.com : Error = Get "https://www.google.com": dial tcp [2a03:2880:f112:83:face:b00c:0:25de]:443: connectex: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.
demo.log的内容如下：
2023-10-12T15:20:47.300+0800 DEBUG zap/main.go:52 Trying to hit GET request for https://www.baidu.com
2023-10-12T15:20:47.675+0800 INFO zap/main.go:57 Success! statusCode = 200 OK for URL https://www.baidu.com
2023-10-12T15:20:47.675+0800 DEBUG zap/main.go:52 Trying to hit GET request for https://www.google.com
2023-10-12T15:21:09.108+0800 ERROR zap/main.go:55 Error fetching URL https://www.google.com : Error = Get "https://www.google.com": dial tcp [2a03:2880:f112:83:face:b00c:0:25de]:443: connectex: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.
使用Lumberjack进行日志切割归档
Zap日志工具唯一缺少的就是日志切割归档功能。这里使用第三方库Lumberjack来实现，但是这个库目前只支持按文件大小切割，原因是按时间切割效率低且不能保证日志数据不被破坏。
zap logger中加入Lumberjack
要在zap中加入Lumberjack支持，我们需要修改WriteSyncer代码。我们将按照下面的代码修改getLogWriter()函数：
// MaxSize:定义了日志文件的最大大小，单位是MB。
// MaxBackups:定义了最多保留的备份文件数量。当备份文件数量超过MaxBackups后，lumberjack会自动删除最旧的备份文件。
// MaxAge:定义了备份文件的最大保存天数。当备份文件的保存天数超过MaxAge后，lumberjack会自动删除备份文件。
// Compress:定义了备份文件是否需要压缩。如果设置为true，备份的日志文件会被压缩为.gz格式。
func getLogWriter() zapcore.WriteSyncer {
lumberJackLogger := &lumberjack.Logger{
Filename: "./log/demo.log",
MaxSize: 1,
MaxBackups: 5,
MaxAge: 30,
Compress: false,
}
return zapcore.AddSync(lumberJackLogger)
}
最后只要将getLogWriter返回就行。
writeSyncer := getLogWriter()
总结
以上就是Zap库的基本使用。下面做一个总结：
- Zap提供了两种类型的日志记录器：Sugared Logger和Logger。
- 对于性能要求不是非常高的应用可以使用Sugared Logger。相比于Logger，Sugared Logger提供了printf风格的日志记录。
- 对于性能要求非常高的应用需要使用Logger来保证性能。
- 不管是Logger还是Sugared Logger，它们都有三个预制化的日志：zap.NewProduction()、zap.NewDevelopment()和zap.Example()。
- 如果不想使用预制化的日志记录，可以自己定制日志记录。
- 定制日志需要使用zap.New方法，该方法有一个core参数和多个options。
- core参数需要通过zapcore.NewCore()方法生成，该方法需要三个参数：encoder、writeSyncer和level。
- 通过配置encoder参数可以指定日志级别的编码方式（是JSON格式还是控制台格式），还可以指定更改时间编码方式等。
- 通过配置writeSyncer参数可以指定日志的输出位置。并且通过引入Lumberjack库还可以实现日志切割。
- 通过配置level参数可以控制日志级别，有DebugLevel、InfoLevel、ErrorLevel等级别，可以根据需要进行选择。