python日志处理框架logging精讲

简介

在 Python 中有一个标准的 logging 模块，我们可以使用它来进行标注的日志记录，利用它我们可以更方便地进行日志记录，同时还可以做更方便的级别区分以及一些额外日志信息的记录，如时间、运行模块信息等。

logging 模块有这几种 Python 类型，Logger、LogRecord、Filter、Handler、Formatter，解释如下：

• Logger：即 Logger Main Class，是我们进行日志记录时创建的对象，我们可以调用它的方法传入日志模板和信息，来生成一条条日志记录，称作 Log Record。
• Log Record：就代指生成的一条条日志记录。
• Handler：即用来处理日志记录的类，它可以将 Log Record 输出到我们指定的日志位置和存储形式等，如我们可以指定将日志通过 FTP 协议记录到远程的服务器上，Handler 就会帮我们完成这些事情。
• Formatter：实际上生成的 Log Record 也是一个个对象，那么我们想要把它们保存成一条条我们想要的日志文本的话，就需要有一个格式化的过程，那么这个过程就由 Formatter 来完成，返回的就是日志字符串，然后传回给 Handler 来处理。
• Filter：另外保存日志的时候我们可能不需要全部保存，我们可能只需要保存我们想要的部分就可以了，所以保存前还需要进行一下过滤，留下我们想要的日志，如只保存某个级别的日志，或只保存包含某个关键字的日志等，那么这个过滤过程就交给 Filter 来完成。

日志级别

logging 模块共提供了如下等级，每个等级其实都对应了一个数值，列表如下：

等级	数值
CRITICAL	50
FATAL	50
ERROR	40
WARNING	30
WARN	30
INFO	20
DEBUG	10
NOTSET	0

日志格式

变量	格式	变量描述
asctime	%(asctime)s	将日志的时间构造成可读的形式，默认情况下是精确到毫秒，如 2018-10-13 23:24:57,832，可以额外指定 datefmt 参数来指定该变量的格式
name	%(name)	日志对象的名称
filename	%(filename)s	不包含路径的文件名
pathname	%(pathname)s	包含路径的文件名
funcName	%(funcName)s	日志记录所在的函数名
levelname	%(levelname)s	日志的级别名称
message	%(message)s	具体的日志信息
lineno	%(lineno)d	日志记录所在的行号
pathname	%(pathname)s	完整路径
process	%(process)d	当前进程ID
processName	%(processName)s	当前进程名称
thread	%(thread)d	当前线程ID
threadName	%threadName)s	当前线程名称

日志输出

logging 模块提供的 Handler 有：

Handler类别	描述
StreamHandler	logging.StreamHandler；日志输出到流，可以是 sys.stderr，sys.stdout 或者文件。
FileHandler	logging.FileHandler；日志输出到文件。
BaseRotatingHandler	logging.handlers.BaseRotatingHandler；基本的日志回滚方式。
RotatingHandler	logging.handlers.RotatingHandler；日志回滚方式，支持日志文件最大数量和日志文件回滚。
TimeRotatingHandler	logging.handlers.TimeRotatingHandler；日志回滚方式，在一定时间区域内回滚日志文件。
SocketHandler	logging.handlers.SocketHandler；远程输出日志到TCP/IP sockets。
DatagramHandler	logging.handlers.DatagramHandler；远程输出日志到UDP sockets。
SMTPHandler	logging.handlers.SMTPHandler；远程输出日志到邮件地址。
SysLogHandler	logging.handlers.SysLogHandler；日志输出到syslog。
NTEventLogHandler	logging.handlers.NTEventLogHandler；远程输出日志到Windows NT/2000/XP的事件日志。
MemoryHandler	logging.handlers.MemoryHandler；日志输出到内存中的指定buffer。
HTTPHandler	logging.handlers.HTTPHandler；通过”GET”或者”POST”远程输出到HTTP服务器。

初级使用

import logging
 
logging.basicConfig(level=logging.INFO, datefmt='%Y-%m-%d %H:%M:%S', format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')
logger = logging.getLogger(__name__)
 
logger.info('This is a log info')
logger.debug('Debugging')
logger.warning('Warning exists')
logger.info('Finish')
#输出
2018-06-03 13:42:43,526 - __main__ - INFO - This is a log info
2018-06-03 13:42:43,526 - __main__ - WARNING - Warning exists
2018-06-03 13:42:43,526 - __main__ - INFO - Finish
#

basicConfig 的参数都有哪些：

1. filename：即日志输出的文件名，如果指定了这个信息之后，实际上会启用 FileHandler，而不再是StreamHandler，这样日志信息便会输出到文件中了。
2. filemode：这个是指定日志文件的写入方式，有两种形式，一种是 w，一种是 a，分别代表清除后写入和追加写入。
3. format：指定日志信息的输出格式，即上文示例所示的参数。
4. datefmt：指定时间的输出格式。
5. style：如果 format 参数指定了，这个参数就可以指定格式化时的占位符风格，如 %、{、$ 等。
6. level：指定日志输出的类别，程序会输出大于等于此级别的信息。
7. stream：在没有指定 filename 的时候会默认使用 StreamHandler，这时 stream 可以指定初始化的文件流。
8. handlers：可以指定日志处理时所使用的 Handlers，必须是可迭代的。

中级使用

输出日志到控制台和文件

import logging
import sys
#root
logger = logging.getLogger(__name__)
logger.setLevel(level=logging.DEBUG)
formatter = logging.Formatter('%(asctime)s - %(levelname)s -  %(filename)s - %(lineno)d - %(message)s')

#StreamHandler
console = logging.StreamHandler(sys.stdout)
console.setLevel(level=logging.INFO)
console.setFormatter(formatter)
logger.addHandler(console)

#FileHandler
file = logging.FileHandler("logs/output.log", encoding='utf-8')
file.setLevel(level=logging.DEBUG)
file.setFormatter(formatter)
logger.addHandler(file)

#TimedRotatingFileHandler
# rotatingFile = TimedRotatingFileHandler("logs/test.log", when="D", interval=1)
# rotatingFile.setLevel(level=logging.DEBUG)
# rotatingFile.setFormatter(formatter)
# logger.addHandler(rotatingFile)

logger.info('This is a log info')
logger.debug('Debugging')
logger.warning('Warning exists')
logger.info('Finish')

高级使用

在开发过程中，将配置在代码里面写死并不是一个好的习惯，更好的做法是将配置写在配置文件里面，我们可以将配置写入到配置文件，然后运行时读取配置文件里面的配置，这样是更方便管理和维护的。常见的配置文件有 ini 格式、yaml 格式、JSON 格式。

1. config.yaml

version: 1
formatters:
  brief:
    format: "%(asctime)s - %(message)s"
  simple:
    format: "%(asctime)s - %(name)s - %(levelname)s - %(message)s"
handlers:
  console:
    class : logging.StreamHandler
    formatter: brief
    level: INFO
    stream: ext://sys.stdout
  file:
    class : logging.FileHandler
    formatter: simple
    level: DEBUG
    filename: debug.log
  totatingFile:
    class: logging.handlers.RotatingFileHandler
    level: ERROR
    formatter: simple
    filename: error.log
    maxBytes: 10485760
    backupCount: 20
    encoding: utf8
loggers:
  main:
    level: DEBUG
    handlers: [console, file, totatingFile]
root:
  level: DEBUG
  handlers: [console]

然后在主程序中引入配置

import logging.config
import yaml

with open('config.yaml', 'r') as f:
    config = yaml.safe_load(f.read())
    logging.config.dictConfig(config)

logger = logging.getLogger("main")
# 省略日志输出

2. config.ini

[loggers]
keys=root,sampleLogger

[handlers]
keys=consoleHandler,fileHandler

[formatters]
keys=sampleFormatter,complexFormatter

[logger_root]
level=DEBUG
handlers=consoleHandler

[logger_sampleLogger]
level=DEBUG
handlers=consoleHandler
qualname=sampleLogger
propagate=0

[handler_consoleHandler]
class=StreamHandler
level=DEBUG
formatter=sampleFormatter
args=(sys.stdout,)

[handler_fileHandler]
class=FileHandler
level=DEBUG
formatter=complexFormatter
args=('output.log', 'w')

[formatter_sampleFormatter]
format=%(asctime)s - %(levelname)s - %(message)s
datefmt=
class=logging.Formatter

[formatter_complexFormatter]
format=%(asctime)s - %(name)s - %(levelname)s - %(message)s
datefmt=
class=logging.Formatter

propagete为1表示message必须传播到上一级logger中，为0表示不传。
qualname表示该logger的层级channel名称，这就是说，应用程序使用该名称可以得到该logger对象。
datefmt是strftime()兼容的date/time格式字符串，为空时使用默认的ISO8601格式，比如2003-01-23 00:29:50,411。
args字段是handler类的构造函数的变量列表。
同样的在主程序中引入配置

import logging.config

logging.config.fileConfig(fname='config.ini', disable_existing_loggers=False)
logger = logging.getLogger("sampleLogger")

---

END