python日志处理
1 基本概念
在程序运行的过程中有时需要查看程序运行的状态，这时就需要用的日志处理模块。在python中日志是通过logging这个模块实现的。我们先简单输出日志查看一下：
import logging
logging.basicConfig(format='%(asctime)s-%(name)s-%(levelname)s-%(message)s')
logging.debug('This is debug message')
logging.info('This is info message')
logging.warning('This is warning message')
logging.error('This is error message')
logging.critical('This is critical message')
2020-03-16 08:58:53,655-root-WARNING-This is warning message
2020-03-16 08:58:53,659-root-ERROR-This is error message
2020-03-16 08:58:53,659-root-CRITICAL-This is critical message
其中‘2020-03-16 08:58:53,655’对应的是‘%(asctime)s’，表示当前时间；‘root’对应‘%(name)s’，表示logger实例的名称，默认名称是‘root’；‘warning’对应‘%(levelname)s’，表示日志级别（可以看到默认是warning，它以下的info和debug都不显示）；‘This is warning message’对应‘%(message)s’，表示用户要输出的日志内容。
1.1 日志级别
| 级别 | 对应数值 |
|---|---|
| logging.NOTSET | 0 |
| loggin.DEBUG | 10 |
| logging.INFO | 20 |
| logging.WARNING（默认） | 30 |
| logging.ERROR | 40 |
| logging.CRITICAL | 50 |
import logging
print(logging.NOTSET)
print(logging.DEBUG)
print(logging.INFO)
print(logging.WARNING)
print(logging.ERROR)
print(logging.CRITICAL)
0
10
20
30
40
50
就像开头实验的一样，默认日志级别是warning，所以它以下的info和debug都不显示。假设设置了日志级别为info，则会输出级别大于或者等于info的日志，而小于它的如debug则不会输出。
import logging
logging.basicConfig(format='%(asctime)s-%(name)s-%(levelname)s-%(message)s',level = logging.INFO)
logging.debug('This is debug message')
logging.info('This is info message')
logging.warning('This is warning message')
logging.error('This is error message')
logging.critical('This is critical message')
2020-03-16 14:34:01,867-root-INFO-This is info message
2020-03-16 14:34:01,867-root-WARNING-This is warning message
2020-03-16 14:34:01,868-root-ERROR-This is error message
2020-03-16 14:34:01,868-root-CRITICAL-This is critical message
1.2 Formatter
Formatter定义日志的格式，即输出的每条日志由哪几个部分组成
1.2.1 常用参数
| 参数 | 含义 |
|---|---|
| %(message)s | 用户自定义要输出的信息 |
| %(asctime)s | 当前的日期时间 |
| %(name)s | logger实例的名称 |
| %(module)s | 使用logger实例的模块名 |
| %(filename)s | 使用logger实例的模块的文件名 |
| %(funcName)s | 使用logger实例的函数名 |
| %(lineno)d | 使用logger实例的代码行号 |
| %(levelname)s | 日志级别名称。 %(levelno)s 表示日志级别的数字形式 |
| %(thread)d | 使用logger实例的线程号（测试多线程时有用） |
| %(threadName)s | 使用logger实例的线程名称（测试多线程时有用） |
| %(process)d | 使用logger实例的进程号（测试多进程时有用） |
1.2.2 创建Formatter
formatter = logging.Formatter(
'%(asctime)s-%(filename)s[line:%(lineno)d]-<%(threadName)s%(thread)d>'+'--%(levelname)s:%(message)s'
)
现在就可以将创建的Formatter用于接下来要讲的Handler上
1.3 Handler
Handler用来设置将日志输出到哪里。像本文开头示例，logging.basicConfig()默认会创建logging.StreamHandler()，将日志输出到sys.stdout标准控制台，即屏幕上。
1.3.1 常用的Handler
- logging.StreamHandler：输出到控制台
- logging.FileHandler：输出到指定的日志文件中
- logging.handlers.RotatingFileHandler：也是输出到日志文件中，还可以指定日志文件的最大大小和副本数，当日志文件增长到设置的大小后，会先将原日志文件 test.log 重命名，如 test.log.1，然后再创建一个 test.log 继续写入日志。如果设置了副本数 N，则最多只能存在 N 个重命名的日志文件
- logging.handlers.TimedRotatingFileHandler：按日期时间保存日志文件，如果设置了滚动周期，则只存在这个周期内的日志文件。比如，只保留一周内的日志
- logging.handlers.SMTPHandler：捕获到指定级别的日志后，给相应的邮箱发送邮件
1.3.2 创建Handler
# 创建StreamHandler，输出日志到控制台
stream_handler = logging.StreamHandler()
1.3.2.1 Handler的常用方法
- stream_handler.setFormatter(formatter)：设置Handler的日志格式，参数formatter为上一节中的logging.Formatter实例
- stream_handler.setLevel(logging.INFO)：设置Handler的日志级别
然后就可以将创建的Handler添加到下一届的logger实例上
1.4 Logger
如前面所述，直接使用logging.basicConfig()默认使用root这个logger实例，我们也可以使用logging.getLogger()创建一个自定义命令的logger实例
# 1. 创建一个叫aiotest的logger实例，如果参数为空则返回root logger
logger = logging.getLogger('aiotest')
# 2. 设置总日志级别, 也可以给不同的handler设置不同的日志级别
logger.setLevel(logging.DEBUG)
# 3. 将Handler添加到logger实例上
logger.addHandler(stream_handler)
2 简单配置
2.1 使用默认日期时间格式，设置日志级别
import logging
logging.basicConfig(format='%(asctime)s-%(name)s-%(levelname)s-%(message)s',level = logging.INFO)
logging.debug('This is debug message')
logging.info('This is info message')
logging.warning('This is warning message')
logging.error('This is error message')
logging.critical('This is critical message')
2020-03-16 14:34:01,867-root-INFO-This is info message
2020-03-16 14:34:01,867-root-WARNING-This is warning message
2020-03-16 14:34:01,868-root-ERROR-This is error message
2020-03-16 14:34:01,868-root-CRITICAL-This is critical message
2.2 使用自定义日期格式，设置日志级别
import logging
logging.basicConfig(format='%(asctime)s-%(name)s-%(levelname)s-%(message)s',datefmt='%Y-%m-%d',level = logging.DEBUG)
logging.debug('This is debug message')
logging.info('This is info message')
logging.warning('This is warning message')
logging.error('This is error message')
logging.critical('This is critical message')
2020-03-16-root-DEBUG-This is debug message
2020-03-16-root-INFO-This is info message
2020-03-16-root-WARNING-This is warning message
2020-03-16-root-ERROR-This is error message
2020-03-16-root-CRITICAL-This is critical message
2.3 输出到日志文件
import logging
logging.basicConfig(filename='test.log',level=logging.INFO)
logging.debug('This is debug message')
logging.info('This is info message')
logging.warning('This is warning message')
logging.error('This is error message')
logging.critical('This is critical message')
这将会在当前目录下创建一个test.log日志文件
2.4 同时输出到控制台和日志文件
# logging_6.py
import os
import time
import logging
###
# 1. 创建logger实例，如果参数为空则返回root logger
###
logger = logging.getLogger('aiotest')
# 设置总日志级别，也可以给不同的handler设置不同的日志级别
logger.setLevel(logging.DEBUG)
###
# 2. 创建Handler，输出日志到控制台和文件
###
# 控制台日志和日志文件使用同一个Formatter
formatter = logging.Formatter(
'%(asctime)s-%(filename)s[line:%(lineno)d]-<%(threadName)s%(thread)d>' + '-%(process)d-%(levelname)s:%(message)s'
)
# 日志文件FileHandler
basedir = os.path.abspath(os.path.dirname(__file__))#返回脚本的路径，即文件路径中所在的目录（不包含文件名）
log_dest = os.path.join(basedir,'logs') # 日志文件所在目录
if not os.path.isdir(log_dest):
os.mkdir(log_dest)
filename = time.strftime('%Y-%m-%d-%H-%M-%S',time.localtime(time.time())) + '.log' # 日志文件名，以当前时间命名
file_handler = logging.FileHandler(os.path.join(log_dest,filename),encoding ='utf-8') # 创建日志文件handler
file_handler.setFormatter(formatter) # 设置Formatter
file_handler.setLevel(logging.INFO) # 单独设置日志文件的日志级别
# 控制台日志StreamHandler
stream_handler = logging.StreamHandler()
stream_handler.setFormatter(formatter)
# stream_handler.setLevel(logging.INFO) # 单独设置控制台日志的日志级别，注释掉则使用总日志级别
###
# 3. 将handler添加到logger中
###
logger.addHandler(file_handler)
logger.addHandler(stream_handler)
# 在同一目录的另一文件中调用
from logging_6 import logger
logger.info('This is info message')
2020-03-16 17:21:41,417-logging_7.py[line:3]-
- 9252-INFO:This is info message
我们可以看到在控制台和日志文件中都生成了日志记录。
有关python日志处理logging模块，还可以看下面这篇文章：
python中logging日志模块详解