python日志模块logging
日志记录框架:
1. logger 我们在进行日志记录时创建的对象,我们可以调用它的方法传入日志模版和信息,生成log Record
2. log Record 生成的一条条记录
3. Handler 处理日志的类,将log record 输出到指定的路径
4. Formatter 格式化,每一个log Record都是一个对象,我们需要将他格式化.通过Formatter将对象转成字符串返回给handler
5. Filter 过滤 筛选
6. Parent Handler handler之间存在分层关系,通过的handler之间可以共享相同功能的代码
logging模块提供了两种记录日志的方式：
使用logging提供的模块级别的函数记录日志
最简单的俩种日志输出：
import logging
# 创建日志记录
logging.debug("This is a debug log.")
logging.info("This is a info log.")
logging.warning("This is a warning log.")
logging.error("This is a error log.")
logging.critical("This is a critical log.")
import logging
# 创建日志记录
logging.log(logging.DEBUG, "This is a debug log.")
logging.log(logging.INFO, "This is a info log.")
logging.log(logging.WARNING, "This is a warning log.")
logging.log(logging.ERROR, "This is a error log.")
logging.log(logging.CRITICAL, "This is a critical log.")输出结果:
WARNING:root:This is a warning log.
ERROR:root:This is a error log.
CRITICAL:root:This is a critical log.为什么输出的为3条记录?
这是因为logging模块提供的日志记录函数所使用的日志器设置的日志级别默认是WARNING，因此只有WARNING级别的日志记录以及大于它的日志记录被输出。
logger的level之间的级别:
NOTSET < DEBUG < INFO < WARNING < ERROR < CRITICAL
logging.basicConfig()函数说明:
用于指定“要记录的日志级别”、“日志格式”、“日志输出位置”、“日志文件的打开模式”等信息，其他几个都是用于记录各个级别日志的函数，对root logger进行一次性配置。
logging.basicConfig()参数：
| 参数名称 | 描述 |
|---|---|
| filename | 指定日志输出目标文件的文件名，指定该设置项后日志信心就不会被输出到控制台了 |
| filemode | 指定日志文件的打开模式，默认为'a'。需要注意的是，该选项要在filename指定时才有效 |
| format | 指定日志格式字符串，即指定日志输出时所包含的字段信息以及它们的顺序。logging模块定义的格式字段下面会列出。 |
| datefmt | 指定日期/时间格式。需要注意的是，该选项要在format中包含时间字段%(asctime)s时才有效 |
| level | 指定日志器的日志级别 |
| stream | 指定日志输出目标stream，如sys.stdout、sys.stderr以及网络stream。需要说明的是，stream和filename不能同时提供，否则会引发 ValueError异常 |
| style | Python 3.2中新添加的配置项。指定format格式字符串的风格，可取值为'%'、'{'和'$'，默认为'%' |
| handlers | Python 3.3中新添加的配置项。该选项如果被指定，它应该是一个创建了多个Handler的可迭代对象，这些handler将会被添加到root logger。需要说明的是：filename、stream和handlers这三个配置项只能有一个存在，不能同时出现2个或3个，否则会引发ValueError异常。 |
format格式化字段：
| 字段/属性名称 | 使用格式 | 描述 |
|---|---|---|
| asctime | %(asctime)s | 日志事件发生的时间--人类可读时间，如：2003-07-08 16:49:45,896 |
| created | %(created)f | 日志事件发生的时间--时间戳，就是当时调用time.time()函数返回的值 |
| relativeCreated | %(relativeCreated)d | 日志事件发生的时间相对于logging模块加载时间的相对毫秒数（目前还不知道干嘛用的） |
| msecs | %(msecs)d | 日志事件发生事件的毫秒部分 |
| levelname | %(levelname)s | 该日志记录的文字形式的日志级别（'DEBUG', 'INFO', 'WARNING', 'ERROR', 'CRITICAL'） |
| levelno | %(levelno)s | 该日志记录的数字形式的日志级别（10, 20, 30, 40, 50） |
| name | %(name)s | 所使用的日志器名称，默认是'root'，因为默认使用的是 rootLogger |
| message | %(message)s | 日志记录的文本内容，通过 msg % args计算得到的 |
| pathname | %(pathname)s | 调用日志记录函数的源码文件的全路径 |
| filename | %(filename)s | pathname的文件名部分，包含文件后缀 |
| module | %(module)s | filename的名称部分，不包含后缀 |
| lineno | %(lineno)d | 调用日志记录函数的源代码所在的行号 |
| funcName | %(funcName)s | 调用日志记录函数的函数名 |
| process | %(process)d | 进程ID |
| processName | %(processName)s | 进程名称，Python 3.1新增 |
| thread | %(thread)d | 线程ID |
| threadName | %(thread)s | 线程名称 |
所以我们通过basicConfig()的相关设置就能进行格式化，配置存储的路径，存储的字段和日志的信息。
import logging
# 配置level级别,以及format格式化的运行时间,模块名称,日志级别,日志内容
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')
# 创建记录
logging.info('This is a log info')
logging.warning('Warning exists')
logging.info('Finish')输出：
2018-07-17 17:58:40,287 - root - INFO - This is a log info
2018-07-17 17:58:40,287 - root - WARNING - Warning exists
2018-07-17 17:58:40,287 - root - INFO - Finish设置下日期/时间格式和存储的路径：
import logging
# 配置level级别,以及format格式化的运行时间,模块名称,日志级别,日志内容,日志保存的路径
logging.basicConfig(level=logging.INFO, datefmt='%Y/%m/%d %H:%M',filename='output.log',format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')
# 创建记录
logging.info('This is a log info')
logging.warning('Warning exists')
logging.info('Finish')通过getlogger()方法创建日志器
import logging
logging.basicConfig(level=logging.INFO, datefmt='%Y/%m/%d %H:%M',format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')
# 创建日志器,每一个日志器都是唯一的
logger1 = logging.getLogger(__name__) # __name__代表的是__main__
logger2 = logging.getLogger('logger2')
logger3 = logging.getLogger('logger3')
# 创建记录
logger1.info('This is a log info')
logger2.warning('Warning exists')
logger3.error('error')输出:
2018/07/17 18:14 - __main__ - INFO - This is a log info
2018/07/17 18:14 - logger2 - WARNING - Warning exists
2018/07/17 18:14 - logger3 - ERROR - error关于
logging.basicConfig()的说明
- 只有在第一次调用该函数时会起作用,多次调用不会累加
- 它所使用的日志器是RootLogger类的实例,其名称为'root'，它是处于日志器层级关系最顶层的日志器，且该实例是以单例模式存在的。
- logging.info()等方法的定义中 ,除了msg和args参数外，还有一个**kwargs参数。它们支持3个关键字参数: exc_info, stack_info, extra
exc_info = True 有异常的时候会输出异常信息,没有会输出None
stack_info = True 会将栈信息将会被添加到日志信息中
extra = {} 它可以用来自定义消息格式中所包含的字段，但是它的key不能与logging模块定义的字段冲突
logging模块日志流处理流程
logging日志模块四大组件:
| 组件名称 | 对应类名 | 功能描述 |
|---|---|---|
| 日志器 | Logger | 提供了应用程序可一直使用的接口 |
| 处理器 | Handler | 将logger创建的日志记录发送到合适的目的输出 |
| 过滤器 | Filter | 提供了更细粒度的控制工具来决定输出哪条日志记录，丢弃哪条日志记录 |
| 格式器 | Formatter | 决定日志记录的最终输出格式 |
logging模块就是通过这些组件来完成日志处理的，上面所使用的logging模块级别的函数也是通过这些组件对应的类来实现的。
组件之间的关系:
- 日志器（logger）需要通过处理器（handler）将日志信息输出到目标位置，如：文件、sys.stdout、网络等；
- 不同的处理器（handler）可以将日志输出到不同的位置；
- 日志器（logger）可以设置多个处理器（handler）将同一条日志记录输出到不同的位置；
- 每个处理器（handler）都可以设置自己的过滤器（filter）实现日志过滤，从而只保留感兴趣的日志；
- 每个处理器（handler）都可以设置自己的格式器（formatter）实现同一条日志以不同的格式输出到不同的地方。
通过logging.getLogger()方法创建Logger类。可选参数 name mode
Logger类:
配置方法
| Logger.setLevel() | 设置日志器将会处理的日志消息的最低严重级别 |
| Logger.addHandler() 和 Logger.removeHandler() | 为该logger对象添加 和 移除一个handler对象 |
| Logger.addFilter() 和 Logger.removeFilter() | 为该logger对象添加 和 移除一个filter对象 |
创建日志记录:
| Logger.debug(), Logger.info(), Logger.warning(), Logger.error(), Logger.critical() | 创建一个与它们的方法名对应等级的日志记录 |
| Logger.exception() | 创建一个类似于Logger.error()的日志消息 |
| Logger.log() | 需要获取一个明确的日志level参数来创建一个日志记录 |
Logger.exception()将会输出堆栈追踪信息，另外通常只是在一个exception handler中调用该方法。
Handler类：
配置方法
| Handler.setLevel() | 设置handler将会处理的日志消息的最低严重级别 |
| Handler.setFormatter() | 为handler设置一个格式器对象 |
| Handler.addFilter() 和 Handler.removeFilter() | 为handler添加 和 删除一个过滤器对象 |
创建处理器
| logging.StreamHandler | 将日志消息发送到输出到Stream，如std.out, std.err或任何file-like对象。 |
| logging.FileHandler | 将日志消息发送到磁盘文件，默认情况下文件大小会无限增长 |
| logging.handlers.RotatingFileHandler | 将日志消息发送到磁盘文件，并支持日志文件按大小切割 |
| logging.hanlders.TimedRotatingFileHandler | 将日志消息发送到磁盘文件，并支持日志文件按时间切割 |
| logging.handlers.HTTPHandler | 将日志消息以GET或POST的方式发送给一个HTTP服务器 |
| logging.handlers.SMTPHandler | 将日志消息发送给一个指定的email地址 |
| logging.NullHandler | 该Handler实例会忽略error messages，通常被想使用logging的library开发者使用来避免'No handlers could be found for logger XXX'信息的出现。 |
Formater类:
logging.Formatter('%(asctime)s - %(levelname)s - %(module)s[%(lineno)d] - %(message)s')
该构造方法接收3个可选参数：
- fmt：指定消息格式化字符串，如果不指定该参数则默认使用message的原始值
- datefmt：指定日期格式字符串，如果不指定该参数则默认使用"%Y-%m-%d %H:%M:%S"
- style：Python 3.2新增的参数，可取值为 '%', '{'和 '$'，如果不指定该参数则默认使用'%'
使用logging四大组件记录日志
1. 需求
现在有以下几个日志记录的需求：
1）要求将所有级别的所有日志都写入磁盘文件中
2）all.log文件中记录所有的日志信息，日志格式为：日期和时间 - 日志级别 - 日志信息
3）error.log文件中单独记录error及以上级别的日志信息，日志格式为：日期和时间 - 日志级别 - 文件名[:行号] - 日志信息
4）要求all.log在每天凌晨进行日志切割
2. 分析
1）要记录所有级别的日志，因此日志器的有效level需要设置为最低级别--DEBUG;
2）日志需要被发送到两个不同的目的地，因此需要为日志器设置两个handler；另外，两个目的地都是磁盘文件，因此这两个handler都是与FileHandler相关的；
3）all.log要求按照时间进行日志切割，因此他需要用logging.handlers.TimedRotatingFileHandler; 而error.log没有要求日志切割，因此可以使用FileHandler;
4）两个日志文件的格式不同，因此需要对这两个handler分别设置格式器；代码:
import logging
import logging.handlers
import datetime
# 创建日志器
import sys
logger = logging.getLogger('mylogger')
# 配置日志器级别
logger.setLevel(logging.DEBUG)
# 创建handler处理器
first_handler = logging.FileHandler(filename='error.log') # 设置名称
first_handler.setLevel(level=logging.ERROR) # 给处理器设置级别
first_handler.setFormatter(logging.Formatter('%(asctime)s - %(levelname)s - %(module)s[%(lineno)d] - %(message)s'))
second_handler = logging.handlers.TimedRotatingFileHandler(filename='all.log',when='midnight',interval=1,backupCount=7,atTime=datetime.time(0,0,0,0))
second_handler.setFormatter(logging.Formatter('%(asctime)s - %(levelname)s - %(message)s'))
# 输出到控制台
third_handler = logging.StreamHandler()
third_handler.setLevel(level=logging.ERROR)
# 配置处理器
logger.addHandler(first_handler)
logger.addHandler(second_handler)
logger.addHandler(third_handler)
# 创建记录
logger.debug('debug msg')
logger.info(' this is info')
logger.warning(' warning')
logger.error('error bug BUG')
logger.critical('critical')这里我们没有再使用 basicConfig 全局配置，而是先声明了一个 Logger 对象，然后指定了其对应的 Handler 为 FileHandler 对象，然后 Handler 对象还单独指定了 Formatter 对象单独配置输出格式，最后给 Logger 对象添加对应的 Handler 即可，最后可以发现日志就会被输出到 文件中