Python日志

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# LOG\n",
    "    - https://www.cnblogs.com/yyds/p/6901864.html\n",
    "    - logging\n",
    "    - logging模块提供模块级别的函数记录日志\n",
    "    - 包括四大组件\n",
    "\n",
    "## 1. 日志相关概念\n",
    "    - 日志\n",
    "    - 日志的级别（level）\n",
    "        - 不同的用户关注不同的程序信息\n",
    "        - DEBUG\n",
    "        - INFO\n",
    "        - NOTICE\n",
    "        - WARNING\n",
    "        - ERROR\n",
    "        - CRITICAL\n",
    "        - ALERT\n",
    "        - EMERGENCY\n",
    "    - IO操作=>不要频繁操作\n",
    "    - LOG的作用\n",
    "        - 调试\n",
    "        - 了解软件的运行情况\n",
    "        - 分析定位问题\n",
    "    - 日志信息\n",
    "        - time\n",
    "        - 地点\n",
    "        - level\n",
    "        - 内容\n",
    "    - 成熟的第三方日志\n",
    "        - log4j\n",
    "        - log4php\n",
    "        - logging\n",
    "\n",
    "# 2 Logging模块\n",
    "    - 日志级别\n",
    "        - 级别可自定义\n",
    "        - DEBUG\n",
    "        - INFO\n",
    "        - WARNING\n",
    "        - ERROR\n",
    "        - CRITICAL\n",
    "    - 初始化/写日志实例需要指定级别， 只有当级别等于或高于指定级别才被记录\n",
    "    - 使用方式\n",
    "        - 直接使用logging(封装了其他组件)\n",
    "        - loging四大组件直接定制\n",
    "    \n",
    "# 2.1 日志级别\n",
    "    - 使用以下几个函数\n",
    "         - logging.debug(msg, *args, **kwargs) \t创建一条严重级别为DEBUG的日志记录\n",
    "         - logging.info(msg, *args, **kwargs) \t创建一条严重级别为INFO的日志记录\n",
    "         - logging.warning(msg, *args, **kwargs) \t创建一条严重级别为WARNING的日志记录\n",
    "         - logging.error(msg, *args, **kwargs) \t创建一条严重级别为ERROR的日志记录\n",
    "         - logging.critical(msg, *args, **kwargs) \t创建一条严重级别为CRITICAL的日志记录\n",
    "         - logging.log(level, *args, **kwargs) \t创建一条严重级别为level的日志记录\n",
    "         - logging.basicConfig(**kwargs) \t对root logger进行一次性配置\n",
    "\n",
    "    - logging.basicConfig(**kwargs) \t对root logger进行一次性配置\n",
    "        - 只在第一次调用的时候起作用\n",
    "        - 不配置logger则使用默认值\n",
    "            - 输出： sys.stderr\n",
    "            - 级别： WARNING\n",
    "            - 格式： level:log_name:content"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 案例 1\n",
    "\n",
    "import logging\n",
    "\n",
    "LOG_FORMAT = \"%(asctime)s=====%(levelname)s\\t++++++%(message)s\"\n",
    "\n",
    "logging.basicConfig(filename=\"python6.log\", level=logging.DEBUG, format=LOG_FORMAT)\n",
    "\n",
    "logging.debug(\"This is a debug log.\")\n",
    "logging.info(\"This is a info log.\")\n",
    "logging.warning(\"This is a warning log.\")\n",
    "logging.error(\"This is a error log.\")\n",
    "logging.critical(\"This is a critical log.\")\n",
    "\n",
    "logging.debug(\"=======我是分割线========\")\n",
    "# 另外一种写法\n",
    "logging.log(logging.DEBUG, \"This is a debug log.\")\n",
    "logging.log(logging.INFO, \"This is a info log.\")\n",
    "logging.log(logging.WARNING, \"This is a warning log.\")\n",
    "logging.log(logging.ERROR, \"This is a error log.\")\n",
    "logging.log(logging.CRITICAL, \"This is a critical log.\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 可用的格式参数\n",
    "    - format参数\n",
    "        - asctime \t%(asctime)s \t日志事件发生的时间--人类可读时间，如：2003-07-08 16:49:45,896\n",
    "        - created \t%(created)f \t日志事件发生的时间--时间戳，就是当时调用time.time()函数返回的值\n",
    "        - relativeCreated \t%(relativeCreated)d \t日志事件发生的时间相对于logging模块加载时间的相对毫秒数（目前还不知道干嘛用的）\n",
    "        - msecs \t%(msecs)d \t日志事件发生事件的毫秒部分\n",
    "        - levelname \t%(levelname)s \t该日志记录的文字形式的日志级别（'DEBUG', 'INFO', 'WARNING', 'ERROR', 'CRITICAL'）\n",
    "        - levelno \t%(levelno)s \t该日志记录的数字形式的日志级别（10, 20, 30, 40, 50）\n",
    "        - name \t%(name)s \t所使用的日志器名称，默认是'root'，因为默认使用的是 rootLogger\n",
    "        - message \t%(message)s \t日志记录的文本内容，通过 msg % args计算得到的\n",
    "        - pathname \t%(pathname)s \t调用日志记录函数的源码文件的全路径\n",
    "        - filename \t%(filename)s \tpathname的文件名部分，包含文件后缀\n",
    "        - module \t%(module)s \tfilename的名称部分，不包含后缀\n",
    "        - lineno \t%(lineno)d \t调用日志记录函数的源代码所在的行号\n",
    "        - funcName \t%(funcName)s \t调用日志记录函数的函数名\n",
    "        - process \t%(process)d \t进程ID\n",
    "        - processName \t%(processName)s \t进程名称，Python 3.1新增\n",
    "        - thread \t%(thread)d \t线程ID\n",
    "        - threadName \t%(thread)s \t线程名称\n",
    "\n",
    "# 2.2 logging模块的处理流程\n",
    "- 四大组件\n",
    "    - 日志器(Logger): 产生日志的一个接口   \n",
    "    - 处理器(Handler):把产生的日志发送到相应的目的地\n",
    "    - 过滤器(Filter): 更精细的控制那些日志输出\n",
    "    - 格式器(Formatter): 对输出信息进行格式化\n",
    "- Logger\n",
    "    - 产生一个日志\n",
    "    - 操作\n",
    "        - Logger.setLevel() \t设置日志器将会处理的日志消息的最低严重级别\n",
    "        - Logger.addHandler() 和 Logger.removeHandler() \t为该logger对象添加 和 移除一个handler对象\n",
    "        - Logger.addFilter() 和 Logger.removeFilter() \t为该logger对象添加 和 移除一个filter对象\n",
    "        - Logger.debug: 产生一条debug级别的日志，同理，info，error，等\n",
    "        - Logger.exception(): 创建类似于Logger.error的日志消息\n",
    "        - Logger.log():获取一个明确的日志level参数类创建一个日志记录\n",
    "    - 如何得到一个logger对象\n",
    "        - 实例化\n",
    "        - logging.getLogger()\n",
    "    \n",
    "- Handler\n",
    "    - 把log发送到制定位置\n",
    "    - 方法\n",
    "        - setLevel\n",
    "        - setFormat\n",
    "        - addFilter, removeFilter\n",
    "    - 不需要直接使用，Handler是基类\n",
    "        - logging.StreamHandler \t将日志消息发送到输出到Stream，如std.out, std.err或任何file-like对象。\n",
    "        - logging.FileHandler \t将日志消息发送到磁盘文件，默认情况下文件大小会无限增长\n",
    "        - logging.handlers.RotatingFileHandler \t将日志消息发送到磁盘文件，并支持日志文件按大小切割\n",
    "        - logging.hanlders.TimedRotatingFileHandler \t将日志消息发送到磁盘文件，并支持日志文件按时间切割\n",
    "        - logging.handlers.HTTPHandler \t将日志消息以GET或POST的方式发送给一个HTTP服务器\n",
    "        - logging.handlers.SMTPHandler \t将日志消息发送给一个指定的email地址\n",
    "        - logging.NullHandler \t该Handler实例会忽略error messages，通常被想使用logging的library开发者使用来避免'No handlers could be found for logger XXX'信息的出现。\n",
    "\n",
    "- Format类\n",
    "    - 直接实例化\n",
    "    - 可以继承Format添加特殊内容\n",
    "    - 三个参数\n",
    "        - fmt：指定消息格式化字符串，如果不指定该参数则默认使用message的原始值\n",
    "        - datefmt：指定日期格式字符串，如果不指定该参数则默认使用\"%Y-%m-%d %H:%M:%S\"\n",
    "        - style：Python 3.2新增的参数，可取值为 '%', '{' 和 '$'，如果不指定该参数则默认使用 '%'\n",
    "\n",
    "- Filter类\n",
    "    - 可以被Handler和Logger使用\n",
    "    - 控制传递过来的信息的具体内容"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 案例 2\n",
    "\n",
    "- 1. 需求\n",
    "    - 现在有以下几个日志记录的需求：\n",
    "    - 1）要求将所有级别的所有日志都写入磁盘文件中\n",
    "    - 2）all.log文件中记录所有的日志信息，日志格式为：日期和时间 - 日志级别 - 日志信息\n",
    "    - 3）error.log文件中单独记录error及以上级别的日志信息，日志格式为：日期和时间 - 日志级别 - 文件名[:行号] - 日志信息\n",
    "    - 4）要求all.log在每天凌晨进行日志切割\n",
    "\n",
    "- 2. 分析\n",
    "    - 1）要记录所有级别的日志，因此日志器的有效level需要设置为最低级别--DEBUG;\n",
    "    - 2）日志需要被发送到两个不同的目的地，因此需要为日志器设置两个handler；另外，两个目的地都是磁盘文件，因此这两个handler都是与FileHandler相关的；\n",
    "    - 3）all.log要求按照时间进行日志切割，因此他需要用logging.handlers.TimedRotatingFileHandler; 而error.log没有要求日志切割，因此可以使用FileHandler;\n",
    "    - 4）两个日志文件的格式不同，因此需要对这两个handler分别设置格式器；"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import logging\n",
    "import logging.handlers\n",
    "import datetime\n",
    "\n",
    "\n",
    "# 定义logger\n",
    "logger = logging.getLogger('mylogger')\n",
    "logger.setLevel(logging.DEBUG)\n",
    "\n",
    "\n",
    "#为两个不同的文件设置不同的handler\n",
    "rf_handler = logging.handlers.TimedRotatingFileHandler('all.log', when='midnight', interval=1, backupCount=7, atTime=datetime.time(0, 0, 0, 0))\n",
    "rf_handler.setFormatter(logging.Formatter(\"%(asctime)s - %(levelname)s - %(message)s\"))\n",
    "\n",
    "\n",
    "f_handler = logging.FileHandler('error.log')\n",
    "f_handler.setLevel(logging.ERROR)\n",
    "f_handler.setFormatter(logging.Formatter(\"%(asctime)s - %(levelname)s - %(filename)s[:%(lineno)d] - %(message)s\"))\n",
    "\n",
    "# 把相应的处理器组装到logger上\n",
    "logger.addHandler(rf_handler)\n",
    "logger.addHandler(f_handler)\n",
    "\n",
    "logger.debug('debug message')\n",
    "logger.info('info message')\n",
    "logger.warning('warning message')\n",
    "logger.error('error message')\n",
    "logger.critical('critical message')"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python [default]",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}