我的实用小工具-日志采集模块

python文章头图.png

一、日志对于一个开发者来说的重要性

开发日志记录对开发者来说至关重要。好的日志记录可以帮助开发者在代码开发和维护过程中发现问题、解决问题以及回顾开发思路。

首先,日志可以帮助开发者调试和发现代码中的问题。通过在代码的关键部分加入日志,可以打印出变量的值、函数的入参和返回值等信息。这些信息可以帮助开发者分析问题所在,快速定位和修复bug。

其次,日志还可以帮助开发者理清思路、回顾设计意图。在复杂的模块或功能开发过程中,仅凭记忆难以回忆所有细节。通过日志,可以记录实现某功能所需要的步骤、关键决策等思考过程。这些日志信息有助于开发者后续维护代码时快速理解前人开发思路,作出恰当的修改。

最后,完善的日志还可以为后续的维护开发者提供方便。通过日志,后续开发者可以快速了解代码的开发背景、目的和实现过程。这有助于后续开发者在修改代码时作出正确判断,避免产生未知的副作用。

综上,开发日志记录为开发者的工作带来许多好处。它是开发过程中不可或缺的一部分,值得每一位开发者重视和发挥。通过日志,可以让开发过程更高效、开发成果更可靠,并为后续维护工作节省不少时间。

而作为一个python的开发者，我们知道python自带的logging模块（关于logging的详细介绍可以查看之前写的Python_学习之模块logging）在实际生产中使用起来总是不尽如意，因此我结合日常实际工作编写了一个适用于python开发即插即用可定制化的通用模块python-for-my-log。因此后面就不讲套路直接安排如何使用这个模块，喜欢的拿走不谢！

二、安装

pip install python-for-my-log -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

三、使用

在项目全局的地方构建日志器对象

# --config_log.py
from python_for_my_log import LogMiddleware

logger = LogMiddleware(log_dir_path="自定义日志存放的目录路径名，默认为/app/logs/项目名/",
                 app_name="自定义应用的名称,默认Test_app",
                 hostname="自定义实例的主机名，默认获取实例机器的hostname",
                 log_level="定义日志最低输出的级别，默认DEBUG",
                 log_format_model="日志记录的格式，默认执行给出的json样式，也提供default模式，也可自定义",
                 log_when="定义日志分割的模式：H 小时，M 分钟，S 秒，默认小时H",
                 log_interval=1, # 日志分割的维度，仅支持天D、小时H，分钟M，秒S，默认1代表1小时分隔一个日志文件
                 log_backup_count=30 * 24) # 日志最多保留的个数，默认按小时分割，保留30天的日志

在需要采集日志的地方调用日志器logger

# --server.py
from config_log import logger

logger.debug("记录一个debug日志")
logger.info("记录一个info日志")
logger.warning("记录一个warning日志")
logger.error("记录一个error日志")

四、建议与备注说明

所有的配置项如log_dir_path,app_name等都建议以常量的形式配置在项目的配置文件中，并与灵活更改
log_dir_path建议设定为项目的根目录，这样就会自动在项目根目录下创建一个log文件夹存放你的日志文件
log_format_model日志文本记录的格式，因为公司在通过elk进行采集要求配置成json格式，如果不符合你的使用可以采用default模式或者你参考文章<>中关于format部分进行自定义配置
log_when与log_interval日志文件的分隔，默认是按每小时分隔一个文件的，理论适合大部分人，但也可自定义
log_level日志级别默认为debug，表示会将大于其级别的日志都打印出来，生产不建议开启debug，建议只需开启error即可
每种级别的日志都会自动生成一个文件，每个日志文件名构成格式应用名称-日志级别-电脑名.log

五、样例效果图

demo.py

import os
from python_for_my_log import LogMiddleware

# 当前项目的根目录
BASE_DIR = os.path.dirname(os.path.abspath(__file__)) # D:\my_all_project\MakeMoneySystem
APP_NAME = "demo"
LOG_LEVEL = "DEBUG"  # 代表比>=debug级别的日志都会采集，并且每种日志一个文件
LOG_FORMAT = "default"


logger = LogMiddleware(log_dir_path=BASE_DIR,
                       app_name=APP_NAME,
                       log_level=LOG_LEVEL,
                       log_format_model=LOG_FORMAT)

logger.debug("记录一个debug日志")
logger.info("记录一个info日志")
logger.warning("记录一个warning日志")
logger.error("记录一个error日志")

/MakeMoneySystem
├── /log
│   └── demo-debug-like.log
|   └── demo-error-like.log
|   └── demo-info-like.log
|   └── demo-warn-like.log

# 其中一条日志文本样式
[DEBUG]:[2023-06-01 17:04:44,404]:(thread_id:14372):[my_log.py:234]-{"app_name": "demo_code", "logger": "LogMiddleware", "HOSTNAME": "like", "log_type": "desc", "level_no": 10, "log_time": "2023-06-01 17:04:44.402", "level": "DEBUG", "thread": 14372, "code_message": "记录一个debug日志", "pathName": "D:/my_all_project/MakeMoneySystem/test.py", "lineNo": 22, "funcName": ""}

日志文件分隔样式

-rw-r--r-- 1 root root  12132 May 17 17:06 demo-info-like.log.2023-05-31_17.log
-rw-r--r-- 1 root root   3033 May 17 18:54 demo-info-like.log.2023-05-31_18.log
-rw-r--r-- 1 root root   8478 May 24 17:06 demo-debug-like.log.2023-05-31_17.log
-rw-r--r-- 1 root root   3033 May 18 18:54 demo-debug-like.log.2023-05-31_18.log