python性能分析之log

最近在优化一个Python项目，里面包含很多set，list，dict等操作，代码行数2000多行，每次运行耗时都在30-50ms，本以为是Python语言的动态解析特性导致运行性能太低，便尝试使用JIT工具进行优化，折腾一番之后，性能只提升20%，远没有官方介绍的6倍之多，反复查看代码，想到了IO耗时的问题，而是怀疑log输出到控制台耗时是否是罪魁祸首，实验下来发现的确如此。

实验内容：

分别对比，运行下面代码，记录耗时情况，结果：

• 运行1000次  加法： 0.5578994750976562 ms
• 运行1000次  空logging： 3.5049915313720703 ms
• 运行1000次  控制台输出logging： 50.84490776062012 ms
• 运行1000次  控制台输出loguru： 135.09225845336914 ms
• 运行1000次  空loguru： 1.0859966278076172 ms
• 运行1000次  控制台print： 3.3588409423828125 ms
• 运行1次        控制台1000倍字符长度print： 0.051975250244140625 ms
• 运行1次        控制台1000倍字符长度logging： 0.25582313537597656 ms
• 运行1次        控制台1000倍字符长度logger： 0.0059604644775390625 ms
• 运行1次        加法： 0.0030994415283203125 ms
• 运行1000次  控制台print： 3.3588409423828125 ms
• 运行1000次  python文件流方式输出到stdout： 0.9961128234863281 ms
• 运行1000次  python文件流方式输出到文件： 1.2679100036621094 ms
• 运行1000次  loguru文件流方式输出到文件： 192.5220489501953 ms

结论：

1.log写入文件效率高于stdout，优先选择写文件

2.log输出到控制台，直接print和定向到stdout的效率都低于以文件流的方式写入/dev/stdout，优先选择文件流写入

3.loguru写文件效率都较低，准备自己实现log简易功能

代码

import logging
from loguru import logger
import time

s1 = time.time()
for i in range(1000):
    i = i + float("0.0000009998980")

s2 = time.time()
for i in range(1000):
    logging.info(f"我是第{i}次记录log")

s3 = time.time()
for i in range(1000):
    logging.error(f"我是第{i}次记录log")

s4 = time.time()
for i in range(1000):
    logger.error(f"我是第{i}次记录log")

logger.remove(handler_id=None)
s5 = time.time()
for i in range(1000):
    logger.error(f"我是第{i}次记录log")

s6 = time.time()
for i in range(1000):
    print(f"我是第{i}次记录log")

s7 = time.time()

s8 = time.time()
print(f"我是第8次记录log" * 1000)
s9 = time.time()
logging.error(f"我是第8次记录log" * 1000)
s10 = time.time()
logger.error(f"我是第8次记录log" * 1000)
s11 = time.time()
i = 8 + float("0.0000009998980")
s12 = time.time()


f1 = open("/dev/stdout","w")
s13 = time.time()
for i in range(1000):
    f1.write(f"我是第{i}次记录log\n")
s14 = time.time()
f1.close()

f2 = open("./test.log","w")
s15 = time.time()
for i in range(1000):
    f2.write(f"我是第{i}次记录log\n")
s16 = time.time()
f2.close()

logger.add("test.loguru")
s17 = time.time()
for i in range(1000):
    logger.error(f"我是第{i}次记录log\n")
s18 = time.time()

print("运行1000次  加法：", (s2 - s1) * 1000, "ms")
print("运行1000次  空logging：", (s3 - s2) * 1000, "ms")
print("运行1000次  控制台输出logging：", (s4 - s3) * 1000, "ms")
print("运行1000次  控制台输出loguru：", (s5 - s4) * 1000, "ms")
print("运行1000次  空loguru：", (s6 - s5) * 1000, "ms")
print("运行1000次  控制台print：", (s7 - s6) * 1000, "ms")

print("运行1次     控制台1000倍字符长度print：", (s9 - s8) * 1000, "ms")
print("运行1次     控制台1000倍字符长度logging：", (s10 - s9) * 1000, "ms")
print("运行1次     控制台1000倍字符长度logger：", (s11 - s10) * 1000, "ms")
print("运行1次     加法：", (s12 - s11) * 1000, "ms")


print("运行1000次  控制台print：", (s7 - s6) * 1000, "ms")
print("运行1000次  python文件流方式输出到stdout：", (s14 - s13) * 1000, "ms")
print("运行1000次  python文件流方式输出到文件：", (s16 - s15) * 1000, "ms")
print("运行1000次  loguru文件流方式输出到文件：", (s18 - s17) * 1000, "ms")

实验机器：

python常见的性能瓶颈：数据库慢查询SQL、日志打印、xml大报文解析和格式转换、复杂业务逻辑、锁竞争等。