PermissionError: [WinError 32] 另一个程序正在使用此文件，进程无法访问。

--- Logging error ---
Traceback (most recent call last):
  File "D:\Program Files\anaconda3\lib\logging\handlers.py", line 69, in emit
    self.doRollover()
  File "D:\Program Files\anaconda3\lib\logging\handlers.py", line 393, in doRollover
    self.rotate(self.baseFilename, dfn)
  File "D:\Program Files\anaconda3\lib\logging\handlers.py", line 110, in rotate
    os.rename(source, dest)
PermissionError: [WinError 32] 另一个程序正在使用此文件，进程无法访问。: 'E:\\search\\logs\\DESKTOP.log' -> 'E:\\search\\logs\\DESKTOP.log.2019-12-16_11-45-32'

今天在处理python日志的时候，出现了这个问题。

背景

在使用flask+gunicorn将算法用多进程部署在服务器上。但log在记录日志，需要回滚轮转（只保留最新的那部分日志文件，旧的部分覆盖掉）的时候，出现上面的异常。

异常原因

多进程启动，代码同时访问同一个log日志文件，因此出错。

解决办法

将多进程分开记录日志，一个进程只访问和写入一个自己的日志文件。

具体措施就是：

在日志文件名上，加上“进程识别码”，即将下面代码改为

# file_name = './logs/' + str(hostname) +'.log'
file_name = './logs/' + str(hostname) + '_' + str(os.getpid()) +'.log' 
# os.getpid()为进程号，防止不同进程直接写入同一个日志文件造成冲突

代码

import socket
import os

import logging
from logging import handlers

class Logger(object):
    level_relations = {
        'debug': logging.DEBUG,
        'info': logging.INFO,
        'warning': logging.WARNING,
        'error': logging.ERROR,
        'crit': logging.CRITICAL
    }  # 日志级别关系映射

    def __init__(self, filename, level='info', when='S', backCount=10,
                 fmt='%(asctime)s - %(pathname)s[line:%(lineno)d] - %(levelname)s: %(message)s'):
        self.logger = logging.getLogger(filename)
        format_str = logging.Formatter(fmt)  # 设置日志格式
        self.logger.setLevel(self.level_relations.get(level))  # 设置日志级别
        sh = logging.StreamHandler()  # 往屏幕上输出
        sh.setFormatter(format_str)  # 设置屏幕上显示的格式
        th = handlers.TimedRotatingFileHandler(filename=filename, when=when, backupCount=backCount,
                                               encoding='utf-8')  # 往文件里写入#指定间隔时间自动生成文件的处理器
        # 实例化TimedRotatingFileHandler
        # interval是时间间隔，backupCount是备份文件的个数，如果超过这个个数，就会自动删除，when是间隔的时间单位，单位有以下几种：
        # S 秒
        # M 分
        # H 小时、
        # D 天、
        # W 每星期（interval==0时代表星期一）
        # midnight 每天凌晨
        th.setFormatter(format_str)  # 设置文件里写入的格式
        self.logger.addHandler(sh)  # 把对象加到logger里
        self.logger.addHandler(th)

hostname = socket.gethostname()
# file_name = './logs/' + str(hostname) +'.log'
file_name = './logs/' + str(hostname) + '_' + str(os.getpid()) +'.log' # os.getpid()为进程号，防止不同进程直接写入日志文件冲突
log = Logger(file_name, level='info')