线上升级后，发现日志不再分割，记录以下排查过程以及所涉及的知识。
1.配置文件排查
询问老工程师，反馈是通过Python的logging模块进行分割的，其中logging模块介绍如下：
logging模块采用模块化设计思想，主要包括四种模块：
- Logger:记录器，提供应用程序调用的各种接口；
- Handler:处理器，处理记录器产生的日志；
- Filter：过滤器，提供更好的粒度控制；
- Formatters：格式器，格式化日志内容的组成和消息字段；
其中logging模块详解请见：logging模块详解(转自刘江的博客)
日志处理流程如下图所示：
Django中的logging配置解释如下，其中Django读取settings.py中的LOGGING配置：
LOGGING = {
'version': 1, #版本号
'disable_existing_loggers': False,
'formatters': { # 格式器
'verbose': { # 复杂格式名称
'format': '{levelname} {asctime} {module} {process:d} {thread:d} {message}',
'style': '{',
},
'simple': { # 简洁格式名称
'format': '{levelname} {message}',
'style': '{',
},
},
'filters': { # 过滤器
'special': { # 过滤器名称
'()': 'project.logging.SpecialFilter',
'foo': 'bar',
},
'require_debug_true': {
'()': 'django.utils.log.RequireDebugTrue',
},
},
'handlers': { # 处理器
'logit': { # 名称
'level': 'DEBUG',
'class': 'logging.handlers.TimedRotatingFileHandler',# 按某一时间来分割
'filename': '/tmp/logit.log', # 路径
'when': 'midnight', # Roll over at midnight
'backupCount': 10, # 备份数量
'formatter': 'verbose', # 格式器
},
'console': { # 处理器名称
'level': 'INFO', # 级别
'filters': ['require_debug_true'], # 过滤器
'class': 'logging.StreamHandler', # 流处理器
'formatter': 'simple' # 格式器
},
'file': {
'level': 'DEBUG',
'class': 'logging.FileHandler', # 文件处理器
'filename': '/path/to/django/debug.log', # 文件路径
},
'mail_admins': { # 名称
'level': 'ERROR',
'class': 'django.utils.log.AdminEmailHandler', # 邮件处理器
'filters': ['special']
}
},
'loggers': {
'django': {
'handlers': ['console'],
'propagate': True,
},
'django.request': {
'handlers': ['mail_admins'],
'level': 'ERROR',
'propagate': False,
},
'myproject.custom': {
'handlers': ['console', 'mail_admins'],
'level': 'INFO',
'filters': ['special']
}
}
}但是排查线上配置文件，并未配置TimedRotatingFileHandler处理器。并且查看文件修改记录及git记录，该文件并未修改。所以判断，日志分割使用了其他方法。
logrotate
经过排查代码，确定日志分割的方式是通过crond+logrotate进行分割的。
其中logrotate介绍如下：
logrotate用于管理系统生成的大量日志，可以自动的分割、压缩、移除或者mailing日志文件。
一般，logrotate作为daily cron job运行，除非rotate的标准是基于log文件大小，且logrotate命令明天被执行多次，即自定义了定时任务。再或者手动执行logrotate时添加了-f/--force选项；
logrotate.conf参数说明
# see "man logrotate" for details
# rotate log files weekly: 每周rotate log文件一次
weekly
# keep 4 weeks worth of backlogs：
# 保存最近4周的log日志，因为上面是每周rotate一次
rotate 4
# create new (empty) log files after rotating old ones：
# rotate老日志文件之后，创建一个新的空日志文件
create
# use date as a suffix of the rotated file：
#rotate的文件以日期格式为后缀，比如：access_log-20200422，
#如果不加这个选项，rotate的格式为：access_log.1，access_log.2等等。
dateext
# uncomment this if you want your log files compressed：
# 如果想压缩rotate后的文件，把下面compress前面的#号去掉就可以了。
#compress
# RPM packages drop log rotation information into this directory：
# RPM包的日志rotation配置信息，建议放到/etc/logrotate.d这个文件夹下，
# 实现自定义控制log文件rotate
include /etc/logrotate.d
# no packages own wtmp and btmp -- we'll rotate them here：wtmp和btmp
# 这两个不属于任何package，我们就把rotate的规则写到这里
/var/log/wtmp {
monthly #每个月执行一次rotate
create 0664 root utmp #创建空文件，权限是664， 所属用户名 所属用户组
minsize 1M #日志文件大小超过1M才执行rotate，否则跳过
rotate 1 #rotate时，只保留一份rotate文件
}
/var/log/btmp {
missingok
monthly
create 0600 root utmp
rotate 1
}
# system-specific logs may be also be configured here.
# 其它系统日志也可以在这里配置rotate规则RPM包的日志配置信息，建议放到/etc/logrotate.d下，具体的日志配置信息如下：
/var/log/xxx.log { # 日志路径
size=500M # 当日志文件到达指定的大小时才转储/分割，默认的大小单位是bytes
dateext # 使用当期日期作为命名格式
rotate 365 # 指定rotate日志文件保留的数量
compress # 通过gzip压缩然后备份日志
delaycompress # 延迟压缩旧的日志文件，先rotate，不压缩；等下次rotate时，再压缩；需要跟compress同时使用
missingok # 如果日志不存在，不产生错误信息
notifempty # 如果日志为空，不做rotate，与ifempy互斥
# sharedscripts # 配合prerotate and postrotate 使用
create 644 root root # rotate之后，创建新文件的日志文件并指定新文件的属性
postrotate # rotate之后想要执行的脚本，需要放在postrotate 与 endscript中间，这两个选项要单独成行
/usr/bin/killall -HUP rsyslogd
endscript
}为什么备份日志一天一次呢？是因为在/etc/cron.daily下有个logrotate可执行脚本，脚本内容如下：
#!/bin/sh
/usr/sbin/logrotate -s /var/lib/logrotate/logrotate.status /etc/logrotate.conf
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
/usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit 0crond
当然也可以自定义crontab计划。
这里再介绍一下crontab的简单用法：
Linux的调度任务分为两类：
系统调度任务，由crond服务来控制，默认随系统启动；
用户调度任务，使用crontab设置任务计划；
crondtab配置文件如下所示：
SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin #系统命令路径
MAILTO=root # crond的任务执行信息将通过电子邮件发送给root用户
HOME = / # 执行命令或者脚本时使用的主目录
# For details see man 4 crontabs
# Example of job definition:
# .---------------- minute (0 - 59)
# | .------------- hour (0 - 23)
# | | .---------- day of month (1 - 31)
# | | | .------- month (1 - 12) OR jan,feb,mar,apr ...
# | | | | .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# | | | | |
# * * * * * user-name command to be executed
0 0 * * * root /bin/sh /etc/cron.daily/logrotatecrontab命令详解
crontab [-u user] file
crontab [ -u user ] [ -i ] { -e | -l | -r }- -u user：用于设定某个用户的crontab服务；
- file: file为命令文件名，表示将file作为crontab的任务列表文件并载入crontab；
- -e：编辑某个用户的crontab文件内容，如不指定用户则表示当前用户；
- -l：显示某个用户的crontab文件内容，如不指定用户则表示当前用户；
- -r：从/var/spool/cron目录中删除某个用户的crontab文件。
- -i：在删除用户的crontab文件时给确认提示。
crontab注意点
- crontab有2种编辑方式：直接编辑/etc/crontab文件与crontab –e，其中/etc/crontab里的计划任务是系统中的计划任务，而用户的计划任务需要通过crontab –e来编辑；
- 每次编辑完某个用户的cron设置后，cron自动在/var/spool/cron下生成一个与此用户同名的文件，此用户的cron信息都记录在这个文件中，这个文件是不可以直接编辑的，只可以用crontab -e 来编辑。
- crontab中的command尽量使用绝对路径，否则会经常因为路径错误导致任务无法执行。
- 新创建的cron job不会马上执行，至少要等2分钟才能执行，可从起cron来立即执行。
- %在crontab文件中表示“换行”，因此假如脚本或命令含有%,需要使用%来进行转义。
总结：
1.线上配置一般不会更改；
2.线上服务器一定不能在线做修改、删除等操作；
3.最后排查，是docker内的crond服务挂掉，重启crond服务后，日志分割正常；