nginx 默认没有提供对日志文件的分割功能,所以随着时间的增长,access.log
和 error.log
文件会越来越大,尤其是 access.log
,其日志记录量比较大,更容易增长文件大小。影响日志写入性能分割 nginx 日志的方法有很多,这里推荐利用 Logrotate 来完成。
logrotate 是一个 Linux系统日志的管理工具。可以对单个日志文件或者某个目录下的文件按时间 / 大小进行切割,压缩操作;指定日志保存数量;还可以在切割之后运行自定义命令。
logrotate 是基于 crontab 运行的,所以这个时间点是由 crontab 控制的,具体可以查询 crontab 的配置文件 /etc/anacrontab
。系统会按照计划的频率运行 logrotate,通常是每天。在大多数的 Linux 发行版本上,计划每天运行的脚本位于 /etc/cron.daily/logrotate
。
主流 Linux 发行版上都默认安装有 logrotate 包,如果你的 Linux 系统中找不到 logrotate, 可以使用 apt-get
或 yum 命令来安装。
yum install -y logrotate
一般 Linux 都已经自带 logrotate,下列命令可以查看是否已安装。
rpm -ql logrotate
/etc/logrotate.conf
这个文件是 logrotate 的主配置文件。
自定义配置文件的目录/etc/logrotate.d
。
尝试在该目录中创建一个日志分割配置 test,对 /opt/logtest
目录中所有以 .log
结尾的文件进行分割。
vim test
# test配置文件的内容
/opt/logtest/*.log {
daily
rotate 2
copytruncate
missingok
}
test 配置的第一行指定要对哪个路径的哪些文件进行分割,然后携带的 4 个参数解释如下:
「daily:」 按天切割。触发切割时如果时间不到一天不会执行切割。除了 daily,还可以选 monthly,weekly,yearly;
「rotate:」 对于同一个日志文件切割后最多保留的文件个数;
「copytruncate:」 将源日志文件切割成新文件后,清空并保留源日志文件。默认如果不启用该配置,分割后源日志文件将被删除。设置该值,以便分割后可以继续在源日志文件写入日志,等待下次分割;
「missingok:」 切割中遇到日志错误忽略。
创建好配置以后,系统会在每天利用 cron 定时执行 logrotate 日志分割指令。这里我们为了看到效果,不等到系统自动执行,可以手动强制执行一次日志分割。强制执行会立即进行一次日志。
#1、手动切分
# -v:显示执行日志
# -f:强制执行分割
logrotate -vf /etc/logrotate.d/test
#2、定时任务
#编辑定时任务
crontab -e
#任务
0 0 * * * /usr/sbin/logrotate -f /etc/logrotate.d/test
总结一下 logrotate 日志分割的步骤:
默认分割后日志的命名为源日志名称 +. 序号(从 1 开始)。分割之前将所有之前分割出的日志文件重命名,序号往后移一位;
执行分割,将源日志文件分割为源日志文件名 .1。这样就保证了所有分割后的文件中,序号最小的是最新分割出的,序号最大的是最早分割出的;
根据 rotate 设置,如果此次分割后文件数量大于 rotate 设置,那么删除序号最大的那个分割文件,也就是最旧的分割日志。
实际开发中可以使用 create 代替 copytruncate,它们的区别如下:
copytruncate 先将源文件内容拷贝到分割后文件,再清空源文件,拷贝和清空之间有时间差,可能会丢失部分日志。另外拷贝操作在源文件比较大时消耗性能;
create 直接将源文件重命名为分割后文件,再创建一个与源文件名称相同的新文件,用于后续日志写入。
我们可以通过如下设置对分割后的日志文件开启压缩:
/opt/logtest/*.log {
daily
rotate 2
copytruncate
missingok
compress # 以gzip方式压缩
nodelaycompress # 所有分割后的文件都进行压缩
}
一般可以将 nodelaycompress
改为 delaycompress
,这样分割后对最新的序号为1的文件不会进行压缩,对其他序号的文件进行压缩,这样可以方便我们查看最新的分割日志。
按照时间分割可以定时分割出一个日志,比如每天分割一次,配合其他参数可以完成保留最近 n 天日志的功能。以下配置可以实现每天分割一次日志,并且保留最近 30 天的分割日志。
/opt/logtest/*.log {
daily # 每天分割一次
rotate 30 # 保留最近30个分割后的日志文件
copytruncate
missingok
dateext # 切割后的文件添加日期作为后缀
dateyesterday # 配合dateext使用,添加前一天的日期作为分割后日志的后缀
dateformat -%Y-%m-%d # 格式为2022-02-08
}
可以利用 size 配置指定当日志文件达到多大体积时才进行分割。以下配置指定了每天执行分割,但是只有当日志文件大于 5M 时才真正执行分割操作。
/opt/logtest/*.log {
daily # 每天分割一次
size 5M # 源文件小于5M时不分割
rotate 30 # 保留最近30个分割后的日志文件
create
missingok
dateext # 切割后的文件添加日期作为后缀
dateyesterday # 配合dateext使用,添加前一天的日期作为分割后日志的后缀
}
logrotate 是基于 cron 运行的,所以这个时间是由 cron 控制的,具体可以查询 cron 的配置文件 /etc/crontab
。旧版 CentOS 的 cron 的配置文件是 /etc/crontab
,新版CentOS 改为 /etc/anacrontab
。
我们可以自定义分割执行时间。实现方式可以是:
修改 /etc/anacrontab
中的定时执行时间,实际不推荐,可能会影响系统其他定时任务;
在 /etc/logrotate.d
以外的其他目录创建 logrotate 配置文件,然后利用 crontab 自定义 cron 表达式来执行 logrotate 对该配置进行分割操作。
推荐采用 crontab 方式自定义执行时间,步骤如下:
1、在非 /etc/logrotate.d
目录创建 logrotate 配置文件,这是为了避免被系统的定时任务扫描到该配置而导致重复执行分割。
2、添加 crontab 计划任务,在 root 用户下执行 crontab -e
进入 vim 模式,进行编辑。
crontab -e
# 每天 23点59分进行日志切割
59 23 * * * /usr/sbin/logrotate -f /etc/logrotate_mytime/nginx
3、重启crontab。
# centos6:
service crond restart
# centos7:
systemctl restart crond
在 /etc/logrotate.d
中创建文件 nginx,作为 nginx 日志分割的配置文件。指定每天执行一次分割。同时指定 notifempty,当日志文件为空时不分割。
vi /etc/logrotate.d/nginx
/usr/local/nginx/logs/*.log #此处为nginx存储日志的地方,日志根据实际路径填写;
{
daily #指定转储周期为每天
rotate 30 #转储次数,超过将会删除最老的那一个
missingok #如果日志文件丢失,不要显示错误
compress #通过gzip 压缩转储以后的日志
delaycompress #当前转储的日志文件到下一次转储时才压缩
notifempty #当日志文件为空时,不进行轮转
copytruncate
postrotate #执行的指令
if [ -f /var/run/nginx/nginx.pid ]; then
kill -USR1 `cat /var/run/nginx/nginx.pid`
fi
endscript #PID路径根据实际路径填写;
}
如果发现提示权限不够而分割失败,这是因为开启了 selinux 导致,解决方案有如下 2 种:
关闭 selinux
利用 semanage 修改待分割的日志文件所在目录的权限
semanage fcontext -a -t var_log_t "/usr/local/nginx/logs(/.*)?"
restorecon -Rv /opt/logtest