rsyslogd写日志丢失的问题
经常会遇到rsyslogd保存日志时丢失的问题,/var/log/messages 打印如下:
Nov 18 01:58:53 XXXX rsyslogd: imjournal: 28062 messages lost due to rate-limiting
原来是rsyslogd限制了打印的信息长度。
cat /var/log/messages |grep -i rate-limiting 查看
或者 systemctl status rsyslog
所谓Rate limit就是指,在某个固定的时间段内,syslog最多允许打印的log信息数量(多出的log信息将被丢弃)。由配置文件/etc/rsyslog.conf中以下两个配置项决定:
$SystemLogRateLimitInterval [Number1]: Number1 为设定的限制的时间间隔大小
$SystemLogRateLimitBurst [Number2]: Number2 为在设定的限制的时间间隔内,最多输出的log信息数量。
在设定完后,则表示在每一个Number1时间间隔内,如果超过Number2个数的log信息将会被去除。默认Number1为5秒钟,Number2为200.
sed -i '/^RateLimitInterval=/d' /etc/systemd/journald.conf
sed -i '/^RateLimitBurst=/d' /etc/systemd/journald.conf
sed -i '/^\$SystemLogRateLimitInterval/Id' /etc/rsyslog.conf
sed -i '/^\$SystemLogRateLimitBurst/Id' /etc/rsyslog.conf
sed -i '/^\$imjournalRatelimitInterval/Id' /etc/rsyslog.conf
sed -i '/^\$imjournalRatelimitBurst/Id' /etc/rsyslog.conf
echo 'RateLimitInterval=0' >> /etc/systemd/journald.conf
echo 'RateLimitBurst=0' >> /etc/systemd/journald.conf
echo '$SystemLogRateLimitInterval 0' >> /etc/rsyslog.conf
echo '$SystemLogRateLimitBurst 0' >> /etc/rsyslog.conf
echo '$imjournalRatelimitInterval 0' >> /etc/rsyslog.conf
echo '$imjournalRatelimitBurst 0' >> /etc/rsyslog.conf
1s限速1000,如下所示:
echo 'RateLimitInterval=1' >> /etc/systemd/journald.conf
echo 'RateLimitBurst=1000' >> /etc/systemd/journald.conf
echo '$SystemLogRateLimitInterval 1' >> /etc/rsyslog.conf
echo '$SystemLogRateLimitBurst 1000' >> /etc/rsyslog.conf
echo '$imjournalRatelimitInterval 1' >> /etc/rsyslog.conf
echo '$imjournalRatelimitBurst 1000' >> /etc/rsyslog.conf
cat > ${LOGROTATE_CONF} << EOF
${XXX_LOG_PATH} {
daily
rotate 60
copytruncate
missingok
notifempty
size 4G
}
EOF
更改完配置文件之前,之后执行下面的命令:
systemctl status rsyslog
systemctl restart rsyslog
systemctl status rsyslog
参见:systemd-journald 讲解
systemctl status rsyslog
systemctl status systemd-journald
systemctl restart rsyslog
systemctl restart systemd-journald
问题
在我们的docker应用中,配置了rsyslog作为日志输出;当应用产生的日志在某段时间内量比较大时,就发现会丢日志。
原因
日志的输出路径,应用程序把日志输出到system journal,然后system journal再输出到rsyslog,最后由rsyslog把日志持久化存储到本地磁盘文件。
而不管是system journal还是rsyslog都有一个配置值,允许一个时间段内最大的日志数量;当应用程序产生的日志数大于规定的数量时就会被丢弃。
$ sudo journalctl -u systemd-journald
Apr 16 19:11:52 <hostname> systemd-journal[1356]: Suppressed 1929 messages from /system.slice/docker.service
因为我们的应用是部署成docker container模式,所以对system journal来说它收到的日志是从docker.service发布过来的。
system journal关于日志量的配置在:
$ cat /etc/systemd/journald.conf
RateLimitInterval=30s
RateLimitBurst=1000
含义是在30秒的周期内,允许的日志数目是1000,超过部分会被丢弃。
可以估算应用的日志量来调整这两个值,然后重启system journal系统服务system systemd-journald restart/systemctl restart systemd-journald 即可;
如果要取消限制,可以把两个值都设置成0就可以。
$ sudo journalctl -f -u rsyslog
Apr 16 22:18:38 <hostname> rsyslogd[25142]: imjournal: begin to drop messages due to rate-limiting
Apr 16 22:18:46 <hostname> rsyslogd[25142]: imjournal: 1429 messages lost due to rate-limiting
rsyslog也有两个配置项:
$ cat /etc/rsyslog.conf
$ModLoad imjournal
$imjournalRatelimitInterval 30
$imjournalRatelimitBurst 1000
含义是在30秒的周期内,允许的日志数目是1000,超过部分会被丢弃。
也是根据需要调整值,或者通过把两个值都设置成0的方式关闭限制;
然后重启rsyslog服务就行:systemctl restart rsyslog。
system journal的配置文件在:
/etc/systemd/journald.conf
/etc/systemd/journald.conf.d/*
rsyslog的配置文件在:
/etc/rsyslog.conf
/etc/rsyslog.d/*
https://www.jianshu.com/p/4e71f553cf3f
https://plantegg.github.io/2021/01/28/journald%E5%92%8Crsyslog/