journal/rsyslog日志丢失问题解决

目录

  • 问题
  • 原理
  • 解决方法
  • 常用 命令
    • journalctl
    • systemctl
  • 范例
  • 参考

问题

rsyslogd写日志丢失的问题

经常会遇到rsyslogd保存日志时丢失的问题,/var/log/messages 打印如下:

Nov 18 01:58:53 XXXX rsyslogd: imjournal: 28062 messages lost due to rate-limiting

原来是rsyslogd限制了打印的信息长度。

cat /var/log/messages |grep -i rate-limiting  查看
或者 systemctl status rsyslog

原理

所谓Rate limit就是指,在某个固定的时间段内,syslog最多允许打印的log信息数量(多出的log信息将被丢弃)。由配置文件/etc/rsyslog.conf中以下两个配置项决定:

$SystemLogRateLimitInterval [Number1]: Number1 为设定的限制的时间间隔大小
$SystemLogRateLimitBurst [Number2]: Number2 为在设定的限制的时间间隔内,最多输出的log信息数量。

在设定完后,则表示在每一个Number1时间间隔内,如果超过Number2个数的log信息将会被去除。默认Number1为5秒钟,Number2为200.

解决方法

    1. 清除旧 syslog 配置

    sed -i '/^RateLimitInterval=/d' /etc/systemd/journald.conf
    sed -i '/^RateLimitBurst=/d' /etc/systemd/journald.conf
    sed -i '/^\$SystemLogRateLimitInterval/Id' /etc/rsyslog.conf
    sed -i '/^\$SystemLogRateLimitBurst/Id' /etc/rsyslog.conf
    sed -i '/^\$imjournalRatelimitInterval/Id' /etc/rsyslog.conf
    sed -i '/^\$imjournalRatelimitBurst/Id' /etc/rsyslog.conf
  • 2)设置 syslog 配置
    取消限速,如下所示:
    echo 'RateLimitInterval=0' >> /etc/systemd/journald.conf
    echo 'RateLimitBurst=0' >> /etc/systemd/journald.conf
    echo '$SystemLogRateLimitInterval 0' >> /etc/rsyslog.conf
    echo '$SystemLogRateLimitBurst 0' >> /etc/rsyslog.conf
    echo '$imjournalRatelimitInterval 0' >> /etc/rsyslog.conf
    echo '$imjournalRatelimitBurst 0' >> /etc/rsyslog.conf

1s限速1000,如下所示:


    echo 'RateLimitInterval=1' >> /etc/systemd/journald.conf
    echo 'RateLimitBurst=1000' >> /etc/systemd/journald.conf
    echo '$SystemLogRateLimitInterval 1' >> /etc/rsyslog.conf
    echo '$SystemLogRateLimitBurst 1000' >> /etc/rsyslog.conf
    echo '$imjournalRatelimitInterval 1' >> /etc/rsyslog.conf
    echo '$imjournalRatelimitBurst 1000' >> /etc/rsyslog.conf    

  • 3) 设置日志分割
    cat > ${LOGROTATE_CONF} << EOF
${XXX_LOG_PATH} {
    daily
    rotate 60
    copytruncate
    missingok
    notifempty
    size 4G
}
EOF

更改完配置文件之前,之后执行下面的命令:

systemctl status 	rsyslog
systemctl restart 	rsyslog
systemctl status 	rsyslog

常用 命令

journalctl

参见:systemd-journald 讲解

systemctl

systemctl status rsyslog
systemctl status systemd-journald
systemctl restart rsyslog
systemctl restart systemd-journald

范例

  • 问题
    在我们的docker应用中,配置了rsyslog作为日志输出;当应用产生的日志在某段时间内量比较大时,就发现会丢日志。

  • 原因
    日志的输出路径,应用程序把日志输出到system journal,然后system journal再输出到rsyslog,最后由rsyslog把日志持久化存储到本地磁盘文件。

而不管是system journal还是rsyslog都有一个配置值,允许一个时间段内最大的日志数量;当应用程序产生的日志数大于规定的数量时就会被丢弃。

  • system journal的配置
    当system journal发生日志超量时,就会看到下面类似信息:
$ sudo journalctl -u systemd-journald
Apr 16 19:11:52 <hostname> systemd-journal[1356]: Suppressed 1929 messages from /system.slice/docker.service

因为我们的应用是部署成docker container模式,所以对system journal来说它收到的日志是从docker.service发布过来的。

system journal关于日志量的配置在:

$ cat /etc/systemd/journald.conf
RateLimitInterval=30s
RateLimitBurst=1000

含义是在30秒的周期内,允许的日志数目是1000,超过部分会被丢弃。

可以估算应用的日志量来调整这两个值,然后重启system journal系统服务system systemd-journald restart/systemctl restart systemd-journald 即可;
如果要取消限制,可以把两个值都设置成0就可以。

  • rsyslog的配置
    和system journal类似,当rsyslog发生日志超量时,就会看到下面类似信息:
$ sudo journalctl -f -u rsyslog
Apr 16 22:18:38 <hostname> rsyslogd[25142]: imjournal: begin to drop messages due to rate-limiting
Apr 16 22:18:46 <hostname> rsyslogd[25142]: imjournal: 1429 messages lost due to rate-limiting

rsyslog也有两个配置项:

$ cat /etc/rsyslog.conf 
$ModLoad imjournal
$imjournalRatelimitInterval 30
$imjournalRatelimitBurst 1000

含义是在30秒的周期内,允许的日志数目是1000,超过部分会被丢弃。

也是根据需要调整值,或者通过把两个值都设置成0的方式关闭限制;
然后重启rsyslog服务就行:systemctl restart rsyslog。

  • 缺省值
    关于日志Rate的配置值,system journal和rsyslog都有一个缺省值,不同的操作系统,发行版本,以及system journal/rsyslog的版本都可能有不同的值,要查具体文档。如果在配置文件里面没有值,则使用缺省值。
system journal的配置文件在:
/etc/systemd/journald.conf
/etc/systemd/journald.conf.d/*

rsyslog的配置文件在:
/etc/rsyslog.conf
/etc/rsyslog.d/*



参考

https://www.jianshu.com/p/4e71f553cf3f
https://plantegg.github.io/2021/01/28/journald%E5%92%8Crsyslog/

你可能感兴趣的:(Linux,系统,linux)