基于Rotated Log的日志统计

Rotated Log 简介

    Rotated log是linux支持日志文件自动转储和重命名的机制。当需要限制每个日志文件大小，或者需要周期地统计并记录日志的时候，就是rotated log机制大显身手的好时机。

Rotated Log的使用和配置

    Rotated log的配置文件都是在/etc/logrotate.d里面，它本身依赖于logrotate命令的执行。logrotate自身作为一个日常的cron job，正常情况下它一天只会执行一次,通过下面的命令可以看到它是如何作为一个cron job的：

[root@localhost cron.daily]# pwd

/etc/cron.daily

[root@localhost cron.daily]# cat logrotate

#!/bin/sh

/usr/sbin/logrotate /etc/logrotate.conf

EXITVALUE=$?

if [ $EXITVALUE != 0 ]; then

/usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"

fi

exit 0

    除非rotate是根据日志文件大小进行，或者强制执行转储命令logrotate -f。配置文件里指定了需要rotate的日志文件的名字，以及rotate触发的机制、处理的策略，以/etc/logrotate.d/syslogd为例:

[root@localhost logrotate.d]# cat syslog

/var/log/cron

/var/log/maillog

/var/log/messages

/var/log/secure

/var/log/spooler

{

sharedscripts

postrotate

/bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true

endscript

}

 从第一到第五行指定了有待rotate的日志文件的名字,这里列出了五个日志文件需要保存。sharedscripts表示postrotate脚本命令/bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true只会执行一次，而不是在每个上述的日志文件rotate之后都执行一次。

    Rotated Log相关的程序设计

根据本人最近使用logrotate的经验和教训，重点需要考虑和引起注意的要素有：

1.考虑到保证每一条记录的完整性，建议根据时间而非容量进行自动回转。

2.考虑到查询的方便和log rotated的命名规则，需要设计好合适的数据结构来统计每一个日志文件的记录。还是以上面的mailog日志文件为例，如果某个时刻系统只有一个mailog，第一次rotate之后之前的mailog会重新命名为mailog.1，而mailog里面的内容会被清空；第二次rotate之后，之前的maillog.1会被重命名为mailog.2，而之前的maillog会重新命名为mailog.1，而mailog里面的内容会被情况，后续的rotate以此类推。因此，需要一个设计良好的数据结构和方法来表示文件名称和真实文件。

3.如果存在多个用户同时访问日志文件的情况，为了保证日志总数和记录的完整和一致，需要在访问文件前加锁。

4.进阶：Rotated log本身和其他模块和代码没有联系，其他应用往往需要从rotated log里存取数据，为此可以开发出和具体业务无关的且便于扩展的rotated log API，以静态库或者动态库的形式支持二次开发。