Linux系统学习系列——Linux系统日志管 理(下 )

日志是重要的系统文件,记录和保存了系统中所有的重要事件。但是日志文件也需要进行定期的维护,因为日志文件是不断增长的,如果完全不进行日志维护,而任由其随意递增,那么用不了多久,我们的硬盘就会被写满。

日志维护的最主要的工作就是把旧的日志文件删除,从而腾出空间保存新的日志文件。这项工作如果靠管理员手工来完成,那其实是非常烦琐的,而且也容易忘记。那么 Linux 系统是否可以自动完成日志的轮替工作呢?

logrotate 就是用来进行日志轮替(也叫日志转储)的,也就是把旧的日志文件移动并改名,同时创建一个新的空日志文件用来记录新日志,当旧日志文件超出保存的范围时就删除。
Linux系统学习系列——Linux系统日志管 理(下 )_第1张图片

需要Linux资料以及Linux入门资料+qun832218493获取

日志文件的命名规则

日志轮替最主要的作用就是把旧的日志文件移动并改名,同时建立新的空日志文件,当旧日志文件超出保存的范围时就删除。那么,旧的日志文件改名之后,如何命名呢?主要依靠 /etc/logrotate.conf 配置文件中的“dateext”参数。

如果配置文件中有“dateext”参数,那么日志会用日期来作为日志文件的后缀,如“secure-20130605”。这样日志文件名不会重叠,也就不需要对日志文件进行改名,只需要保存指定的日志个数,删除多余的日志文件即可。

如果配置文件中没有“dateext”参数,那么日志文件就需要进行改名了。当第一次进行日志轮替时,当前的“secure”日志会自动改名为“secure.1”,然后新建“secure”日志,用来保存新的日志;当第二次进行日志轮替时,“secure.1”会自动改名为“secure.2”,当前的“secure”日志会自动改名为“secure.1”,然后也会新建“secure”日志,用来保存新的日志;以此类推。

logrotate配置文件

我们来查看一下 logrotate 的配置文件 /etc/logrotate.conf 的默认内容。

[root@localhost ~]# vi /etc/logrotate.conf

see "man logrotate" for details

rotate log files weekly

weekly

每周对日志文件进行一次轮替

keep 4 weeks worth of backlogs rotate 4

保存4个日志文件,也就是说,如果进行了5次日志轮替,就会删除第一个备份曰志

create new (empty) log files after rotating old ones create

在日志轮替时,自动创建新的日志文件

use date as a suffix of the rotated file dateext

使用日期作为日志轮替文件的后缀

uncomment this if you want your log files compressed #compress

日志文件是否压缩。如果取消注释,则日志会在转储的同时进行压缩

以上日志配置为默认配置,如果需要轮替的日志没有设定独立的参数,那么都会遵循以上参数

如果轮替曰志配置了独立参数,那么独立参数的优先级更高

RPM packages drop log rotation information into this directory include /etc/logrotate.d

包含/etc/logrotate.d/目录中所有的子配置文件。也就是说,会把这个目录中所有的子配置文件读取进来,进行日志轮替

no packages own wtmp and btmp -- we'11 rotate them here

以下两个轮替曰志有自己的独立参数,如果和默认的参数冲突,则独立参数生效

/var/log/wtmp {

以下参数仅对此目录有效

monthly

每月对日志文件进行一次轮替

create 0664 root utmp

建立的新日志文件,权限是0664,所有者是root,所属组是utmp组

minsize 1M

日志文件最小轮替大小是1MB。也就是日志一定要超过1MB才会轮替,否则就算时间达到一个月,也不进行曰志轮替

rotate 1

仅保留一个曰志备份。也就是只保留wtmp和wtmp.1曰志)

/var/log/btmp {

以下参数只对/var/log/btmp生效

missingok

如果日志不存在,则忽略该日志的警告信患

monthly
create 0600 root utmp
rotate 1
}

system-specific logs may be also be configured here.

  • 在这个配置文件中,主要分为三部分:第一部分是默认设置,如果需要转储的日志文件没有特殊配置,则遵循默认设置的参数;
  • 第二部分是读取 /etc/logrotate.d/ 目录中的日志轮替的子配置文件,也就是说,在 /etc/logrotate.d/ 目录中的所有符合语法规则的子配置文件也会进行日志轮替;
  • 第三部分是对 wtmp 和 btmp 日志文件的轮替进行设定,如果此设定和默认参数冲突,则当前设定生效(如 wtmp 的当前参数设定的轮替时间是每月,而默认参数的轮替时间是每周,则对 wtmp 这个日志文件来说,轮替时间是每月,当前的设定参数生效)。

logrotate 配置文件的主要参数如表 1 所示。

Linux系统学习系列——Linux系统日志管 理(下 )_第2张图片

这些参数中较为难理解的应该是 prerotate/endscript 和 postrotate/endscript,我们利用“man logrotate”中的例子来解释一下这两个参数。例如:

"/var/log/httpd/access.log" /var/log/httpd/error.log {

日志轮替的是/var/log/httpd/中RPM包默认安装的apache正确访问日志和错误日志

    rotate 5
    #轮替5次
    mail [email protected]
    #把信息发送到指定邮箱
    size 100k
    #日志大于100KB时才进行日志轮替,不再按照时间轮替
    sharedscripts
    #以下脚本只执行一次
    postrotate
    #在日志轮替结束之后,执行以下脚本
    /usr/bin/killall -HUP httpd
    #重启apache 服务
endscript

脚本结束

}

prerotate 和 postrotate 主要用于在日志轮替的同时执行指定的脚本,一般用于日志轮替之后重启服务。这里强调一下,如果你的日志是写入 rsyslog 服务的配置文件的,那么把新日志加入 logrotate 后,一定要重启 rsyslog 服务,否则你会发现,虽然新日志建立了,但数据还是写入了旧的日志当中。那是因为虽然 logrotate 知道日志轮替了,但是 rsyslog 服务并不知道。

同理,如果采用源码包安装了 apache、Nginx 等服务,则需要重启 apache 或 Nginx 服务,同时还要重启 rsyslog 服务,否则日志也不能正常轮替。

不过,这里有一个典型应用就是给予特定的日志加入 chattr 的 a 属性。如果系统文件加入了 a 属性,那么这个文件就只能增加数据,而不能删除和修改已有的数据,root 用户也不例外。

因此,我们会给重要的日志文件加入 a 属性,这样就可以保护日志文件不被恶意修改。不过,一旦加入了 a 属性,那么在进行日志轮替时,这个日志文件是不能被改名的,当然也就不能进行日志轮替了。我们可以利用 prerotate 和 postrotate 参数来修改日志文件的 chattr 的 a 属性。

把自己的日志加入日志轮替

如果有些日志默认没有加入日志轮替(比如源码包安装的服务的日志,或者自己添加的日志),那么这些日志默认是不会进行日志轮替的,这样当然不符合我们对日志的管理要求。如果需要把这些日志也加入日志轮替,那该如何操作呢?

  • 这里有两种方法:第一种方法是直接在 /etc/logrotate.conf 配置文件中写入该日志的轮替策略,从而把日志加入轮替;
  • 第二种方法是在 /etc/logrotate.d/ 目录中新建立该日志的轮替文件,在该轮替文件中写入正确的轮替策略,因为该目录中的文件都会被包含到主配置文件中,所以也可以把日志加入轮替。

我们推荐第二种方法,因为系统中需要轮替的日志非常多,如果全部直接写入 /etc/logrotate.conf 配置文件,那么这个文件的可管理性就会非常差,不利于此文件的维护。

说起来很复杂,我们举个例子。还记得我们自己生成的 /var/log/alert.log 日志吗?这个日志不是系统默认日志,而是我们通过 /etc/rsyslog.conf 配置文件自己生成的日志,所以默认这个日志是不会进行轮替的。如果我们需要把这个日志加入日志轮替策略,那该怎么实现呢?我们采用第二种方法,也就是在 /etc/logrotate.d/ 目录中建立此日志的轮替文件。

具体步骤如下:

[root@localhost ~]# chattr +a /var/log/alert.log #先给日志文件赋予chattr的a属性,保证日志的安全
[root@localhost ~]# vi /etc/logrotate.d/alter

创建alter轮替文件,把/var/log/alert.log加入轮替

/var/log/alert.log {
    weekly
    #每周轮替一次
    rotate 6
    #保留6个轮替曰志
    sharedscripts
    #以下命令只执行一次
    prerotate
    #在日志轮替之前执行
        /usr/bin/chattr -a /var/log/alert.log
        #在日志轮替之前取消a属性,以便让日志可以轮替
    endscript
    #脚本结朿
    sharedscripts
    postrotate
    #在日志轮替之后执行
        /usr/bin/chattr +a /var/log/alert.log
        #在日志轮替之后,重新加入a属性
    endscript
    sharedscripts
    postrotate
    /bin/kill -HUP $(/bin/cat /var/run/syslogd.pid 2>/dev/null) fi>/dev/null
    endscript
    #重启rsyslog服务,保证日志轮替正常进行
}

这样我们自己生成的日志 /var/log/alert.log 也就可以进行日志轮替了,当然这些配置信息也是可以直接写入 /etc/logrotate.conf 这个配置文件的。

  1. Linux logrotate命令用法详解:进行日志转储(轮替)

日志轮替之所以可以在指定的时间备份日志,是因为其依赖系统定时任务。如果大家还记得 /etc/cron.daily/ 目录,就会发现这个目录中是有 logrotate 文件的,查看一下这个文件,命令如下:

[root@localhost ~]# vi /etc/cron.daily/logrotate

!/bin/sh

/usr/sbin/logrotate /etc/logrotate.conf >/dev/null 2>&1

最主要的就是执行了logrotate命令

EXITVALUE=$?
if [ $EXITVALUE!= 0 ]; then
/usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit 0

也就是说,系统每天都会执行 /etc/cron.daily/logrotate 文件,运行这个文件中的“/usr/sbin/logrotate/etc/logrotate.conf>/dev/null 2>&1”命令。logrotate 命令会依据 /etc/logrotate.conf 配置文件的配置,来判断配置文件中的日志是否符合日志轮替的条件(比如,日志备份时间已经满一周),如果符合,日志就会进行轮替。所以说,日志轮替还是由 crond 服务发起的。

logrotate 命令的格式是什么样的呢?我们来学习一下。

[root@localhost ~]# logrotate [选项] 配置文件名

  • 选项:如果此命令没有选项,则会按照配置文件中的条件进行日志轮替
  • -v:显示日志轮替过程。加入了-v选项,会显示日志的轮替过程
  • -f: 强制进行日志轮替。不管日志轮替的条件是否符合,强制配置文件中所有的日志进行轮替

我们执行 logrotate 命令,并查看一下执行过程。

[root@localhost ~]# logrotate -v /etc/logrotate.conf

查看日志轮替的流程

…省略部分输出…
rotating pattern:/var/log/alert.log weekly (6 rotations)

这就是我们自己加入轮替的alert.log日志

empty log files are rotated, old logs are removed
considering log /var/log/alert.log
log does not need rotating

时间不够一周,所以不进行日志轮替

…省略部分输出…

我们发现,/var/log/alert.log 加入了日志轮替,已经被 logrotate 识别并调用了,只是时间没有达到轮替的标准,所以没有进行轮替。那我们强制进行一次日志轮替,看看会有什么结果。

[root@localhost ~]# logrotate -vf /etc/logrotate.conf

强制进行日志轮替,不管是否符合轮替条件

…省略部分输出…
rotating pattern:/var/log/alert.log forced from command line (6 rotations)
empty log files are rotated, old logs are removed
considering log /var/log/alert.log
log needs rotating

日志需要轮替

rotating log /var/log/alert.log,log->rotateCount is 6
dateext suffix '-20130607'

提取日期参数

glob pattern '-0-90-90-90-9'
glob finding old rotated logs failed
running prerotate script
fscreate context set to unconfined_u:object_r:var_log_t:s0
renaming /var/log/alert.log to /var/log/alert.log-20130607

旧的日志被重命名

creating new /var/log/alert.log mode = 0600 uid = 0 gid = 0

创建新日志文件,同时指定权限、所有者和属组

running postrotate script
…省略部分输出…

我们发现,alert.log 日志已经完成了日志轮替。查看一下新生成的日志和旧日志,如下:

[root@localhost ~]# ll /var/log/alert.log*
-rw-------.1 root root 0 6月 7 10:07 /var/log/alert.log
-rw-------.1 root root 237 6月 7 09:58 /var/log/alert.log-20130607

旧的日志文件已经轮替

[root@localhost ~]# lsattr /var/log/alert.log
-----a-------e- /var/log/alert.log

新的日志文件被自动加入了chattr的a属性

logrotate 命令在使用“-f”选项之后,就会不管日志是否符合轮替条件,而强制把所有的日志都进行轮替。

  1. Linux日志分析工具(logwatch)安装及使用

日志是非常重要的系统文件,管理员每天的重要工作就是分析和查看服务器的日志,判断服务器的健康状态。但是日志管理又是一项非常枯燥的工作,如果需要管理员手工查看服务器上所有的日志,那实在是一项非常痛苦的工作。有些管理员就会偷懒,省略日志的检测工作,但是这样做非常容易导致服务器出现问题。

那么我们有取代的方案吗?有,那就是日志分析工具。这些日志分析工具会详细地查看日志,同时分析这些日志,并且把分析的结果通过邮件的方式发送给 root 用户。这样,我们每天只要查看日志分析工具的邮件,就可以知道服务器的基本情况,而不用挨个检查日志了。这样系统管理员就可以从繁重的日常工作中解脱出来,去处理更加重要的工作。

在 CentOS 中自带了一个日志分析工具,就是 logwatch。不过这个工具默认没有安装(因为我们选择的是“Basic Server”),所以需要手工安装。安装命令如下:

[root@localhost Packages]# yum -y install logwatch

安装完成之后,需要手工生成 logwatch 的配置文件。默认配置文件是 /etc/logwatch/conf/logwatch.conf,不过这个配置文件是空的,需要把模板配置文件复制过来。命令如下:

[root@localhost ~]# cp /usr/share/logwatch/default.conf/logwatch.conf /etc/logwatch/conf/logwatch.conf

复制配置文件

这个配置文件的内容中绝大多数是注释,我们把注释去掉,那么这个配置文件的内容如下所示:

[root@localhost ~]# vi /etc/logwatch/conf/logwatch.conf

查看配置文件

LogDir = /var/log

logwatch会分析和统计/var/log/中的日志

TmpDir = /var/cache/logwatch

指定logwatch的临时目录

MailTo = root

日志的分析结果,给root用户发送邮件

MailFrom = Logwatch

邮件的发送者是Logwatch,在接收邮件时显示

Print =

是否打印。如果选择“yes”,那么日志分析会被打印到标准输出,而且不会发送邮件。我们在这里不打印,#而是给root用户发送邮件

Save = /tmp/logwatch

如果开启这一项,日志分析就不会发送邮件,而是保存在/tmp/logwatch文件中

如果开启这一项,日志分析就不会发送邮件,而是保存在/tmp/logwatch文件中

Range = yesterday

分析哪天的日志。可以识别“All”“Today”“Yesterday”,用来分析“所有日志”“今天日志”“昨天日志”

Detail = Low

日志的详细程度。可以识别“Low”“Med”“High”。也可以用数字表示,范围为0~10,“0”代表最不详细,“10”代表最详细

Service = All

分析和监控所有日志

Service = "-zz-network"

但是不监控“-zz-network”服务的日志。“-服务名”表示不分析和监控此服务的日志

Service = "-zz-sys"
Service = "-eximstats"

这个配置文件基本不需要修改(我在实验时把 Range 项改为了 All,否则一会儿的实验可以分析的日志过少),它就会默认每天执行。它为什么会每天执行呢?聪明的读者已经想到了,一定是 crond 服务的作用。没错,logwatch 一旦安装,就会在 /etc/cron.daily/ 目录中建立“0logwatch”文件,用于在每天定时执行 logwatch 命令,分析和监控相关日志。

如果想要让这个日志分析马上执行,则只需执行 logrotate 命令即可。命令如下:

[root@localhost ~]# logwatch

马上执行logwatch日志分析工具

[root01ocalhost ~]# mail

查看邮件

Heirloom Mail version 12.4 7/29/08. Type ? for help, "/var/spool/mail/root": 5 messages 1 new 2 unread
1 [email protected] Fri Jun 7 11:17 42/1482 "Logwatch for localhost.localdomain (Linux)"
U 2 [email protected] Fri Jun 7 11:19 42/1481 "Logwatch for localhost.localdomain (Linux)"
3 [email protected] Fri Jun 7 11:23 1234/70928 "Logwatch for localhost.localdomain (Linux)"
4 [email protected] Fri Jun 7 11:24 190/5070 "Logwatch for localhost.localdomain (Linux)"
5 [email protected] Fri Jun 7 11:55 41/1471 "Logwatch for localhost.localdomain (Linux)"

N 6 [email protected] Fri Jun 7 11:57 189/5059 "Logwatch for localhost.localdomain (Linux)"

第6封邮件就是刚刚生成的曰志分析邮件,"N"代表没有查看

& 6
Message 6:
From [email protected] Fri Jun 7 11:57:35 2013 Return-Path:
X-Original-To: root
Delivered-To: [email protected]
To: [email protected]
From: [email protected]
Subject: Logwatch for localhost.localdomain (Linux)
Content-Type: text/plain; charset="iso-8859-1"
Date: Fri, 7 Jun 2013 11:57:33 +0800 (CST)
Status: R

Logwatch 7.3.6 (05/19/07)

Processing Initiated: Fri Jun 7 11:57:33 2013
Date Range Processed: all
Detail Level of Output: 0
Type of Output: unformatted
Logfiles for Host: localhost.localdomain

上面是曰志分析的时间和日期

...省略部分输出...
--------- Connections (secure-log) Begin-----------

分析secure.log日志的内容。统计新建立了哪些用户和组,以及错误登录信息 New Users:

    bb (501)
    def (503)
    hjk (504)
    zhangsan (505)
    dovecot (97)
    dovenull (498)
    aa (500)

New Groups:
    bb (501)
    def (503)
    hjk (504)
    zhangsan (505)
    dovecot (97)
    dovenull (498)
    aa (500)

Failed logins:
    User root:
    (null): 3 Time(s)

Root logins on tty's: 7 Time(s).

Unmatched Entries
groupadd: group added to /etc/group: name=dovecot, GID=97: 1 Time(s)
groupadd: group added to /etc/group: name=dovenul1, GID=498: 1 Time(s)
groupadd: group added to /etc/gshadow: name=dovecot: 1 Time(s)groupadd: group added to /etc/gshadow: name=dovenull: 1 Time(s)
--------Connections (secure-log)End-------
-------------SSHD Begin-------------------

分析SSHD的日志。可以知道哪些IP地址连接过服务器

SSHD Killed: 7 Time(s)
SSHD Started: 24 Time(s)
Users logging in through sshd:
192.168.0.104: 10 times
192.168.0.108: 8 times
192.168.0.101: 6 times
192.168.0.126: 4 times
192.168.0.100: 3 times
192.168.0.105: 3 times
192.168.0.106: 2 times
192.168.0.102: 1 time
192.168.0.103: 1 time
SFTP subsystem requests: 3. Time(s)
Unmatched Entries
Exiting on signal 15 : 6 time(s)
----------------SSHD End-----------

--------------- yum Begin ---------

统计yum安装的软件。可以知道我们安装了哪些软件

Packages Installed:
    perl-YAML-Syck-1.07-4.el6.i686
    perl-Date-Manip-6.24-1.el6.noarch
    logwatch-7.3.6-49.el6.noarch
-----------yum End-------------

--------Disk Space Begin-------

统计磁盘空间情况

Filesystem Size Used Avail Use% Mounted on
/dev/sda3 20G 1.9G 17G 11% /
/dev/sda1 194M 26M 158M 15% /boot
/dev/sr0 3.5G 3.5G 0 100% /mnt/cdrom
---------Disk Space End-----------------

Logwatch End

有了这个日志分析工具,日志管理工作就会轻松很多。当然,在 Linux 中可以支持很多日志分析工具,我们在这里只介绍了 CentOS 自带的 logwatch,大家可以根据自己的习惯选择相应的日志分析工具。

你可能感兴趣的:(c++,linux,服务器,架构师,后台开发)