日志文件系统syslog,syslog-ng

 

Linux上的日志系统

       通俗的讲，系统日志便是系统在运行时候所产生的记录。如遇到了什么问题，记录下来。由于产生的问题大小不同，所以便有了级别来规范如何记录他们。由于日志全部集中到一起又会产生庞大难分类的问题所以有了日志子系统的分类来解决这一问题。另外存储到什么位子也需要指定。所以日志系统(syslog)的过程可以分为以下三类

      

              1、信息详细程序：日志级别

              2、子系统：facility, 设施

              3、动作：存储的位子，由谁记录

      

       另外，日志系统syslog也会有升级的版本，如syslog-ng ：下一代的升级日志系统，由于这么多年，syslog只升级了这么一代，所以其改进是非常大的。功能的定义等改进也很大。使用的时候也需要注意这一点。这里具体来说明syslog。

              syslog：

                     为了方便观看个子系统产生的日志信息，专门创造了syslog来统一记录各子系统产生的日志信息。syslog是一个服务，其的任务专门记录各子系统产生的日志，你可以把每一个程序都看做一个子系统。但是如一些服务（web）等，其专门定制了自身的存储记录格式而不使用syslog。所以，syslog的使用者多为系统上核心上facility的设备来使用。所以可以理解如下：

                            syslog服务：

                                   syslogd: 系统，非内核产生的信息

                                   klogd：内核，专门负责记录内核产生的日志信息

                            其中，syslogd与klogd记录的信息的详细程度格式有着相当大的不同。

                     kernel --> 物理终端(/dev/console) --> /var/log/dmesg

                            当开机的时候，kernel加载，然后系统的虚拟终端服务尚未开启（开启是在init中才开始开启）所以这个时候信息都显示在物理终端上，其对应的设备是/dev/console，这些信息中包括系统硬件的参数等等，其都保存在/var/log/dmesg中，可以查看此文件来观看：#dmesg或者# cat /var/log/dmesg因为内容显示太多不上传图片来查看。

                                  

       /sbin/init

       /var/log/messages: 系统标准错误日志信息；非内核产生引导信息；各子系统产生的信息；(会被多次进行滚动)

                     日志需要滚动(日志切割logrotate来执行)：

                            messages messages.1 messages.2 messages.3 

                                   当messages内容到大一定量时候，便会给其改名重新记录其他的。如果messages.#文件到达一定数字时候，系统又会自动删除一些。（更改.#的条件可以为时间，也可以为其容量大小到大某一程序，也可以是双标准）

                                  

                                   日志切割logrotate来执行，其配置文件在/etc/logrotate.conf可以自行查看，其脚本文件/etc/cron.daily/logrotate中如图1，可以观看理解下：

 /var/log/maillog: 邮件系统产生的日志信息；
 /var/log/secure: 跟安全相关的，600权限，一般不允许其他用户查看

syslog: syslogd和klogd

配置文件定义格式为: facility.priority        action
 facility,可以理解为日志的来源或设备目前常用的facility有以下几种：
 

auth                # 认证相关的
authpriv            # 权限,授权相关的
cron                # 任务计划相关的
daemon              # 守护进程相关的
kern                # 内核相关的
lpr                  # 打印相关的
mail                 # 邮件相关的
mark                 # 标记相关的
news                 # 新闻相关的
security            # 安全相关的,与auth 类似
syslog               # syslog自己的
user                 # 用户相关的
uucp                 # unix to unix cp 相关的
local0 到 local7     # 用户自定义使用
*                   # *表示所有的facility
facility表示谁产生的日志，priority 哪个级别产生的日志，action产生的日志怎么办

 priority(log level)日志的级别,一般有以下几种级别(从低到高)
 

debug           # 程序或系统的调试信息
info            # 一般信息
notice          # 不影响正常功能,需要注意的消息
warning/warn    # 可能影响系统功能,需要提醒用户的重要事件
err/error       # 错误信息
crit            # 比较严重的
alert           # 必须马上处理的
emerg/panic     # 会导致系统不可用的
*               # 表示所有的日志级别
none            # 跟* 相反,表示啥也没有

 action(动作)日志记录的位置

 

系统上的绝对路径    # 普通文件 如： /var/log/xxx
|                   # 管道  通过管道送给其他的命令处理
终端              # 终端   如：/dev/console
@HOST               # 远程主机 如： @10.0.0.1
用户              # 系统用户 如： root
*                   # 登录到系统上的所有用户，一般emerg级别的日志是这样定义的

定义格式例子：

 

mail.info   /var/log/mail.log # 表示将mail相关的,级别为info及
                              # info以上级别的信息记录到/var/log/mail.log文件中
auth.=info  @10.0.0.1         # 表示将auth相关的,基本为info的信息记录到10.0.0.1主机上去
                              # 前提是10.0.0.1要能接收其他主机发来的日志信息
user.!=error                  # 表示记录user相关的,不包括error级别的信息
user.!error                   # 与user.error相反
*.info                        # 表示记录所有的日志信息的info级别
mail.*                        # 表示记录mail相关的所有级别的信息
*.*                           # 你懂的.
cron.info;mail.info           # 多个日志来源可以用";" 隔开
cron,mail.info                # 与cron.info;mail.info 是一个意思
mail.*;mail.!=info            # 表示记录mail相关的所有级别的信息,但是不包括info级别的

 

 

 

 

 

二.syslog-ng详解（摘抄 http://ant595.blog.51cto.com/5074217/1080922）
1.syslog-ng简介
syslog-ng (syslog-Next generation) 是syslog的升级版,syslog-ng有两个版本,一个是收费的,一个是开源的，那么作为syslog的下一代产品,功能是可想而知,肯定比syslog的功能强大的多,如
高性能
可靠的传输
支持多平台
高可靠性
众多的用户群体
强大的日志过滤及排序
事件标签和关联性
支持最新的IETF标准
等....
开源版本的主页 http://www.balabit.com/network-security/syslog-ng/opensource-logging-system/overview

2.syslog-ng的安装
rhel5.x的系统上默认没有使用syslog-ng来记录日志的,需要使用的话,需要自己编译安装,安装方法如下

 

#yum install gcc*
#cd /usr/src
#wget http://www.balabit.com/downloads/files/syslog-ng/sources/3.2.4/source/eventlog_0.2.12.tar.gz
#wget http://www.balabit.com/downloads/files/syslog-ng/open-source-edition/3.3.5/source/syslog-ng_3.3.5.tar.gz
#tar xvf eventlog_0.2.12.tar.gz
#cd eventlog-0.2.12
#./configure --prefix=/usr/local/eventlog
#make
#make install
#
#cd /usr/src
#tar xvf syslog-ng_3.3.5.tar.gz
#cd syslog-ng-3.3.5
#export PKG_CONFIG_PATH=/usr/local/eventlog/lib/pkgconfig
#./configure --prefix=/usr/local/syslog-ng
#make
#make install
#
#
#将syslog-ng添加为系统服务,
#vim /etc/init.d/syslog-ng  #内容如下
##!/bin/bash
##
## chkconfig: -  60 27
## description: syslog-ng SysV script.
#. /etc/rc.d/init.d/functions
#
#syslog_ng=/usr/local/syslog-ng/sbin/syslog-ng
#prog=syslog-ng
#pidfile=/usr/local/syslog-ng/var/syslog-ng.pid
#lockfile=/usr/local/syslog-ng/var/syslog-ng.lock
#RETVAL=0
#STOP_TIMEOUT=${STOP_TIMEOUT-10}
# 35.start() {
#        echo -n $"Starting $prog: "
#        daemon --pidfile=$pidfile $syslog_ng $OPTIONS
#        RETVAL=$?
#        echo
#        [ $RETVAL = 0 ] && touch ${lockfile}
#        return $RETVAL
#}
#
#stop() {
#    echo -n $"Stopping $prog: "
#    killproc -p $pidfile -d $STOP_TIMEOUT $syslog_ng
#    RETVAL=$?
#    echo
#    [ $RETVAL = 0 ] && rm -f $lockfile $pidfile
#}
#
#case "$1" in
#  start)
#    start
#    ;;
#  stop)
#    stop
#    ;;
#  status)
#        status -p $pidfile $syslog_ng
#    RETVAL=$?
#    ;;
#  restart)
#    stop
#    start
#    ;;
#  *)
#    echo $"Usage: $prog {start|stop|restart|status}"
#    RETVAL=2
#esac
#exit $RETVAL
#------------------------------------------------------------
#chmod a+x /etc/init.d/syslog-ng
#killall syslogd 75.chkconfig --add syslog-ng
#chkconfig syslog-ng on
#service syslog-ng start

3.syslog-ng配置文件详解
此时syslog-ng服务已经启动起来了,配置文件的位置在安装目录下的etc/syslog-ng.conf

 

syslog-ng.conf文件里的内容有以下几个部分组成,
# 全局选项,多个选项时用分好";"隔开
options { .... };
# 定义日志源,
source s_name { ... };
# 定义过滤规则，规则可以使用正则表达式来定义,这里是可选的,不定义也没关系
filter f_name { ... };
# 定义目标
destination d_name { ... };
# 定义消息链可以将多个源,多个过滤规则及多个目标定义为一条链
log { ... };
详解如下
----------------------------------------------------------------
options { long_hostnames(off); sync(0); perm(0640); stats(3600); };
    更多选项如下
    chain_hostnames(yes|no)     # 是否打开主机名链功能，打开后可在多网络段转发日志时有效
    long_hostnames(yes|no)      # 是chain_hostnames的别名，已不建议使用
    keep_hostname(yes|no)       # 是否保留日志消息中保存的主机名称
    use_dns(yes|no)             # 是否打开DNS查询功能，
    use_fqdn(yes|no)            # 是否使用完整的域名
    check_hostname(yes|no)      # 是否检查主机名有没有包含不合法的字符
    bad_hostname(regexp)        # 可通过正规表达式指定某主机的信息不被接受
    dns_cache(yes|no)           # 是否打开DNS缓存功能
    dns_cache_expire(n)         # DNS缓存功能打开时，一个成功缓存的过期时间
    dns_cache_expire_failed(n)  # DNS缓存功能打开时，一个失败缓存的过期时间
    dns_cache_size(n)           # DNS缓存保留的主机名数量
    create_dirs(yes|no)         # 当指定的目标目录不存在时，是否创建该目录
    dir_owner(uid)              # 目录的UID
    dir_group(gid)              # 目录的GID
    dir_perm(perm)              # 目录的权限，使用八进制方式标注，例如0644
    owner(uid)                  # 文件的UID
    group(gid)                  # 文件的GID
    perm(perm)                  # 文件的权限，同样，使用八进制方式标注
    gc_busy_threshold(n)        # 当syslog-ng忙时，其进入垃圾信息收集状态的时间一旦分派的对象达到这个数字，syslog-ng就启动垃圾信息收集状态。默认值是：3000。
    gc_idle_threshold(n)        # 当syslog-ng空闲时，其进入垃圾信息收集状态的时间一旦被分派的对象到达这个数字，syslog-ng就会启动垃圾信息收集状态，默认值是：100
    log_fifo_size(n)            # 输出队列的行数
    log_msg_size(n)             # 消息日志的最大值（bytes）
    mark(n)                     # 多少时间（秒）写入两行MARK信息供参考，目前没有实现
    stats(n)                    # 多少时间（秒）写入两行STATUS信息,默认值是：600
    sync(n)                     # 缓存多少行的信息再写入文件中，0为不缓存，局部参数可以覆盖该值。
       time_reap(n)                # 在没有消息前，到达多少秒，即关闭该文件的连接
    time_reopen(n)              # 对于死连接，到达多少秒，会重新连接
    use_time_recvd(yes|no)      # 宏产生的时间是使用接受到的时间，还是日志中记录的时间；建议使用R_的宏代替接收时间，S_的宏代替日志记录的时间，而不要依靠该值定义。

source s_name { internal(); unix-dgram("/dev/log"); udp(ip("0.0.0.0") port(514)); };

    file (filename)                 # 从指定的文件读取日志信息
    unix-dgram  (filename)          # 打开指定的SOCK_DGRAM模式的unix套接字，接收日志消息
    unix-stream (filename)          # 打开指定的SOCK_STREAM模式的unix套接字，接收日志消息
    udp ( (ip),(port) )             # 在指定的UDP端口接收日志消息
    tcp ( (ip),(port) )             # 在指定的TCP端口接收日志消息
    sun-streams (filename)          # 在solaris系统中，打开一个（多个）指定的STREAM设备，从其中读取日志消息
    internal()                      # syslog-ng内部产生的消息
    pipe(filename),fifo(filename)   # 从指定的管道或者FIFO设备，读取日志信息

filter f_name   { not facility(news, mail) and not filter(f_iptables); };
    更多规则函数如下
    facility(..)    # 根据facility（设备）选择日志消息，使用逗号分割多个facility
    level(..)       # 根据level（优先级）选择日志消息，使用逗号分割多个level，或使用“..”表示一个范围
    program(表达式)    # 日志消息的程序名是否匹配一个正则表达式
    host(表达式)   # 日志消息的主机名是否和一个正则表达式匹配
    match(表达式)  # 对日志消息的内容进行正则匹配
    filter()        # 调用另一条过滤规则并判断它的值
    定义规则的时候也可以使用逻辑运算符and or not

destination d_name { file("/var/log/messages"); };
    更多动作如下
    file (filename)                 # 把日志消息写入指定的文件
    unix-dgram  (filename)          # 把日志消息写入指定的SOCK_DGRAM模式的unix套接字
    unix-stream (filename)          # 把日志消息写入指定的SOCK_STREAM模式的unix套接字
    udp (ip),(port)                 # 把日志消息发送到指定的UDP端口
    tcp (ip),(port)                 # 把日志消息发送到指定的TCP端口
    usertty(username)               # 把日志消息发送到已经登陆的指定用户终端窗口
    pipe(filename),fifo(filename)   # 把日志消息发送到指定的管道或者FIFO设备
    program(parm)                   # 启动指定的程序，并把日志消息发送到该进程的标准输入

log { source(s_name); filter(f_name); destination(d_name) };

 

一条日志的处理流程大概是这样的,如下
首先是  "日志的来源  source s_name { ... };"
然后是  "过滤规则  filter f_name { ... };"
再然后是 "消息链  log { source(s_name); filter(f_name); destination(d_name) };"
最后是  "目标动作  destination d_name { ... };"
这样以来一条日志就根据你的意思来处理了,需要注意的是一条日志消息过了之后,会匹配定义的所有配置,并不是匹配到以后就不再往下匹配了.

4.syslog-ng配置文件例子

$syslog-ng_path/etc/syslog-ng.conf 内容如下

options { long_hostnames(off); sync(0); perm(0640); stats(3600); };

source src {
            internal();
            unix-dgram("/dev/log");
            # 表示日志来源为本机udp的514端口,
            udp(ip("0.0.0.0") port(514));
};

filter f_iptables   { facility(kern) and match("IN=") and match("OUT="); };

filter f_console    { level(warn) and facility(kern) and not filter(f_iptables)
                      or level(err) and not facility(authpriv); };

filter f_newsnotice { level(notice) and facility(news); };
filter f_newscrit   { level(crit)   and facility(news); };
filter f_newserr    { level(err)    and facility(news); };
filter f_news       { facility(news); };

filter f_mailinfo   { level(info)      and facility(mail); };
filter f_mailwarn   { level(warn)      and facility(mail); };
filter f_mailerr    { level(err, crit) and facility(mail); };
filter f_mail       { facility(mail); };

filter f_cron       { facility(cron); };

filter f_local      { facility(local0, local1, local2, local3,
                               local4,  local6, local7); };

filter f_acpid_full { match('^acpid:'); };
filter f_acpid      { level(emerg..notice) and match('^acpid:'); };

filter f_acpid_old  { match('^\[acpid\]:'); };

filter f_netmgm     { match('^NetworkManager:'); };

filter f_messages   { not facility(news, mail) and not filter(f_iptables); };
filter f_warn       { level(warn, err, crit) and not filter(f_iptables); };
filter f_alert      { level(alert); };

destination console  { pipe("/dev/tty10"    owner(-1) group(-1) perm(-1)); };
log { source(src); filter(f_console); destination(console); };

destination xconsole { pipe("/dev/xconsole" owner(-1) group(-1) perm(-1)); };
log { source(src); filter(f_console); destination(xconsole); };

destination newscrit   { file("/var/log/news/news.crit"
                              owner(news) group(news)); };
log { source(src); filter(f_newscrit); destination(newscrit); };

destination newserr    { file("/var/log/news/news.err"
                              owner(news) group(news)); };
log { source(src); filter(f_newserr); destination(newserr); };

destination newsnotice { file("/var/log/news/news.notice"
                              owner(news) group(news)); };
log { source(src); filter(f_newsnotice); destination(newsnotice); };

destination mailinfo { file("/var/log/mail.info"); };
log { source(src); filter(f_mailinfo); destination(mailinfo); };

destination mailwarn { file("/var/log/mail.warn"); };
log { source(src); filter(f_mailwarn); destination(mailwarn); };

destination mailerr  { file("/var/log/mail.err" fsync(yes)); };
log { source(src); filter(f_mailerr);  destination(mailerr); };

destination mail { file("/var/log/mail"); };
log { source(src); filter(f_mail); destination(mail); };

destination acpid { file("/var/log/acpid"); };
destination null { };
log { source(src); filter(f_acpid); destination(acpid); flags(final); };

log { source(src); filter(f_acpid_full); destination(null); flags(final); };

log { source(src); filter(f_acpid_old); destination(acpid); flags(final); };

destination netmgm { file("/var/log/NetworkManager"); };
log { source(src); filter(f_netmgm); destination(netmgm); flags(final); };

destination localmessages { file("/var/log/localmessages"); };
log { source(src); filter(f_local); destination(localmessages); };

destination messages { file("/var/log/messages"); };
log { source(src); filter(f_messages); destination(messages); };

destination firewall { file("/var/log/firewall"); };
log { source(src); filter(f_iptables); destination(firewall); };

destination warn { file("/var/log/warn" fsync(yes)); };
log { source(src); filter(f_warn); destination(warn); };

filter f_ha         { facility(local5); };
destination hamessages { file(/var/log/ha); };
log { source(src); filter(f_ha); destination(hamessages); };