Rsyslog系统日志管理,解决/var/log/message文件过大问题

目录

Rsyslog系统日志管理

一、常见的系统日志

二、日志管理程序

三、日志级别

四、日志配置

五、远程日志管理

六、日志轮转


Rsyslog系统日志管理

课程目标

  • 了解日志的级别与作用
  • 掌握 rsyslog 服务的本地日志和远程日志的管理
  • 能够使用 logrotate 程序根据需求对日志进行轮转

一、常见的系统日志

日志格式:文本日志/二进制日志/数据库日志
默认的相关日志文件:
/var/log/boot.log	系统引导日志,记录开机启动信息
/var/log/dmesg		核心的启动日志
/var/log/message	系统的日志文件
/var/log/maillog	邮件服务的日志
/var/log/xferlog	ftp服务的日志
/var/log/secure		网络连接及系统登录的安全信息
/var/log/cron		定时任务的日志
/var/log/wtmp		记录所有的登入和登出	last -f 查看
/var/log/btmp		记录失败的登入尝试

二、日志管理程序

  • 在RHEL6中,syslogd已经被rsyslog取代,它可以将日志写入数据库,并可以利用模板和插件控制输入输出。
  • rsyslog程序管理本地和远程日志
    • 安装软件
    • 根据需求修改配置文件
    • 启动服务
    • 测试验证

三、日志级别

# man syslog
日志信息分为以下级别,从上到下级别一次降低
	none	none不是一个等级,它表示不记录服务的所有信息
0 	emerg	系统不可用
1	alert	特别留意的报警信息
2	crit	非常严重的状况
3	err		错误信息	
4	warning	警告信息
5	notice	稍微需要注意的信息
6	info	正常信息
7	debug	调试信息,开发人员使用

四、日志配置

[root@server ~]# rpm -q rsyslog
rsyslog-5.8.10-8.el6.x86_64
[root@server ~]# rpm -ql rsyslog
/etc/logrotate.d/syslog
/etc/pki/rsyslog	
/etc/rc.d/init.d/rsyslog		//启动脚本
/etc/rsyslog.conf		//主配置文件
/etc/rsyslog.d			//子配置文件
/etc/sysconfig/rsyslog
/sbin/rsyslogd
/usr/share/man/man5/rsyslog.conf.5.gz
/usr/share/man/man8/rsyslogd.8.gz

[root@server ~]# grep -v ^# /etc/rsyslog.conf 
$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
$ModLoad imklog   # provides kernel logging support (previously done by rklogd)
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
$IncludeConfig /etc/rsyslog.d/*.conf

*.info;mail.none;authpriv.none;cron.none                /var/log/messages

authpriv.*                                              /var/log/secure

mail.*                                                  -/var/log/maillog


cron.*                                                  /var/log/cron

*.emerg                                                 *

uucp,news.crit                                          /var/log/spooler

local7.*                                                /var/log/boot.log

$template SpiceTmpl,"%TIMESTAMP%.%TIMESTAMP:::date-subseconds% %syslogtag% %syslogseverity-text%:%msg:::sp-if-no-1st-sp%%msg:::drop-last-lf%\n"

:programname, startswith, "spice-vdagent"	/var/log/spice-vdagent.log;SpiceTmpl

1.日志定义相关符号
配置文件中常见的表示符合
.	用来分隔服务和级别
*	任何服务,或者任何级别
= 	有等号表示等于某一级别,没有等号表示大于或者等于某一级别
!	排除操作,前面有相同服务的表达式,这个操作才有意义
		代表从前面表达式所包含的内容中排除某些内容
;	用于分隔不同的	服务,级别,组合
,	用于分隔不同服务
-   用于指定目标文件时,代表异步写入

举例说明
mail.=info
mail.info		mail服务大于等于info级别的日志
mail.info;cron.=info	/var/log/test.log
mail,cron.err
cron.=warning
mail,cron.info

cron.info;cron.!=err	012456
0123456		0124567
cron.info;cron.!err		456
0123456		4567

特别说明:
 The facility is one of the following keywords: auth,
       authpriv, cron, daemon, kern, lpr, mail, mark, news,
       security  (same  as  auth),  syslog,  user, uucp and
       local0 through local7.(设备载体)
log facility 设备	设施:用来记录一种类型日志的日志设备

daemon
auth
authpriv
user
mail
lpr
news
uucp
ftp
local7
       

本地日志管理ssh

 [root@server ~]# man sshd_config
 SyslogFacility
         Gives the facility code that is used when logging
         messages from sshd(8).  The possible values are: DAE-
         MON, USER, AUTH, AUTHPRIV, LOCAL0, LOCAL1, LOCAL2,
         LOCAL3, LOCAL4, LOCAL5, LOCAL6, LOCAL7.  The default
         is AUTH.
  1. 更改ssh服务的默认日志记录载体
  2. 通过rsyslog程序去管理来自指定设备载体的日志记录到指定的文件(修改/etc/rsyslog.conf)
  3. 测试验证
1.修改ssh服务配置文件
[root@server ~]# cp /etc/ssh/sshd_config /etc/ssh/sshd_config.bak
[root@server ~]# vim /etc/ssh/sshd_config 
SyslogFacility LOCAL6
2.重启服务
[root@server ~]# service sshd restart
Stopping sshd:                                             [  OK  ]
Starting sshd:                                             [  OK  ]
3.将来自LOCAL6设备载体日志记录指定位置(rsyslog)
[root@server ~]# vim /etc/rsyslog.conf
local6.*                                                /var/log/ssh
4.重启rsyslog服务
[root@server ~]# service rsyslog restart
Shutting down system logger:                               [  OK  ]
Starting system logger:                                    [  OK  ]
5.客户端测试
[root@client ~]# ssh 10.1.1.2
Last login: Fri Apr 26 12:27:33 2019 from 10.1.1.1
[root@server log]# ll ssh
-rw------- 1 root root 0 Apr 26 13:40 ssh
[root@server log]# tail -f ssh
Apr 26 13:42:09 server sshd[2447]: Accepted publickey for root from 10.1.1.3 port 35951 ssh2
Apr 26 13:44:10 server sshd[2447]: Received disconnect from 10.1.1.3: 11: disconnected by user
此时进行ssh访问,日志会在local6和/var/log/messages里都出现

如果不想记录到/messages,可修改/etc/rsyslog.conf,添加local6.none,则不再显示ssh的日志
*.info;mail.none;authpriv.none;cron.none;local6.none              /var/log/messages

五、远程日志管理

目前:把多台服务器的日志远程记录到其中一台日志服务器集中化管理,方便对其统一分析和管理

环境:

log-server:10.1.1.2

应用服务器:10.1.1.3

ssh服务服务——>其他人远程访问该应用服务器产生ssh服务日志——>远程记录到log-server上

client:10.1.1.4

ssh:10.1.1.3——>日志记录10.1.1.2

需求:把web服务器上的ssh服务日志,远程记录到log-server上

思路:

web应用服务器上操作

  1. 将web服务器上的ssh服务的日志单独记录
    • 指定ssh服务的设备载体
    • 重启服务
  2. 将来自于ssh服务的日志设备载体上的日志远程发送到log-server上

以下操作在log-server上操作

  1. 通过修改配置文件,打开日志传输端口
    • 加载相应模块 tcp | udp
    • 打开接收端口 默认514端口
  2. 启动服务后日志默认会保存到/var/log/messages

步骤:

以下操作在log-service(10.1.1.2)服务上完成
1.加载相应模块打开接收端口(可以选择udp、tcp都打开)
[root@log-server ~]# vim /etc/rsyslog.conf
# Provides UDP syslog reception
$ModLoad imudp
$UDPServerRun 514

# Provides TCP syslog reception
$ModLoad imtcp
$InputTCPServerRun 514
2.重启服务
service rsyslog restart
[root@log-server ~]# netstat -nltup |grep 514		//验证端口是否打开
tcp        0      0 0.0.0.0:514                 0.0.0.0:*                   LISTEN      2822/rsyslogd       
tcp        0      0 :::514                      :::*                        LISTEN      2822/rsyslogd       
udp        0      0 0.0.0.0:514                 0.0.0.0:*                               2822/rsyslogd       
udp        0      0 :::514                      :::*                                    2822/rsyslogd

以下操作在应用服务器完成(10.1.1.3):
1.指定ssh服务的日志文件的设备载体
[root@ssh-server ~]# vim /etc/ssh/sshd_config 
SyslogFacility LOCAL0
2.重启ssh服务
[root@ssh-server ~]# service sshd restart
3.修改/etc/rsyslog.conf来指定ssh服务的日志发送到远端去
[root@ssh-server ~]# vim /etc/rsyslog.conf 

# remote host is: name/ip:port, e.g. 192.168.0.1:514, port optional
#*.* @@remote-host:514

local0.*        @10.1.1.2:514	//一个@表示udp,两个@表示tcp  
最关键的一步,将日志远程发送给10.1.1.2


4.重启rsyslog服务
[root@ssh-server ~]# service rsyslog restart
Shutting down system logger:                               [  OK  ]
Starting system logger:                                    [  OK  ]

测试验证(client:10.1.1.4)
[root@client ~]# ssh 10.1.1.3
The authenticity of host '10.1.1.3 (10.1.1.3)' can't be established.
RSA key fingerprint is a5:98:06:58:84:35:d3:f4:4c:f8:43:a1:a5:12:f5:8e.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '10.1.1.3' (RSA) to the list of known hosts.
[email protected]'s password: 
Last login: Fri Apr 26 14:46:31 2019 from 10.1.1.1

[root@log-server ~]# tail -f /var/log/messages
Apr 26 15:12:30 ssh-server sshd[2858]: Accepted password for root from 10.1.1.4 port 58561 ssh2
[root@ssh-server ~]# tail -f /var/log/messages
Apr 26 15:12:30 ssh-server sshd[2858]: Accepted password for root from 10.1.1.4 port 58561 ssh2
(不想记录就修改/etc/rsyslog.conf,将local0.none加在/var/log/messages那行里)

注意:selinux和防火墙,还有udp和tcp 端口514是否打开

六、日志轮转

日志轮循(轮转):日志轮转,切割,备份,归档

  • 为什么要日志轮转?
  1. 避免日志过大占满/var/log的文件系统
  2. 方便日志查看
  3. 将丢弃系统中最旧的日志文件,以节省空间
  4. 日志轮转的程序是logrotate
  5. logrotate本身不是系统守护进程,它是通过计划crond每天执行
  • 如何进行日志轮转?
    • 了解相关配置文件
[root@log-server ~]# rpm -ql logrotate
/etc/cron.daily/logrotate		周期性计划任务
/etc/logrotate.conf				配置文件
/etc/logrotate.d				子配置文件存放路径
/usr/sbin/logrotate
/usr/share/doc/logrotate-3.7.8
/usr/share/doc/logrotate-3.7.8/CHANGES
/usr/share/doc/logrotate-3.7.8/COPYING
/usr/share/man/man5/logrotate.conf.5.gz
/usr/share/man/man8/logrotate.8.gz
/var/lib/logrotate.status

[root@log-server ~]# cat /etc/logrotate.conf
# see "man logrotate" for details
# rotate log files weekly
weekly

# keep 4 weeks worth of backlogs	保留4周备份日志
rotate 4

# create new (empty) log files after rotating old ones
create

# use date as a suffix of the rotated file		日期作为后缀给旧文件重命名
dateext

# uncomment this if you want your log files compressed
#compress

# RPM packages drop log rotation information into this directory
include /etc/logrotate.d	加载外部目录

# no packages own wtmp and btmp -- we'll rotate them here
/var/log/wtmp {
    monthly
    create 0664 root utmp		
	minsize 1M
    rotate 1	保留1份日志文件,每一个月备份一次日志文件
}

/var/log/btmp {
    missingok
    monthly
    create 0600 root utmp
    rotate 1
}

# system-specific logs may be also be configured here.

常见的一些参数:
daily		指定转储周期为每天
monthly		指定转储周期为每月
weekly		每周轮转一次
rotate 4	同一个文件最多轮转4次,4次之后就删除该文件
create 0664 root uttmp	轮转之后创建新文件,权限是0664,属于root用户和utmp组
dateext		用日期来做轮转之后的文件的后缀名
compress	用gzip对轮转后的日志进行压缩
minsize	30K	文件必须大于30k,且周期到了,才会轮转
size 30K	文件大于30k才会轮转,不论周期是否已到
missingok	如果日志文件不存在,不报错
notifempty	如果日志文件是空的,不轮转
delaycompress	下一次轮转的时候才压缩
sharedscripts	不管有多少个文件待轮转,prerotate和postrotate代码只执行一次
prerotate		如果符合轮转的条件,则在轮转之前执行prerotate和endscript之间的shell代码
postrotate		轮转完成后执行postrotate和endscript之间的shell代码

[root@server~]# cat /etc/logrotate.d/syslog 
这个子配置文件,没有指定的参数都会以默认方式轮转
/var/log/cron
/var/log/maillog
/var/log/messages
/var/log/secure
/var/log/spooler
{
    sharedscripts	不管有多少个文件待轮转,prerotate和postrotate代码只执行一次
    postrotate		转换完后执行postrotate和endscirpt之间的shell代码
	/bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true
	轮转后对rsyslog的pid进行刷新(但pid其实不变)
    endscript
}
思考:为什么轮转后需要对rsyslog的pid进行刷新?
ll -i 查看文件的inode	
-HUP 平滑重启

Rsyslog系统日志管理,解决/var/log/message文件过大问题_第1张图片

Rsyslog系统日志管理,解决/var/log/message文件过大问题_第2张图片

不以时间为后缀进行轮转,在/etc/logrotate.conf/ nodateext

清空环境

重启服务

Rsyslog系统日志管理,解决/var/log/message文件过大问题_第3张图片

Rsyslog系统日志管理,解决/var/log/message文件过大问题_第4张图片

结论 

Rsyslog系统日志管理,解决/var/log/message文件过大问题_第5张图片

后刷新pid的话,logger -t "呵呵" "再见!"会写入旧文件(messages.1)里面

将这句话放在/bin/kill这条命令后面,会写入新文件里

最新的文件是messages,第一次强制轮转后的旧文件是messages.1,cat messages.1会看到logger -t "呵呵" "再见!",到第二次就成messages.2。而第二次轮转后的messages.1成了第一次轮转后的messages的老文件。(看时间区别)

Rsyslog系统日志管理,解决/var/log/message文件过大问题_第6张图片

你可能感兴趣的:(排障思路,linux,运维,服务器)