Linux-日志管理

目录

前言

1.日志管理简介

1.1日志服务

1.2常见日志的作用

2.rsyslogd日志服务

2.1日志文件格式

2.2 /etc/rsyslog.config配置文件

3.日志轮替

3.1日志文件的命名规则

3.2 logrotate配置文件

3.3 把apache日志加入轮替

3.4 logrotate命令

---

前言

 每篇一句话

        困难像弹簧，你弱它就强，你强它就弱。

 这里是小葵花的学习之路

 博客主页 小葵花学堂

文章为个人笔记，若其中如有内容不规范或讲解有误区的地方还请各位指正，谢谢大家！

欢迎各位点赞评论收藏⭐️

 Linux学习之路
        本章主要讲解linux日志管理的基础篇，分为管理简介、rsyslog服务及日志轮替三个小节，其中会讲解日志的排序格式，以及怎么去看懂其中的各个字段它们的含义。通过本章的学习我相信大家对linux会有更深入的理解。
冲冲冲
⭐️上一篇内容：Linux-系统管理

---

1.日志管理简介

工作当中的日志，特指硬件和软件的日志，管理员可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。日志管理包括管理系统日志、应用程序日志、安全日志、日志审计、网络日志等。

1.1日志服务

        在centos 6.x中日志服务已经由rsyslogd取代了原先的syslogd服务。rsyslogd日志服务更加先进，功能更多。但是不论该服务的使用，还是日志文件的格式其实都是和syslogd服务相兼容的，所以学习起来基本和syslogd服务一致。

rsyslogd的新特点

1	基于TCP网络协议传输日志信息；
2	更安全的网络传输方式；
3	有日志消息的及时分析框架；
4	后台数据库；
5	配置文件中可以写简单的逻辑判断；
6	与syslog配置文件相兼容。

确定服务启动

[root@localhost~]# ps aux | grep rsyslogd
#查看服务是否启动
[root@localhost~]# chkconfig --list | grep rsyslog
#查看服务是否自启动

---

1.2常见日志的作用

系统默认的日志

日志文件	说明
/var/log/cron	记录了系统定时任务相关的日志
/var/log/cups/	记录打印信息的日志
/var/log/dmesg	记录了系统在开机时内核自检的信息。也可以使用dmesg命令直接查看内核自建信息
/var/log/btmp	记录错误登录的日志。这个文件是二进制文件，不能直接vi查看，而要使用lastb命令查看。
/var/log/lastlog	记录系统中所有用户最后一次的登录时间的日志。这个文件也是二进制文件，不能直接vi，而要使用lastlog命令查看。
/var/log/mailog	记录邮件信息
/var/log/message	记录系统重要信息的日志。这个日志文件中会记录Linux系统的绝大多数重要信息，如果系统出现问题时，首先要检查的就应该是这个日志文件。
/var/log/secure	记录验证和授权方面的信息，只要涉及账户和密码的程序都会记录。比如说系统的登录，ssh的登陆，su切换用户，sudo授权，甚至添加用户和修改用户密码都会记录在这个日志文件中。
/var/log/wtmp	永久记录所有用户的登录、注销信息，同时记录系统的启动、重启、关机事件。同样这个文件也是一个二进制文件，不能直接vi，而需要使用last命令来查看。
/var/run/utmp	记录当前已经登录的用户的信息。这个文件会随着用户的登录和注销而不断变化，只记录当前登录用户的信息。同样这个文件不能直接vi，而要使用w，who，users等命令来查询。

# /var/log/btmp、/var/log/lastlog、/var/log/wtmp、/var/run/utmp这四个文件不能直接使用vi编辑器查看，只能通过指定命令查看。

实例

#查看/var/log/btmp

[root@localhost log]# lastb
root     tty1                          Wed Mar  9 15:29 - 15:29  (00:00)    
root     tty1                          Wed Mar  9 15:24 - 15:24  (00:00)    
asd3     pts/0                         Wed Mar  9 11:49 - 11:49  (00:00)    
user2    pts/0                         Wed Mar  9 11:33 - 11:33  (00:00)  

#查看/var/log/lastlog

[root@localhost ~]# cd /var/log
[root@localhost log]# lastlog 
用户名           端口     来自             最后登陆时间
root            pts/1    192.168.48.1    五 3月 18 13:52:31 +0800 2022
bin                                      **从未登录过**
daemon                                   **从未登录过**
adm                                      **从未登录过**

#查看 /var/log/wtmp

[root@localhost log]# last
root     pts/1        192.168.48.1     Fri Mar 18 13:52   still logged in   
root     pts/0        192.168.48.1     Fri Mar 18 13:52   still logged in   
root     pts/1        192.168.48.1     Fri Mar 18 11:22 - 13:26  (02:04)    
root     pts/0        192.168.48.1     Fri Mar 18 11:22 - 13:26  (02:04)    
reboot   system boot  3.10.0-1062.el7. Fri Mar 18 11:21 - 14:19  (02:57)    

其他日志

        除了系统默认的日志之外，采用RPM方式安装的系统服务也会默认把日志记录在/var/log/目录中（源码包安装的服务日志是在源码包指定目录中）。不过这些日志不是由rsysylogd服务来记录和管理的，而是各个服务使用自己的日志管理文档来记录自身日志。

源码包安装日志

日志文件	说明
/var/log/httpd/	RPM包安装的apache服务的默认日志目录
/var/log/mail/	RPM包安装的邮件服务的额外日志目录
/var/log/samba/	RPM包安装的samba服务的日志目录
/var/log/sssd/	守护进程安全服务目录

#前提是已经安装了各个服务

---

2.rsyslogd日志服务

2.1日志文件格式

基本日志格式包含四列

事件产生的时间

发生事件的服务器的主机名

产生事件的服务名或程序名

事件的具体信息

实例

#查看记录验证授权的日志文件/var/log/secure

[root@localhost~]# vi /var/log/secure
Mar 16 13:57:21 localhost sshd[3294]: Accepted password for root from 192.168.48.1 port 52348 ssh2
Mar 16 13:57:21 localhost sshd[3294]: pam_unix(sshd:session): session opened for user root by (uid=0)
Mar 16 15:44:55 localhost sshd[36472]: pam_unix(sshd:session): session closed for user root

#以第一条为例

事件产生的时间	16        13：49：04
发生事件的服务器的主机名	localhost
产生事件的服务名或程序名	sshd [3294]
事件的具体信息	Accepted password for root from 192.168.48.1 port 52348 ssh2

 Accepted password for root from 192.168.48.1 port 52348 ssh2

#接受的密码root从192.168.48.1端口52348 ssh2  登录

注：日志文件格式大多数基本一样

---

2.2 /etc/rsyslog.config配置文件

rsyslog.config中以authpriv字段举例

[root@localhost log]# vi /etc/rsyslog.conf 
# The authpriv file has restricted access.
authpriv.*                                              /var/log/secure
#服务名称[连接符号]日志等级                                日志记录位置

认证相关服务.所有日志等级                                                              记录在/var/log/secure日志中

服务名称

服务名称	说明
auth	安全和认证相关信息（不推荐使用authpriv替代）
authpriv	安全和认证相关信息（私有的）
cron	系统定时任务cront和at产生的日志
daemon	和各个守护进程相关的日志
ftp	ftp守护进程产生的日志
kern	内核产生的日志（不是用户进程产生的）
local0-local17	为本地使用预留的服务
1pr	打印产生的日志
mail	邮件收发信息
news	与新闻服务器相关的日志
syslog	有syslogd服务产生的日志信息（虽然服务名称已经改为rsyslogd，但是很多配置都还是沿用了syslog的，这里并没有修改服务名）。
user	用户等级类别的日志信息
uucp	uucp子系统的日志信息，uucp是早期linux系统进行数据传递的协议，后来也常用在新闻服务中。

 #此处举例了rsyslog.config中常用到的一些服务名称

连接符号

可以识别为	说明
" * "	代表所有日志等级，比如：“authpriv.* "代表authpriv认证信息服务产生的日志，所有的日志等级都记录
" . "	代表只要比后面的等级高的（包含该等级）日志都记录下来。比如：”cron.info“代表cron服务产生的日志，只要日志等级大于等于info级别，就记录
" .= "	代表只记录所需等级的日志，其他等级的都不记录。比如：” *.=emerg“代表人和日志服务产生的日志，只要等级是emerg等级就记录。这种用法极少见，了解就好
" .! "	代表不等于，也就是除了该等级的日志外，其他等级的日志都记录。

日志等级

等级名称	说明
debug	一般的调试信息说明
info	基本的通知信息
notice	普通信息，但是有一定的重要性
warning	警告信息，但是还不会影响到服务或系统的运行
err	错误信息，一般达到err的等级的信息以及可以影响到服务或系统的运行了。
crit	临界状况信息，比err等级还要严重
alert	警告状态信息，比crit还要严重。必须立即采取行动
emerg	疼痛等级信息，系统已经无法使用了

日志记录位置

日志文件的绝对路径，如“/var/log/secure”

系统设备文件，如“/dev/lp0”

转发给远程主机，如“@192.168.0.210:514”

用户名，如“root”

忽略或丢弃日志，如“~”

---

3.日志轮替

        某服务器日志存储在一个文本中，当一个纯日志文本大小上几个G之后就很难正常打开读取里面的日志信息，在windwos中如果设备配置、性能不是很好，可能就会造成设备死机。此时就需要做日志处理

切割

        将大的日志按照固定的大小分为多个小的日志文本，一般会采取按日期分割；按照日期，每天的日志存放在一个文本当中，这样有利于管理员查看。

轮换

        把旧的日志删除，轮换新的日志内容；（比如：超过30天的日志就会删除，然后留出空间将新的日志写入）

---

3.1日志文件的命名规则

        如果日志没有命令规则，每天都是相同的文件名，那么今天所保存的日志文件就会覆盖前一天的日志文件。

规则一：

如果配置文件中拥有“dateext”参数，那么日志会用日期来作为日志文件的后缀。

        列如“secure-20220211”.这样的话日志文件名不会重叠，所以也就不需要日志文件的改名，只需要保存指定的日志个数，删除多余的日志文件即可。

规则二：

如果配置文件中没有“dateext”参数，那么日志文件就需要进行改名。

        当第一次进行日志轮替时，当前的“secure”日志会自动改名为“secuer.1”，然后新建“secure”日志，用来保存新的日志。当第二次进行日志轮替时，“sucure.1”会自动改名为“secure.2”，当前的“secure”日志会自动改名为“sucure.1”，然后也会新建“secure”日志，用来保存新的日志，以此类推。

---

3.2 logrotate配置文件

查看配置文件

[root@localhost opt]# cat /etc/logrotate.conf 

# see "man logrotate" for details
# rotate log files weekly
weekly

# keep 4 weeks worth of backlogs
rotate 4

# create new (empty) log files after rotating old ones
create

# use date as a suffix of the rotated file
dateext

# uncomment this if you want your log files compressed
#compress

# RPM packages drop log rotation information into this directory
include /etc/logrotate.d

# no packages own wtmp and btmp -- we'll rotate them here
/var/log/wtmp {
    monthly
    create 0664 root utmp
        minsize 1M
    rotate 1
}

/var/log/btmp {
    missingok
    monthly
    create 0600 root utmp
    rotate 1
}

# system-specific logs may be also be configured here.

参数详情

参数	参数说明
daily	日志的轮替周期是每天
weekly	日志的轮替周期是每周
monthly	日志的轮替周期是每月
rotate        数字	保留的日志文件的个数。0指没有备份
compress	日志轮替时，旧的日志进行压缩
create mode owner group	建立新日志，同时指定新日志的权限与所有者和所属组。如create 0600 root utmp
mail   address	当日志轮替时，输出内容通过邮件发送到指定的邮件地址。如[email protected]
missingok	如果日志不存在，则忽略该日志的警告信息
notifempty	如果日志为空文件，则不进行日志轮替
minsize 大小	日志轮替的最小值。也就是日志一定要达到这个最小值才会轮替，否则就算时间达到也不轮替
size       大小	日志只有大于指定大小才进行日志轮替，而不是按照时间轮替。如size 100K
dateext	使用日期作为日志轮替文件的后缀。如secure-20220312

---

3.3 把apache日志加入轮替

# 只要是rpm包安装的服务，默认都有日志轮替的功能，不需要做任何操作；但是源码包安装的服务日志路径在/usr/local/下，它绝不可能被日志默认识别，因为logrotate默认搜索的路径为/var/log/目录，一般情况下只有源码包安装的服务需要手动加入日志轮替

[root@localhost ~]# cd /usr/local/apache2/logs
[root@localhost logs]# ls
access_log    cgisock.30088    error_log    httpd.pid

加入配置文件

#需在后面追加，不能在已有的内容括号中添加新的内容

[root@localhost~]# vi /etc/logrotate.conf
/usr/local/apache2/logs/access_log {    #加入日志绝对路径   
    daily                #每天备份
    create               #创建新日志文件
    rotate 30            #文件保存30天
}

---

3.4 logrotate命令

格式

[root@localhost~]# logrotate [选项] 配置文件名
选项：
    如果此命令没有选项，则会按照配置文件中的条件进行日志轮替
    -v：    显示日志轮替过程。加了-v选项，会显示日志的轮替的过程
    -f：    强制进行日志轮替。不管日志轮替的条件是否已经符合，强制配置文件中所有的日志进行轮替。

举例

查看轮替过程

[root@localhost ~]# logrotate -v /etc/logrotate.conf 
reading config file /etc/logrotate.conf
including /etc/logrotate.d
reading config file bootlog
reading config file chrony
reading config file syslog
reading config file wpa_supplicant
reading config file yum
Allocating hash table for state file, size 15360 B

Handling 7 logs

rotating pattern: /var/log/boot.log
 after 1 days (7 rotations)
empty log files are not rotated, old logs are removed
considering log /var/log/boot.log
  log does not need rotating (log has been already rotated)
......

#此时/var/log/boot.log不需要轮替（log does not need rotating）

此处修改本地时间来验证实验结果

[root@localhost log]# date
2022年 03月 21日 星期五 00:16:40 CST
[root@localhost log]# date -s 20220401
2022年 04月 01日 星期五 00:00:00 CST

 强制进行日志轮替

[root@localhost log]# logrotate -f /etc/logrotate.conf 

再次查看轮替过程

[root@localhost ~]# logrotate -v /etc/logrotate.conf 
reading config file /etc/logrotate.conf
including /etc/logrotate.d
reading config file bootlog
reading config file chrony
reading config file syslog
reading config file wpa_supplicant
reading config file yum
Allocating hash table for state file, size 15360 B

Handling 7 logs

rotating pattern: /var/log/boot.log
 after 1 days (7 rotations)
empty log files are not rotated, old logs are removed
considering log /var/log/boot.log
  log needs rotating
rotating log /var/log/boot.log, log->rotateCount is 7
dateext suffix '-20220401'
glob pattern '-[0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]'
glob finding old rotated logs failed
copying /var/log/boot.log to /var/log/boot.log-20220401
set default create context to system_u:object_r:plymouthd_var_log_t:s0
truncating /var/log/boot.log
......

 查看/var/log/

#多出了一个boot.log-20220401的文件

[root@localhost log]# ls
anaconda  boot.log-20220401       chrony         dmesg      grubby_prune_debug    rhsm             tuned     vmware-network.log      wtmp           audit      btmp                  cron           dmesg.old  lastlog             messages           secure    boot.log