rsyslog日志管理

一：日志的重要性

日志分类：系统日志，进程日志，应用程序日志
记录日志的用处：排错，追溯事件，统计流量，审计安全行为
rsyslogd：只负责绝大部分日志记录，和系统操作有关，安全，认证，计划任务等。
处理分析日志：

1.少量日志使用vim cat tail grep awk这些文档处理程序查看和检索

2.大量日志可以用splunk、elk

二、常见的日志文件(系统、进程、应用程序)

日志存放位置: 存放本地 /var/log
日志服务启动: systemctl start rsyslog
日志配置文件: /etc/rsyslog.conf

tail -f /var/log/messages               #动态查看日志文件的尾部，系统主日志文件
tail -f /var/log/secure                 #认证、安全
tail /var/log/maillog                   #跟邮件postfix相关
tail /var/log/cron                      #crond、at进程产生的日志
tail /var/log/dmesg                     #和系统启动相关
tail /var/log/yum.log                   #yum的日志
tail -f /var/log/mysqld.log             #MySQL日志
tail /var/log/xferlog                   #和访问FTP服务器相关
/var/log/boot.log                       #系统启动过程日志记录存放

二进制日志：
w                   #当前登录的用户 /var/log/wtmp
last                #最近登录的用户 /var/log/btmp
lastlog             #所有用户的登录情况 /var/log/lastlog

案例1: 统计登录失败top 2 
# grep 'Fail' /var/log/secure |awk '{print $11}' |sort |uniq -c|sort -n -r |head -2
    366 140.205.225.186
    335 140.205.201.44

案例2: 统计登录成功 
# grep 'Accepted' /var/log/secure*

三、rsyslog配置文件

/etc/rsyslog.conf

[root@biudefor ~]# cat /etc/rsyslog.conf | grep '####'
#### MODULES ####
#### GLOBAL DIRECTIVES ####
#### RULES ####

rsysctl的配置文件分为三大板块：
MODULES: 模块
GLOBAL DIRECTIVES: 全局设置
RULES: 规则

配置文件用于设置

（1）什么服务（2）什么级别的信息（3）需要被记录在哪里（设备或文件）

比如：

cron.* /var/log/cron
表示关于计划任务的所有级别的信息，都记录到 /var/log/cron 文件中

*.info;mail.none;authpriv.none;cron.none /var/log/messages
表示所有服务端 info 级别的信息，邮件的 none 级别的信息，登录认证的 none 基本的信息和计划任务的 none 基本的信息都记录到 /var/log/messages 文件中。

Linux 核心的 syslog 认识的服务类型主要有下面这些：

相对序号	服务类别	说明
0	kern（kernel）	就是核心（kernel）产生的讯息，大部分都是硬件侦测以及核心功能的启用
1	user	在使用者层级产生的信息，例如后续会介绍到的logger指令来记录登录文件的功能
2	mail	只要与邮件收发有关的讯息记录都属于这个
3	daemon	主要是系统的服务产生的信息，例如systemd就是这个有关的讯息
4	auth	主要与认证/授权有关的机制，例如login，ssh，su等需要账号/密码的东东
5	syslog	就是由syslog相关协定产生的信息，其实就是rsyslogd这个程序本身产生的信息
6	lpr	打印相关的讯息
7	news	与新闻群组服务器有关的东西
8	uucp	全名为 Unix to Unix Copy Protocol，早期用于Unix系统间的程序数据交换
9	cron	就是例行工作调度cron/at等产生信息的记录
10	authpriv	与auth类似，但是记录较多账号私人的信息，包括pam模块的运行等
11	ftp	与FTP通讯协议有关的信息输出
16~23	local0~local7	留给本机用户使用的一些登录文件信息，较常与终端机互动

Linux 核心的 syslog 定义的日志级别：

级别低，越详细，低的包含高的日志级别

等级数值	等级名称	说明
7	debug	用来debug（调试）时产生的数据信息
6	info	仅是一些基本的信息说明
5	notice	虽然是正常信息，但是比info还是有一些需要被注意到的信息内容
4	warning	警告的信息，可能有问题，但是还不至于影响到某个daemon的运行
3	err（error）	一些重大的错误信息，例如配置文件的某些设置造成改服务无法正常启动的信息说明，通常借由err的错误告知
2	crit	比error还要严重的错误信息，这个crit就是临界点（critical）的缩写，这个错误已经很严重了
1	alert	比crit更加严重，系统已经开始告警
0	emerg（panic）	灾难级，表示系统几乎已经快要死机的状态！通常大概只有硬件出了问题，导致整个核心无法顺利运行，才会出现这样等级的信息吧

四、logger

通过logger命令记录日志

logger是一个shell命令接口，可以通过该接口使用Syslog的系统日志模块，还可以从命令行直接向系统日志文件写入一行信息。
logger 以0退出表示成功，大于0表示失败。

语法:

logger [options] [messages]

options (选项)：

    -d, --udp  
        使用数据报(UDP)而不是使用默认的流连接(TCP)
    -i, --id   
        逐行记录每一次logger的进程ID
    -f, --file file_name
        记录特定的文件
    -h, --help 
        显示帮助文本并退出
    -n， --server 
        写入指定的远程syslog服务器，使用UDP代替内装式syslog的例程
    -P， --port port_num
        使用指定的UDP端口。默认的端口号是514
    -p， --priority priority_level
        指定输入消息的优先级，优先级可以是数字或者指定为 "facility.level" 的格式。比如："-p local3.info " local3 这个设备的消息级别为info。默认级别是 "user.notice"
    -s， --stderr
        输出标准错误到系统日志。
    -t， --tag tag
        指定标记记录
    -u， --socket socket
        写入指定的socket，而不是到内置系统日志例程。
    -V, --version
        现实版本信息并退出

示例：

[root@biudefor ~]# logger system -p local7.info hello 
[root@biudefor ~]# tail -1 /var/log/boot.log    //rsyslog配置文件中已经将所有local7的日志全部记录到/var/log/boot.log
Feb 29 15:56:16 biudefor root: system hello

[root@biudefor ~]# vim /etc/rsyslog.conf
#### RULES ####
local3.*     /var/log/biudefor.log
#意思是来自local3的所有消息都记录到/var/log/biudefor.log中。
[root@biudefor ~]# systemctl restart rsyslog
[root@biudefor ~]# logger -i -t "biudefor" -p local3.info "wuhan jiayou."
[root@biudefor ~]# cat /var/log/biudefor.log 
Feb 29 16:15:21 biudefor biudefor[20364]: wuhan jiayou.

记录脚本：
[root@biudefor ~]# vim ip.sh
#!/usr/bin/bash
ping -c1 192.168.1.11 &>/dev/null
if [ $? -eq 0 ];then
    logger -p local3.info "ok."
else
    logger -p local3.error "error."
fi
[root@biudefor ~]# bash ip.sh 
[root@biudefor ~]# cat /var/log/biudefor.log 
Feb 29 16:15:21 biudefor biudefor[20364]: wuhan jiayou.
Feb 29 16:16:32 biudefor root: error.

sar 查看/var/log/sa

这个目录下的数据会保存一个月，记录系统中所有的负载信息，网络，内存，磁盘，CPU

[root@biudefor log]# sar -f /var/log/sa/sa23

五、mysql存放rsyslog日志

1、安装数据库

[root@biudefor ~]# yum -y install mariadb mariadb-server
[root@biudefor ~]# yum install -y rsyslog-mysql  # 安装驱动
[root@biudefor ~]# rpm -ql rsyslog-mysql | grep sql$   # 找到sql文件
/usr/share/doc/rsyslog-8.24.0/mysql-createDB.sql
[root@biudefor ~]# systemctl start mariadb
[root@biudefor ~]# systemctl enable mariadb
[root@biudefor ~]# mysql < /usr/share/doc/rsyslog-8.24.0/mysql-createDB.sql
MariaDB [(none)]> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| Syslog             |
| mysql              |
| performance_schema |
| test               |
+--------------------+
MariaDB [(none)]> GRANT ALL ON Syslog.* TO 'rsyslog'@'127.0.0.1' IDENTIFIED BY 'rsyspass';
MariaDB [(none)]> GRANT ALL ON Syslog.* TO 'rsyslog'@'localhost' IDENTIFIED BY 'rsyspass';
MariaDB [(none)]> FLUSH PRICVILEGES;

2、配置rsyslog加载ommysql模块

[root@biudefor ~]# vim /etc/rsyslog.conf
#### MODULES ####
$ModLoad ommysql

#### RULES ####

#格式为：facility.priority :ommysql:DBHOST,DB,DBUSER,DBUSERPASS
*.*:ommysql:127.0.0.1,Syslog,rsyslog,rsyspass

3、重启服务

[root@biudefor ~]# systemctl restart rsyslog
[root@biudefor ~]# systemctl restart mariadb
[root@biudefor ~]# mysql
MariaDB [Syslog]> use Syslog
MariaDB [Syslog]> select * from SystemEvents;

六、ELK stack 分析rsyslog系统日志

rsyslog 配置文件:

image-20200225215813384.png

image.png

logstash 配置文件:

input {
   syslog{
    port => 5514
    type => syslog
  }
}
output {
  stdout {
    codec=> rubydebug
  }
  elasticsearch {
    hosts => ["172.17.209.157:9200"]
    index => 'rsyslog_log-%{+YYYY-MM-dd}'
  }
}

image-20200225214410857.png