Linux高级篇--日志管理

本章概要

• 日志介绍
• 日志配置
• 日志管理
• 基于MYSQL的日志
• Loganalyzer日志展示
• Logrotate日志存储

1、日志介绍

• 日志：
    历史事件:时间，地点，人物，事件
    日志级别：事件的关键性程度，Loglevel
• 系统日志服务：
• sysklogd:CentOS 5之前版本
    syslogd: system application 记录应用日志
    klogd: linuxkernel logd 记录内核日志
    事件记录格式：
      日期 时间 主机进程[pid]: 事件内容
    C/S架构：通过TCP或UDP协议的服务完成日志记录传送，将分布在不同主机的日志实现集中管理

知识扩展：

syslogd工作于两种方式：
	作为本机上的守护进程，在本机与本机上的对应应用程序或内核进行交互单独记录本机的日志,称为本地日志
	以C/S架构的模式，监听于某一套接字上，通过TCP或UDP协议的服务完成日志记录传送，将分布在不同主机的日志实现集中管理，称为远程日志

c/s架构中，syslogd单程序扮演双重角色
	c：syslogd 相当于logclient
	s：syslogd 相当于logserver
    在某一客户端主机或生成日志主机上，本地运行的syslogd只负责接收本地的各个进程所生成的日志，但并不记录在本地，而是由本地syslogd程序发送给日志服务器，再有日志服务器上监听在某一套接字上的对应的syslogd程序负责把日志记录在本地的磁盘文件上，这种日志就叫做远程日志

远程日志好处：
	如果日志记录在本地，黑客攻击时可以通过抹除本地日志而达到隐藏自己的目的；如果日志存储在远程服务器，除非黑客能够溯源到远程服务器，否则日志将会记录下黑客所有的操作，从而可以提高服务器的安全性，此时日志中心就成为了审计中心。

rsyslog介绍

• rsyslog特性：CentOS6和7
    多线程：单机日志收集能以并发形式进行，并且升级为syslog server以后，能多线程接受来自于多主机发来的日志
    UDP, TCP, SSL, TLS, RELP 支持日志加密
    MySQL, PGSQL, Oracle实现日志存储，方便用户检索和分析
    强大的过滤器，可实现过滤记录日志信息中任意部分
    自定义输出格式
• ELK：elasticsearch, logstash, kibana
    非关系型分布式数据库
    基于apache软件基金会jakarta项目组的项目lucene
    Elasticsearch是个开源分布式搜索引擎
    Logstash对日志进行收集、分析，并将其存储供以后使用
    kibana可以提供的日志分析友好的Web 界面
• 术语，参见man logger
    facility：设施，从功能或程序上对日志进行归类
      auth, authpriv, cron, daemon,ftp,kern, lpr, mail, news, security(auth), user, uucp, local0-local7, syslog
    Priority 优先级别，从低到高排序
      debug, info, notice, warn(warning), err(error), crit(critical), alert, emerg(panic)
    参看帮助：man 3 syslog

2、日志配置

rsyslog配置

• 程序包：rsyslog
• 主程序：/usr/sbin/rsyslogd
• CentOS 6：service rsyslog{start|stop|restart|status}
• CentOS 7：/usr/lib/systemd/system/rsyslog.service
• 配置文件：/etc/rsyslog.conf，/etc/rsyslog.d/*.conf
• 库文件：/lib64/rsyslog/*.so
• 配置文件格式：由三部分组成
    MODULES：相关模块配置
    GLOBAL DIRECTIVES：全局配置
    RULES：日志记录相关的规则配置
• RULES配置格式：facility.priority; facility.priority… target
• facility：
    *: 所有的facility
    facility1,facility2,facility3,…：指定的facility列表
  示例：

	auth,authprive,mail.warn
	auth.warn,authprive.*,mail.alert

• priority：
    *: 所有级别
    none：没有级别，即不记录
    PRIORITY：指定级别（含）以上的所有级别
    =PRIORITY：仅记录指定级别的日志信息
• target：
    文件路径：通常在/var/log/，文件路径前的-表示异步写入
    用户：将日志事件通知给指定的用户，* 表示登录的所有用户
    日志服务器：@host，把日志送往至指定的远程服务器记录
    管道：| COMMAND，转发给其它命令处理
  配置文件内容如下：

vim /etc/rsyslog.conf
#### RULES ####

# Log all kernel messages to the console.
# Logging much else clutters up the screen.
#kern.*                                                 /dev/console

# Log anything (except mail) of level info or higher.
# Don't log private authentication messages!
*.info;mail.none;authpriv.none;cron.none                /var/log/messages     #记录所有facility的info日志级别，但排除mail，authpriv，cron

# The authpriv file has restricted access.
authpriv.*                                              /var/log/secure        #记录认证授权相关日志的所有级别

# Log all the mail messages in one place.
mail.*                                                  -/var/log/maillog       #记录邮件日志的所有级别，但是日志异步写入


# Log cron stuff
cron.*                                                  /var/log/cron       #记录周期性计划日志的所有级别

# Everybody gets emergency messages
*.emerg                                                 :omusrmsg:*       #系统级别的故障日志，系统即将崩溃，发送给当前设备上的所有用户

# Save news errors of level crit and higher in a special file.
uucp,news.crit                                          /var/log/spooler

# Save boot messages also to boot.log
local7.*                                                /var/log/boot.log       #在local7上所有级别的日志都被记录在/var/log/boot.log文件中，通过把日志发送给local7，把日志记录到系统启动日志中

# ### begin forwarding rule ###

注意：omusrmsg是指
			im  input modules    输入模块
			om  output modules   输出模块
			usr    用户
			msg    消息

启动网络日志服务

• 通常的日志格式：
    事件产生的日期时间主机进程(pid)：事件内容
    如：/var/log/messages,cron,secure等
• 配置rsyslog成为日志服务器

定义输入模块，能够接受日志信息
	#### MODULES ####

	# Provides UDP syslog reception
	$ModLoad imudp      #载入udp输入模块
	$UDPServerRun 514    #udp server监听在514端口

	# Provides TCP syslog reception
	$ModLoad imtcp         #载入tcp输入模块
	$InputTCPServerRun 514    #tcp server监听在514端口

启用协议模块后，重启服务即可
	systemctl restart rsyslog

示例：

更改客户端主机保存日志的路径：
	vim /etc/rsyslog.conf
	*.info;mail.none;authpriv.none;cron.none                @192.168.32.132
注意：客户端主机ip地址为192.168.32.133
    服务端主机地址为192.168.32.132
重启rsyslog服务
	systemctl restart rsyslog
注意：在服务端主机上要确保防火墙没有阻断客户端主机的连接

测试：在客户端主机安装软件，查看服务端是否能够接收到日志
在主机192.168.32.132上查看日志
tail /var/log/messages

其他日志

• 其它的日志文件
• /var/log/secure：系统安装日志，文本格式，应周期性分析
• /var/log/btmp：当前系统上，用户的失败尝试登录相关的日志信息，二进制格式，lastb命令进行查看
• /var/log/wtmp：当前系统上，用户正常登录系统的相关日志信息，二进制格式，last命令可以查看
• /var/log/lastlog:每一个用户最近一次的登录信息，二进制格式，lastlog命令可以查看
• /var/log/dmesg：系统引导过程中的日志信息，文本格式
    文本查看工具查看
    专用命令dmesg查看
• /var/log/messages ：系统中大部分的信息
• /var/log/anaconda : anaconda的日志

3、日志管理

日志管理journalctl

• Systemd统一管理所有Unit 的启动日志。带来的好处就是，可以只用journalctl一个命令，查看所有日志（内核日志和应用日志）。日志的配置文件/etc/systemd/journald.conf
• journalctl用法
• 查看所有日志（默认情况下，只保存本次启动的日志）
    journalctl
• 查看内核日志（不显示应用日志）
    journalctl -k
• 查看系统本次启动的日志
    journalctl -b
    journalctl -b -0
• 查看上一次启动的日志（需更改设置）
    journalctl -b -1
• 查看指定时间的日志
    journalctl --since=“2017-10-30 18:10:30”
    journalctl --since “20 min ago”
    journalctl --since yesterday
    journalctl --since “2017-01-10” --until “2017-01-11 03:00”
    journalctl --since 09:00 --until “1 hour ago”
• 显示尾部的最新10行日志
    journalctl -n
• 显示尾部指定行数的日志
    journalctl -n 20
• 实时滚动显示最新日志
    journalctl -f
• 查看指定服务的日志
    journalctl/usr/lib/systemd/systemd
• 查看指定进程的日志
    journalctl_PID=1
• 查看某个路径的脚本的日志
    journalctl/usr/bin/bash
• 查看指定用户的日志
    journalctl_UID=33 --since today
• 查看某个Unit 的日志
    journalctl -u nginx.service
    journalctl -u nginx.service–since today
• 实时滚动显示某个Unit 的最新日志
    journalctl -u nginx.service-f
• 合并显示多个Unit 的日志
    journalctl -u nginx.service -u php-fpm.service–since today
• 查看指定优先级（及其以上级别）的日志，共有8级
  0: emerg
  1: alert
  2: crit
  3: err
  4: warning
  5: notice
  6: info
  7: debug
    journalctl -p err -b
• 日志默认分页输出，–no-pager 改为正常的标准输出
    journalctl --no-pager
• 以JSON 格式（单行）输出
    journalctl -b -u nginx.service-o json
• 以JSON 格式（多行）输出，可读性更好
    journalctl -b -u nginx.serviceqq-o json-pretty
    或journalctl -o json |jq . 需要安装jq(epel源)
• 显示日志占据的硬盘空间
    journalctl --disk-usage
• 指定日志文件占据的最大空间
    journalctl --vacuum-size=1G
• 指定日志文件保存多久
    journalctl --vacuum-time=1years

4、基于MySQL的日志

示例：rsylog将日志记录于MySQL中

定义输出模块，把日志记录于其他位置
数据库和rsyslog服务器在同一台主机之上
(1) 准备MySQL Server
	yum -y install mariadb-server
(3) 在rsyslog服务器上安装mysql模块相关的程序包
	yum install rsyslog-mysql
安装该软件包会自动生成数据库脚本
	[root@centos7 ~]# rpm -ql rsyslog-mysql 
	/usr/lib64/rsyslog/ommysql.so
	/usr/share/doc/rsyslog-8.24.0/mysql-createDB.sql
(4) 为rsyslog创建数据库及表；
    mysql < /usr/share/doc/rsyslog-7.4.7/mysql-createDB.sql
(2) 在mysqlserver上授权rsyslog能连接至当前服务器
    [root@centos7 ~]# mysql
    GRANT ALL ON Syslog.* TO 'USER'@'HOST' IDENTIFIED BY 'PASSWORD';
    GRANT ALL ON Syslog.* TO 'rsyslog'@'127.0.0.1' IDENTIFIED BY 'centos';   为防止ip地址反解，对本机ip地址进行授权
(5) 配置rsyslog将日志保存到mysql中
    vim /etc/rsyslog.conf
    #### MODULES ####
    # Load MySQL Module    注释信息
    $ModLoad ommysql       加载模块
    #### RULES ####
    *.info;mail.none;authpriv.none;cron.none                :ommysql:localhost,Syslog,rsyslog,centos
重启服务生效
    systemctl restart rsyslog
进入数据库查看生成的数据
    [root@centos7 ~]# mysql
    MariaDB [(none)]> use Syslog; 
    MariaDB [(none)]> show tables; 
    MariaDB [Syslog]> select * from SystemEvents\G
注意：不加where子句的增、删、改语句不能轻易被使用，因为这会遍历数据库的所有数据，如果数据库中的数据量很大，将对服务器的IO造成很大压力，甚至造成服务器崩溃

知识扩展：

更改日志记录位置
	vim /etc/ssh/sshd_config
	# Logging
	#SyslogFacility AUTH
	#SyslogFacility AUTHPRIV
	SyslogFacility local0
	LogLevel INFO

	vim /etc/rsyslog.conf
	# Save boot messages also to boot.log
	local0.*                                                /var/log/openssh.log
重启服务
	systemctl restart rsyslog
	systemctl restart sshd
查看日志信息
	tail /var/log/openssh.log 

5、Loganalyzer日志展示

• loganalyzer
  php语言研发，工作于AMP平台之上，从mysql的相关表当中检索数据，通过php的绘图机制将检索结果予以图形化展示的一种应用程序
  下载地址：
    https://loganalyzer.adiscon.com/download/
  示例：通过loganalyzer展示数据库中的日志

(1)使用yum安装方式快速部署AMP
	yum -y install httpd，mariadb-server，php，php-mysql，php-gd
(2) 安装LogAnalyzer
	tar xfloganalyzer-4.1.5.tar.gz
	cp-a loganalyzer-4.1.5/src/var/www/html/loganalyzer
	cd /var/www/html/loganalyzer
	touch config.php
	chmod666 config.php
(3) 配置loganalyzer
	systemctlstart httpd.service
	http://HOST/loganalyzer
	注意：HOST为web服务器ip地址
(4) 安全加强
	cd /var/www/html/loganalyzer
	chmod644 config.php
	注意：该页面并没有认证功能，为了防止不让任何人查看，应该进行http(basic)认证

• 登录http://HOST/loganalyzer后配置过程如下：
  (1)点击"here"进行主配置文件配置
  [外链图片转存失败(img-LN6KBfQy-1562551122873)(http://www.yuandangsheng.top/wp-content/uploads/2018/12/1-1.png)]
  (2)环境检测
  [外链图片转存失败(img-MKkjWCMY-1562551122875)(http://www.yuandangsheng.top/wp-content/uploads/2018/12/2-1.png)]
  (3)检查配置文件是否有写权限
  
  (4)loganalzyer基本配置
  [外链图片转存失败(img-JxZPMXBp-1562551122876)(http://www.yuandangsheng.top/wp-content/uploads/2018/12/4-1.png)]
  (5)日志信息源数据配置
  
  (6)配置完成
  [外链图片转存失败(img-LPJfEPfs-1562551122877)(http://www.yuandangsheng.top/wp-content/uploads/2018/12/6-1.png)]
  (7)loganalyzer主页面
  [外链图片转存失败(img-WDGR0PFm-1562551122877)(http://www.yuandangsheng.top/wp-content/uploads/2018/12/7.png)]

6、Logrotate日志存储

• logrotate 程序是一个日志文件管理工具。用来把旧的日志文件删除，并创建新的日志文件，称为日志转储或滚动。可以根据日志文件的大小，也可以根据其天数来转储，这个过程一般通过cron 程序来执行
• 配置文件是/etc/logrotate.conf
• 主要参数如下
  compress 通过gzip 压缩转储以后的日志
  nocompress 不需要压缩时，用这个参数
  copytruncate 用于还在打开中的日志文件，把当前日志备份并截断
  nocopytruncate 备份日志文件但是不截断
  create mode owner group 转储文件，使用指定的文件模式创建新的日志文件
  nocreate不建立新的日志文件
  delaycompress和compress 一起使用时，转储的日志文件到下一次转储时才压缩
  nodelaycompress覆盖delaycompress选项，转储并压缩
  errors address 专储时的错误信息发送到指定的Email 地址
  ifempty即使是空文件也转储，是缺省选项。
  notifempty如果是空文件的话，不转储
  mail address 把转储的日志文件发送到指定的E-mail 地址
  nomail转储时不发送日志文件
  olddirdirectory 转储后的日志文件放入指定的目录，必须和当前日志文件在同一个文件系统
  noolddir转储后的日志文件和当前日志文件放在同一个目录下
  prerotate/endscript在转储以前需要执行的命令可以放入这个对，这两个关键字必须单独成行
  postrotate/endscript在转储以后需要执行的命令可以放入这个对，这两个关键字必须单独成行
  daily 指定转储周期为每天
  weekly 指定转储周期为每周
  monthly 指定转储周期为每月
  size 大小指定日志超过多大时，就执行日志转储
  rotate count 指定日志文件删除之前转储的次数，0 指没有备份，5 指保留5 个备份
  Missingok如果日志不存在，提示错误
  Nomissingok如果日志不存在，继续下一次日志，不提示错误
• 系统自带每日计划任务中具有日志滚动功能:

cat /etc/logrotate.conf 
# see "man logrotate" for details
# rotate log files weekly
weekly

# keep 4 weeks worth of backlogs
rotate 4          #最多保存4个日志

# create new (empty) log files after rotating old ones
create            #老的日志滚动完毕，自动创建新的日志

# use date as a suffix of the rotated file
dateext             #用日期作为日志滚动后的文件后缀

# uncomment this if you want your log files compressed
#compress         #日志压缩

# RPM packages drop log rotation information into this directory
include /etc/logrotate.d         #子配置文件

# no packages own wtmp and btmp -- we'll rotate them here
/var/log/wtmp {       #日志路径
    monthly           #日志滚动时间间隔
    create 0664 root utmp   #日志文件创建时的属主属组和权限
        minsize 1M        #日志最小为多少，如果不大于该大小，到期也不会滚动
    rotate 1
}

/var/log/btmp {
    missingok
    monthly
    create 0600 root utmp
    rotate 1
}

# system-specific logs may be also be configured here.

• 查看httpd日志滚动规则

[root@centos-01 ~]# cd /etc/logrotate.d/
[root@centos-01 logrotate.d]# vim httpd 
/var/log/httpd/*log {
    missingok         #如果没有日志文件，不报错
    notifempty        #如果为空，将会发送邮件
    sharedscripts     #共享脚本
    delaycompress     #延迟压缩，只压缩前一次滚动的日志文件
    postrotate        #滚动完以后执行命令
        /bin/systemctl reload httpd.service > /dev/null 2>/dev/null ||
true
    endscript           #结束脚本
}