Linux集群利用rsyslog记录所有节点的操作指令
文章目录
- 需求
- 环境
- 配置日志服务
-
- 安装RELP协议包
- 配置日志服务器
- 配置日志客户机端
- 测试
- 操作指令记录
-
- 指令信息
- 自动收集脚本
- 指令保存文件设置
- 自定义保存
- 各节点单独记录日志
- 关于日志的格式
- 参考
需求
想实现这么一个需求，假设集群中有3个节点，其中有一个master节点，使用者可以在3个节点上输入任意指令，每有一个操作，都将其操作指令实时发送到master节点，并将操作信息记录在某个特定文件中。
环境
| 软件/主机 | 版本/IP |
|---|---|
| centos | 7.4-1708 |
| master | 10.XX.XX.52 |
| worker1 | 10.XX.XX.51 |
| worker2 | 10.XX.XX.50 |
操作系统安装完成之后，已自带rsyslog服务
[root@master profile.d]# systemctl status rsyslog
● rsyslog.service - System Logging Service
Loaded: loaded (/usr/lib/systemd/system/rsyslog.service; enabled; vendor preset: enabled)
Active: active (running) since Mon 2020-01-13 15:55:07 CST; 3 days ago
Docs: man:rsyslogd(8)
http://www.rsyslog.com/doc/
Main PID: 631 (rsyslogd)
Memory: 480.0K
CGroup: /system.slice/rsyslog.service
└─631 /usr/sbin/rsyslogd -n
Jan 13 15:55:07 master.node systemd[1]: Starting System Logging Service...
Jan 13 15:55:07 master.node rsyslogd[631]: [origin software="rsyslogd" swVersion="8.24.0" x-pid="631" x-info="http://www.rsyslog.com"] start
Jan 13 15:55:07 master.node systemd[1]: Started System Logging Service.
查看rsyslog版本
[root@master profile.d]# rsyslogd -version
rsyslogd 8.24.0, compiled with:
PLATFORM: x86_64-redhat-linux-gnu
PLATFORM (lsb_release -d):
FEATURE_REGEXP: Yes
GSSAPI Kerberos 5 support: Yes
FEATURE_DEBUG (debug build, slow code): No
32bit Atomic operations supported: Yes
64bit Atomic operations supported: Yes
memory allocator: system default
Runtime Instrumentation (slow code): No
uuid support: Yes
Number of Bits in RainerScript integers: 64
See http://www.rsyslog.com for more information.
配置日志服务
安装RELP协议包
3个节点均安装RELP包
yum install -y rsyslog-relp
配置日志服务器
master节点充当日志服务器
修改配置文件/etc/rsyslog.conf，增加有关RELP两行
# Provides UDP syslog reception
#$ModLoad imudp
#$UDPServerRun 514
# Provides TCP syslog reception
# $ModLoad imtcp
# $InputTCPServerRun 514
$ModLoad imrelp #加载RELP模块
$InputRELPServerRun 2514 #传输端口
传输端口监听
修改配置文件/etc/sysconfig/rsyslog
# Options for rsyslogd
# Syslogd options are deprecated since rsyslog v3.
# If you want to use them, switch to compatibility mode 2 by "-c 2"
# See rsyslogd(8) for more details
SYSLOGD_OPTIONS="-r2514 -c2"
关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
重启日志服务
systemctl restart rsyslog
查看服务端口状态
[root@master profile.d]# netstat -antp | grep 2514
tcp 0 0 0.0.0.0:2514 0.0.0.0:* LISTEN 14602/rsyslogd
tcp6 0 0 :::2514 :::* LISTEN 14602/rsyslogd
配置日志客户机端
以worker2节点为例
修改配置文件 /etc/rsyslog.conf
# Provides UDP syslog reception
#$ModLoad imudp
#$UDPServerRun 514
# Provides TCP syslog reception
# $ModLoad imtcp
# $InputTCPServerRun 514
$ModLoad omrelp #加载RELP模块
*.* :omrelp:10.XX.XX.52:2514 #目标主机端口
如果是master节点本身，则不需要再次配置目标主机端口，只需要配置后文中的收集脚本就行了
关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
重启日志服务
systemctl restart rsyslog
查看服务端口状态
[root@worker2 opt]# netstat -antp | grep 2514
tcp 90 0 10.XX.XX.50:36516 10.XX.XX.52:2514 ESTABLISHED 1064/rsyslogd
测试
在服务端（master节点）查看/var/log/messages日志文件
[root@master profile.d]# tail -f /var/log/messages
在客户机输入测试指令
[root@worker2 opt]# logger -t kern -p error "test log nihao"
观察服务端日志信息
Jan 17 09:22:26 master rsyslogd: [origin software="rsyslogd" swVersion="8.24.0" x-pid="631" x-info="http://www.rsyslog.com"] exiting on signal 15.
Jan 17 09:22:26 master systemd: Starting System Logging Service...
Jan 17 09:22:26 master rsyslogd: [origin software="rsyslogd" swVersion="8.24.0" x-pid="14602" x-info="http://www.rsyslog.com"] start
Jan 17 09:22:26 master systemd: Started System Logging Service.
Jan 17 09:23:07 master systemd: Reloading.
Jan 17 09:30:45 worker2 systemd: Stopping System Logging Service...
Jan 17 09:30:45 worker2 rsyslogd: [origin software="rsyslogd" swVersion="8.24.0" x-pid="31376" x-info="http://www.rsyslog.com"] exiting on signal 15.
Jan 17 09:30:45 worker2 systemd: Starting System Logging Service...
Jan 17 09:30:45 worker2 rsyslogd: [origin software="rsyslogd" swVersion="8.24.0" x-pid="1064" x-info="http://www.rsyslog.com"] start
Jan 17 09:30:45 worker2 systemd: Started System Logging Service.
Jan 17 09:34:16 worker2 kern: test log nihao
测试成功。
操作指令记录
指令信息
日志产生时的年月日时间
[root@worker2 opt]# date +%Y-%m-%d
2020-01-17
当前会话登陆的用户
[root@worker2 opt]# who am i
root pts/6 2020-01-16 17:09 (10.180.201.20)
当前操作用户
[root@worker2 opt]# whoami
root
注意两者区别：
假设以root用户登陆的xshell会话连接，操作完su user1之后
会话登陆用户是root，操作用户就变为user1了
当前最新的操作指令
[root@worker2 opt]# history 1 | { read x cmd; echo "$cmd"; }
history 1 | { read x cmd; echo "$cmd"; }
自动收集脚本
以worker2节点为例
设置环境变量，进入/etc/profile.d/目录下，新建脚本
[root@worker2 ~]# cd /etc/profile.d/
[root@worker2 profile.d]# touch operate.sh
编辑脚本内容
# export HISTORY_FILE=/var/log/operate/operate.log
# datetmp=`date +%Y-%m-%d`
whotmp=`who am i |awk '{print $1 " " $2 " " $5}'` #根据需要取
# whotmp2=`whoami`
# commandtmp=`history 1 | { read x cmd; echo "$cmd"; }`
export PROMPT_COMMAND='logger -t kern -p err "${whotmp} $(whoami) : $(history 1 | { read x cmd; echo "$cmd"; })"'
保存退出，使环境变量生效
[root@worker2 profile.d]# source /etc/profile
在master节点查看收集的信息
[root@master ~]# tail -f /var/log/messages
在客户节点worker2当前会话窗口测试指令
同节点其它会话窗口需要执行source /etc/profile或者重新打开会话窗口
[root@worker2 profile.d]# nihao
-bash: nihao: command not found
[root@worker2 profile.d]# date
Fri Jan 17 11:14:46 CST 2020
master节点查看
......
Jan 17 11:14:45 worker2 kern: root pts/4 (10.XX.XX.20) root : nihao
Jan 17 11:14:46 worker2 kern: root pts/4 (10.XX.XX.20) root : date
指令保存文件设置
# 新建操作日志保存位置
[root@master profile.d]# mkdir -p /var/log/operate
[root@master profile.d]# cd /var/log/operate/
# 新建操作日志保存文件
[root@master operate]# touch operate.log
# 将文件赋予一个最低权限的用户
[root@master operate]# chown nobody:nobody /var/log/operate/operate.log
# 该文件赋予所有人的写权限
[root@master operate]# chmod 002 /var/log/operate/operate.log
# 设置文件权限,使所有用户对该文件只有追加权限
[root@master operate]# chattr +a /var/log/operate/operate.log
文件状态
[root@master operate]# ll /var/log/operate/
total 0
--------w- 1 nobody nobody 0 Jan 17 10:18 operate.log
自定义保存
master节点修改配置文件/etc/rsyslog.conf
# Save news errors of level crit and higher in a special file.
uucp,news.crit /var/log/spooler
# Save boot messages also to boot.log
local7.* /var/log/boot.log
# --Save operate log -- 新增指定日志文件
local3.info /var/log/operate/operate.log
重启rsyslog服务
[root@master ~]# systemctl restart rsyslog
修改收集脚本
# export HISTORY_FILE=/var/log/operate/operate.log
# datetmp=`date +%Y-%m-%d`
whotmp=`who am i |awk '{print $1 " " $2 " " $5}'`
# whotmp2=`whoami`
# commandtmp=`history 1 | { read x cmd; echo "$cmd"; }`
export PROMPT_COMMAND='logger -p local3.info "${whotmp} $(whoami) : $(history 1 | { read x cmd; echo "$cmd"; })"'
使环境变量生效
[root@worker2 profile.d]# source /etc/profile
在客户机worker2上测试输入指令
[root@worker2 profile.d]# haha
-bash: haha: command not found
[root@worker2 profile.d]# date
Fri Jan 17 11:32:34 CST 2020
在master节点查看收集到的信息
[root@master ~]# tail -f /var/log/operate/operate.log
...
Jan 17 11:32:30 worker2 root: root pts/4 (10.180.201.20) root : haha
Jan 17 11:32:34 worker2 root: root pts/4 (10.180.201.20) root : date
各节点单独记录日志
如果把操作日志保存在各个节点上，不需要集中保存在master节点
那么只需要在各个节点 上准备好目标日志文件
然后配置环境变量中的脚本就行了
export HISTORY_FILE=/var/log/monitor/monitor.log
export PROMPT_COMMAND='{ date "+%y-%m-%d %T $(who am i |awk "{print \$1\" \"\$2\" \"\$5}") $(whoami) $(history 1 | { read x cmd; echo "$cmd"; })"; } >>$HISTORY_FILE'
或根据主机名保存
export MY_HISTORY_PATH=/var/log/monitor
if [ ! -d "$MY_HISTORY_PATH" ];then
mkdir -p "$MY_HISTORY_PATH"
fi
export HISTORY_FILE=$MY_HISTORY_PATH/$(hostname).log
if [ ! -f "$HISTORY_FILE" ];then
touch "$HISTORY_FILE"
# chmod 777 $HISTORY_FILE
fi
echo $HISTORY_FILE
export PROMPT_COMMAND='{ date "+%y-%m-%d %T $(hostname) $(who am i |awk "{print \$1\" \"\$2\" \"\$5}") $(whoami) : $(history 1 | { read x cmd; echo "$cmd"; })"; } >>$HISTORY_FILE'
关于日志的格式
默认的日志格式时间看起来不爽
修改master节点配置文件/etc/rsyslog.conf
# --Save operate log -- 新增指定日志文件
$template myformat,"%$NOW% %TIMESTAMP:8:15% %hostname% %msg%\n"
local3.info /var/log/operate/operate.log;myformat
修改完并重启rsyslog服务后日志显示效果如下
# 日期 时间 日志产生的主机名 登陆用户 会话形式 哪个IP在会话 操作用户 ： 内容
...
2020-01-19 09:51:57 worker2 root pts/0 (10.XX.XX.20) root : date
2020-01-19 09:51:59 worker2 root pts/0 (10.XX.XX.20) root : nihao
日志的转储
进入/etc/logrotate.d目录，新建operate文件
/var/log/operate/operate.log
{
weekly #每周转储一次
minsize 10M #超过10M的时候才真正转储
rotate 10 #共有10个文件
prerotate #转储前执行
chattr -a /var/log/operate/operate.log #取消权限
endscript
postrotate #转储后执行
chattr +a /var/log/operate/operate.log #加上权限
/bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true #重启rsyslog
/bin/kill -HUP `cat /var/run/rsyslogd.pid 2> /dev/null` 2> /dev/null || true #重启rsyslog
endscript
}
手动强制转储
[root@master logrotate.d]# /usr/sbin/logrotate -vf /etc/logrotate.conf
效果如下
[root@master operate]# ll
total 20
--------w- 1 nobody nobody 0 Jan 19 11:17 operate.log
--------w- 1 nobody nobody 17924 Jan 19 11:20 operate.log-20200119
参考
日志服务：
https://blog.csdn.net/wwl012345/article/details/90408772
本地收集：
http://www.manongjc.com/article/61750.html
服务配置：
https://blog.51cto.com/11555417/2163289?source=dra
https://www.cnblogs.com/leo2li/p/8418798.html
自定义格式：
https://blog.csdn.net/a9254778/article/details/79234132
日志转储：
https://www.jianshu.com/p/71a4c61384f1
https://blog.csdn.net/taiyang1987912/article/details/47829895
https://www.cnblogs.com/fyy-hhzzj/p/9593362.html