有断时间突然发现zimbra邮件服务器过几天就卡死,得重启才能恢复,卡的时候根本用不了命令,按服务器关机键都没办法关机,只能强制重启。连续观察好几天,通过sar -f /var/log/sarxx查看日志发现,CPU使用率隔一阵子就会390%或者更多,但是这个sar只能查看系统层面的,没法查看是哪个进程使用率偏高。后面去网上下载了atop,这个程序可以查看得更详细,包括历史进程使用情况,安装后也一直没有查看到异常。
     连续再观察几天后,突然有一天被我观察出来了,当CPU高的时候使用top命令查看有一个进程/opt/zimbra/log/zmcpustat在运行,但是ls /opt/zimbra/log/zmcpustat后系统提示没有这个目录或文件,使用zimbra用户进行也一样。于是就怀疑是病毒或***伪装的进程名(结合公司ip之前老是被反垃圾联盟https://www.spamhaus.org收录),实际进程应该不是这个,也不知道是哪个。
     查看/etc/fstab 、/etc/init.d 、/etc/rc.lcal、 /etc/rc*.d  、/var/cron/root 、/var/cron/zimbra进程都没有发现可疑进程。使用systemctl list-unit-files|grep enabled查看开机启动项,也没有发现可疑启动项,使用firewall-cmd --zone=public --list-ports查看防火墙开放的端口也是邮件服务需要的那几个端口,使用 rpm -qf /usr/bin/ps 

返回procps-ng-3.3.10-17.el7.x86_64,再使用rpm -V procps-ng-3.3.10-17.el7.x86_64查看返回结果(为空就是正常),发现系统这些命令也没有被替换,连续查看了ps 、top、kill几个命令发现都正常。
使用ls of pid\、ll /pro/pid/exe查看指向的都是/opt/zimbra/log/zmcpustat这个不存在的目录。使用netstat -antup|grep pid发现实个进程一直在跟国外的ip进行通讯,我把这个进程kill 掉后,他就会重新运行,跟另外一个ip通讯。真没有招了,是个正在运行的邮件服务器,也不想去重装系统。
后面请教了一个大佬,有一个临时的招kill -STOP pid,这样就可以让可疑进程暂停不运行,进程虽然还在,但是CPU使用率已经正常了,连续观察几天都没有升,在反垃圾联盟里面连续几天也没有被拉黑。有大佬有好的办法麻烦留言指导一下。

     新加
     这几天发现,就算把zmcpustat暂停运行,也死机了一次。并且查了日志也没查出来是什么原因,死机后重启查看历史负载也没发现有高负载所以就继续研究。
     手动创建文件/opt/zimbra/log/zmcpustat,并且chmod -x zmcpustat,chattr +i zmcpustat,这样做的目的是其他人无法在创建这个文件,并且也没法执行这个文件,并且也没法修改这个文件,这样就没办法运行了。
     并且,用file /opt/zimbra/log/*发现有以下几个文件找出来是系统可执行文件
     [root@mail bin]# file /opt/zimbra/log/* | grep ELF 

/opt/zimbra/log/opendkim.out: ELF 64-bit LSB executable, x86-64, version 1 (GNU/Linux), statically linked, stripped
/opt/zimbra/log/spamtrain.out: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.32, BuildID[sha1]=18950b7c0c817328cea47711e64853ed96407388, stripped
/opt/zimbra/log/zmconfigd.out: ELF 64-bit LSB executable, x86-64, version 1 (GNU/Linux), statically linked, stripped
/opt/zimbra/log/zmmysqlstatus.out: ELF 64-bit LSB executable, x86-64, version 1 (GNU/Linux), statically linked, stripped
当时用ls -l /opt/zimbra/log/*发现他们都是普通文件并且属性为不可执行,也就没有多注意,但是今天对比一下另外一台zimbra服务器相同目录,发现并没有这几个文件,于时将这几个文件暂时拷贝到其他目录,待观察(应该是可疑程序)。