记录服务器被入侵病毒：ssh密码被更改、恶意程序跑满了cpu、jar包启动失败自动kill、一直弹出You have new mail in /var/spool/mail/root

问题现象：

ssh登录密码：无缘无故没人动服务器密码就被更改过，也向同事咨询过没人动过服务器，然后通过修改密码重新登录服务器。
jar包启动失败：启动jar包，随后不久直接被kill

[root@k8s-n4 discovery]# java -jar discovery-1.0.0.RELEASE.jar 

################################################
#                                              #
#        ## #   #    ## ### ### ##  ###        #
#       # # #   #   # #  #  # # # #  #         #
#       ### #   #   ###  #  # # ##   #         #
#       # # ### ### # #  #  ### # # ###        #
#                                              #
# Obfuscation by Allatori Obfuscator v6.4 DEMO #
#                                              #
#           http://www.allatori.com            #
#                                              #
################################################

2021-02-18 09:08:01.045  INFO 19907 --- [           main] s.c.a.AnnotationConfigApplicationContex: Refreshing org.springframework.context.annotation.AnnotationConfigApplicationContext@1376c05c: artup date [Thu Feb 18 09:08:01 CST 2021]; root of context hierarchy
...
Killed

不断弹出You have new mail in /var/spool/mail/root：
查看这个的相关内容会发现一直有ERROR

|| ERROR || already running…

From [email protected]  Thu Feb 18 09:12:01 2021
Return-Path: <[email protected]>
X-Original-To: root
Delivered-To: [email protected]
Received: by k8s-n4.localdomain (Postfix, from userid 0)
	id 9ABDD43E1F; Thu, 18 Feb 2021 09:12:01 +0800 (CST)
From: "(Cron Daemon)" <[email protected]>
To: [email protected]
Subject: Cron <root@k8s-n4> /root/.sshd/sshd
Content-Type: text/plain; charset=UTF-8
Auto-Submitted: auto-generated
Precedence: bulk
X-Cron-Env: <XDG_SESSION_ID=5360>
X-Cron-Env: <XDG_RUNTIME_DIR=/run/user/0>
X-Cron-Env: <LANG=en_US.UTF-8>
X-Cron-Env: <SHELL=/bin/sh>
X-Cron-Env: <HOME=/root>
X-Cron-Env: <PATH=/usr/bin:/bin>
X-Cron-Env: <LOGNAME=root>
X-Cron-Env: <USER=root>
Message-Id: <[email protected]>
Date: Thu, 18 Feb 2021 09:12:01 +0800 (CST)

||  ERROR  || already running...

第一反应是以为服务器资源不足导致的

查看运行内存、磁盘空间都是足够的

被人入侵了，搞了个定时任务，把CPU资源全占用了。系统为了保持稳定，所以自动kill进程

top #查看占用CPU等情况

直接去进行kill这个sshd的程序会重新生成新的
kill -9 2172 #将这个名为sshd、pid为2172的程序kill掉

crontab -l #查看定时任务
果然这个就是根本问题 被写入了定时任务

解决

直接把定时任务修改清除

crontab -e #修改定时任务
#进入编辑模式之后直接删除然后wq保存退出

修改root密码

passwd root #修改root密码 建议修改复杂密码 可以去搜个随机密码

删除病毒文件

rm -rf /root/.sshd #直接把这个可疑的目录删除掉

查看进程详情
ll /proc/7289

我也删除了/usr/bin/sshd程序 并通过yum重新安装、启动
然后修改了ssh的端口号 将默认的22端口号做修改

查看计划性任务，因为并不是只通过crontab -e这一种方法进行修改
检查cron.目录下是否有新增的程序

检查了/etc/cron所有目录下，我看到有几个都新增了这pwnrig程序我就都删除了
直接删除删除不了 因为添加了----ia属性

进行删除
随后我怕还有cron计划性任务被修改了东西，我就通过yum进行卸载了然后再重新安装。

检查是否有新增用户，查看到/home目录下新增一个user用户也是近期添加的
使用userdel user 删除用户并不成功
可以通过直接修改/etc/passwd以及/etc/shadow文件
看到文件最下面有关于user用户的信息直接删除并保存退出

大概是我以上步骤操作后，我再次尝试这个kill程序，这个程序会被我kill掉，但是当我重新连接服务器的时候，也就是linux服务器用户登录的时候这个程序还是会生成，也就是说用户登录的时候会加载环境变量，这个攻击者把服务器的环境变量做了修改，导致我一登陆就会产生这个程序！

登陆是加载环境变量的
检查文件
cat /etc/profile
cat /root/.bash_profile
果然发现了端倪

直接进去修改保存不了，被修改了文件属性

删除添加的东西然后进行保存

由刚才环境变量的文件中可以得知他把/bin/下的一个程序进行了复制
进入到/bin目录下，因为之前得知大概的时间在Feb月进行筛查
可以看到几个可疑的文件都进行删除

[root@k8s-n4 bin]# rm -rf bprofr 
rm: cannot remove ‘bprofr’: Operation not permitted
[root@k8s-n4 bin]# rm -rf crondr 
rm: cannot remove ‘crondr’: Operation not permitted
[root@k8s-n4 bin]# rm -rf initdr
rm: cannot remove ‘initdr’: Operation not permitted
[root@k8s-n4 bin]# rm -rf sysdr
rm: cannot remove ‘sysdr’: Operation not permitted
[root@k8s-n4 bin]# chattr -ia bprofr crondr initdr sysdr
[root@k8s-n4 bin]# rm -rf bprofr crondr initdr sysdr

最后再尝试kill这个进程，这个名为sshd的程序被我kill了，并且不会重新生成，以及重新登录服务器的时候也不会产生这个程序
解决前：

解决后：