a、/bin/ps,/bin/netsta程序都是1.2M的大小，显然是被人掉包了
b、/usr/bin/.dbus-daemon--system 进程还带了一个点，跟哪个不带点的很像，但终归是假的，你咋不给真的删掉替换呢，看来写这种程序的人法律意识很强，要不然程序推广起来了，死了
一大片CIA会放过他吗
c、/etc/rc.local权限改了，而且添加了一个开机启动项
d、lsattr、chattr命令删除了
e 、进程杀掉了立即又起来了这点很让人头痛
f、找到了一些最近修改的文件，显然这些都是黑客留下的
g、开机自动启动文件增加2个启动项
刚开始进程杀了又起来，文件删了又自动生成，线上环境又没有防火墙配置，无奈之下只好想了一个怪招，把/bin/bash重命名一下，果然流量下来了，这种杀敌1万自损8千的招果然有用。
其实这时候还没有找到真正的木马，但是已经有时间去分析查找病毒源了，这3台其中两台修改了bash名字，突然断开了，这样就登陆不了，只好重装系统了。后来这台我就慢慢查找了，差不
多都找到了，然后删除。这时心情大好，准备写博文记录一下，毕竟这是线上环境第一次遭遇木马。
大概22点的时候，博文写了一半，突然又接到故障，这次一下子又7台服务器出故障了，好心情一下子没了，原来那3台只是个开场白，真正的战斗还没有开始。所以后面的博客是续上的，调
调要是有些不一样将就的看吧。
由于这段时间网上查了些资料，慢慢的对这个木马熟悉起来了。这时我上传了一些正常的二进制程序如：ls，netstat,chattr,lsattr这样用自动的程序一下子就查到了木马程序，我分析了一
下，这些木马程序名字变着花样来，但万变不离其宗，名字都写在/etc/rc.d/init.d/DbSecuritySpt和/etc/rc.d/init.d/selinux里面，而且名字和正常的服务很像。
有/usr/local/zabbix/sbin/zabbix_AgentD、/usr/bin/bsd-port/getty、/usr/bin/dpkgd/ps、/usr/bin/.dbus-daemon--system、/usr/bin/.sshd、/usr/bin/sshd反正你系统有什么类似的
进程在运行，他就改成差不多的来迷惑你，其实他们都是一个程序大小也一样。
现在就是删除这些文件，杀死这些进程，说个小插曲由于某台服务器漏掉了一些没有删，第二天有激活了，这些东西当你用上面的命令时就可以激活，所以要千万小心仔细。在大概凌晨4点多
的时候这7台服务器的木马清理了差不多了，现在综合总结了大概步骤如下：
0，简单判断有无木马
有无下列文件
cat /etc/rc.d/init.d/selinux
cat /etc/rc.d/init.d/DbSecuritySpt
ls /usr/bin/bsd-port
ls /usr/bin/dpkgd
查看大小是否正常
ls -lh /bin/netstat
ls -lh /bin/ps
ls -lh /usr/sbin/lsof
ls -lh /usr/sbin/ss
1，上传如下命令到/root下
lsattr chattr ps netstat ss lsof
2，删除如下目录及文件
rm -rf /usr/bin/dpkgd (ps netstat lsof ss)
rm -rf /usr/bin/bsd-port (木马程序)
rm -f /usr/local/zabbix/sbin/zabbix_AgentD (木马程序)
rm -f /usr/local/zabbix/sbin/conf.n
rm -f /usr/bin/.sshd
rm -f /usr/bin/sshd
rm -f /root/cmd.n
rm -f /root/conf.n
rm -f /root/IP
rm -f /tmp/gates.lod
rm -f /tmp/moni.lod
rm -f /tmp/notify.file 程序
rm -f /tmp/gates.lock 进程号
rm -f /etc/rc.d/init.d/DbSecuritySpt(启动上述描述的那些木马变种程序)
rm -f /etc/rc.d/rc1.d/S97DbSecuritySpt
rm -f /etc/rc.d/rc2.d/S97DbSecuritySpt
rm -f /etc/rc.d/rc3.d/S97DbSecuritySpt
rm -f /etc/rc.d/rc4.d/S97DbSecuritySpt
rm -f /etc/rc.d/rc5.d/S97DbSecuritySpt
rm -f /etc/rc.d/init.d/selinux(默认是启动/usr/bin/bsd-port/getty)
rm -f /etc/rc.d/rc1.d/S99selinux
rm -f /etc/rc.d/rc2.d/S99selinux
rm -f /etc/rc.d/rc3.d/S99selinux
rm -f /etc/rc.d/rc4.d/S99selinux
rm -f /etc/rc.d/rc5.d/S99selinux
3，找出下列程序进程号并杀死
top 一眼就看到那个木马cpu利用率特高
/root/ps aux |grep -i jul29(主要是最近开启的进程)
/root/ps aux |grep -i jul30
/root/ps aux |grep -i jul31
/root/ps aux |grep sshd
/root/ps aux |grep ps
/root/ps aux |grep getty
/root/ps aux |grep netstat
/root/ps aux |grep lsof
/root/ps aux |grep ss
/root/ps aux |grep zabbix_Agetntd
/root/ps aux |grep .dbus
举例如下：
/root/ps aux |grep getty
root 6215 0.0 0.0 93636 868 ?Ssl 20:54 0:05 /usr/bin/bsd-port/getty
kill 6215
/root/ps aux |grep zabbix_AgentD
root 2558 71.0 0.0 106052 1048 ? Ssl 20:54 117:29 ./zabbix_AgentD
kill 2558
/root/ps aux |grep "/dpkgd/ps"
root 11173 67.8 0.0 105924 1020 ? Ssl 01:39 8:00 /usr/bin/dpkgd/ps -p 11148 -o comm=
kill 11173
注意如果kill后删除后还会再出现就这样操作(破坏木马程序)
>/usr/bin/dpkgd/ps && /root/chattr +i /usr/bin/dpkgd/ps
>/usr/bin/bsd-port/getty && /root/chattr +i /usr/bin/bsd-port/getty
4，删除含木马命令并重新安装(或者把上传的正常程序复制过去也行)
ps
/root/chattr -i -a /bin/ps && rm /bin/ps -f
yum reinstall procps -y
或
cp /root/ps /bin
netstat
/root/chattr -i -a /bin/netstat && rm /bin/netstat -f
yum reinstall net-tools -y
或
cp /root/netstat /bin
lsof
/root/chattr -i -a /bin/lsof && rm /usr/sbin/lsof -f
yum reinstall lsof -y
或
cp /root/lsof /usr/sbin
chattr && lsattr
yum -y reinstall e2fsprogs
ss
/root/chattr -i -a /usr/sbin/ss && rm /usr/sbin/ss -f
yum -y reinstall iproute
或
cp /root/ss /usr/sbin
修改下面两个程序的权限，这个是意外发现有的改了这两个程序的权限，让你发现了木马既不能下载正常程序也不能杀进程
/usr/bin/killall
/usr/bin/wget
另外他们还修改了DNS怕我们识别不了有的域名吧，想得很周到哈
cat /etc/resolv.conf
nameserver 8.8.8.8
nameserver 8.8.4.4
5,工具扫描
安装杀毒工具
安装
yum -y install clamav*
启动
service clamd restart
更新病毒库
freshclam
扫描方法
clamscan -r /etc --max-dir-recursion=5 -l /root/etcclamav.log
clamscan -r /bin --max-dir-recursion=5 -l /root/binclamav.log
clamscan -r /usr --max-dir-recursion=5 -l /root/usrclamav.log
clamscan -r --remove /usr/bin/bsd-port
clamscan -r --remove /usr/bin/
clamscan -r --remove /usr/local/zabbix/sbin
查看日志发现
/bin/netstat: Linux.Trojan.Agent FOUND为病毒
grep FOUND /root/usrclamav.log
/usr/bin/.sshd: Linux.Trojan.Agent FOUND
/usr/sbin/ss: Linux.Trojan.Agent FOUND
/usr/sbin/lsof: Linux.Trojan.Agent FOUND
6，加强自身安全
但是此时还不知道系统入侵的原因，只能从两个方面考虑：暴力破解和系统及服务漏洞
a、yum update 更新系统(特别是bash、openssh和openssl)
b、关闭一些不必要的服务
c、设置ssh普通用户登陆并用hosts.all、hosts.deny限制登陆的网段
d、记录登陆系统后操作的命令
发现有如下操作
Jul 31 00:26:37 CHN-LZ-131 logger: [euid=root]::[/root]echo > /var/log/messages
Jul 31 00:26:37 CHN-LZ-131 logger: [euid=root]::[/root]echo > /var/log/httpd/access_log
Jul 31 00:26:37 CHN-LZ-131 logger: [euid=root]::[/root]echo > /var/log/httpd/error_log
Jul 31 00:26:37 CHN-LZ-131 logger: [euid=root]::[/root]echo > /var/log/xferlog
Jul 31 00:26:37 CHN-LZ-131 logger: [euid=root]::[/root]echo > /var/log/secure
Jul 31 00:26:37 CHN-LZ-131 logger: [euid=root]::[/root]echo > /var/log/auth.log
Jul 31 00:26:37 CHN-LZ-131 logger: [euid=root]::[/root]echo > /var/log/user.log
Jul 31 00:26:37 CHN-LZ-131 logger: [euid=root]::[/root]echo > /var/log/wtmp
Jul 31 00:26:37 CHN-LZ-131 logger: [euid=root]::[/root]echo > /var/log/lastlog
Jul 31 00:26:37 CHN-LZ-131 logger: [euid=root]::[/root]echo > /var/log/btmp
Jul 31 00:26:37 CHN-LZ-131 logger: [euid=root]::[/root]echo > /var/run/utmp
Jul 31 00:26:37 CHN-LZ-131 logger: [euid=root]::[/root]echo > /var/spool/mail/root
Jul 31 00:26:37 CHN-LZ-131 logger: [euid=root]::[/root]echo > ./.bash_history
Jul 31 00:26:37 CHN-LZ-131 logger: [euid=root]::[/root]rm -rf /root/.bash_history
Jul 31 00:26:37 CHN-LZ-131 logger: [euid=root]::[/root]
7，木马分析
后续，我把木马程序转换成了16进制的，大概看了一眼， 发现只是一个木马并能DDOS攻击，确实没有删除服务器配置，对服务器没有造成太大的危害。