环境:linux 5.4服务器,ORACLE 10.0.2.4数据库

案情:上周某数据库DBA做迁移操作时说突然连不上了,向可能有ROOT权限的人确认是否突然修改了密码。可也太诡异了,这台数据库服务器所在的区域安全等级较高,而且运行了若干年从来没有任何问题。刚刚root放给新入职的DBA就出了问题。还好有堡垒主机,于是立即确认堡垒主机的动作,没有发现有修改ROOT密码的命令。惊了一声冷汗,难不成被***了。

1930,赶到IDC机房,用显示器介入发现界面停留在RADHAT登录界面,但输入密码均提示认证失败;

1945,尝试软关机,但长时间停留在一个界面上半个多小时不动;

root权限引发的/sbin/init不存在故障的血案_第1张图片

2030,尝试强制关机,重启后系统初始化异常;

root权限引发的/sbin/init不存在故障的血案_第2张图片

2045,尝试linux单用户模式修改密码,结果单用户模式也进进不了系统,提示错误同上;

2200,怀疑底层文件被删除,要求二线准备LINUX5.4操作系统光盘赶往机房;

2300,我们安装完一台和故障机同样操作系统和数据库的虚拟机,以备万一故障机恢复不了,我们导出数据文件直接恢复数据库;

0200,通过光盘引导linux进入救援模式,我们登录系统后发现关键的数据库文件目录还在,顿时放心很多;

0230,我们发现文件系统底层文件有被移动的迹象,通过堡垒主机的录像分析瞬间得出结论,应该是操作员用FTP操作时不小心拖动了底层文件/lib64/media目录下,而由于/sbin/init是动态链接的,造成的表面显现是/sbin/init不存在;

root权限引发的/sbin/init不存在故障的血案_第3张图片

教训:root权限一定要收紧,特别是对于新环境不熟悉的老手。

经验:linux救援模式很重要,必要时可以救人一命,大家要学好。