linux系统管理技术之troubleshooting

RHCE的课已经过了一半，昨天搞了一天的troubleshooting，还是很有感触，现在把我的一点点经验写出来于朋友们共享。

linux系统的troubleshooting一般分为两部分，一个是关于系统的，常见的是系统启动故障，另一个是网络服务方面的，常见的是服务运行异常，或者更本不能启动，如DNS配置正确却不能正常解析，postfix发不出去邮件等等，这类的troubleshooting要视情况而定，也比较复杂，如果有兴趣，可以MSN联系，共同探讨，这里我主要讲系统方面的。

在讲系统方面的troubleshooting之前，有一个知识必须非常了解，就是linux系统的启动详细过程，这里我描述下：

硬件加电自检----->BIOS检查----->判断系统启动设备------>加载MBR------>搜索系统引导分区------>选择加载内核------>加载初始化映像文件------>启动init进程------->判断系统启动级别------>启动相关级别的相关服务------>运行/etc/rc.local------->运行/etc/bash_profile------->运行/etc/bashrc------->启动migetty，等待用户登录

熟悉这个启动过程后，我们就可以根据故障现象判断出现故障的原因，从而对症下药，进而解决问题，同时，我们也可以根据启动过程中的错误提示，判断故障原因，下面我列举几个故障现象（下面的系统是通过网络上的一台NFS服务器安装的，在安装完成后执行了一段脚本，所以出现了以下故障），及其解决办法：

1.
故障现象阐述： 刚刚重新安装的系统，安装过程中一切正常，没有任何错误提示，安装完成后，提示重新引导系统，重新引导后，发现没有出现bootloader的界面，屏幕上没有任何错误提示，只有一个光标在不停闪动，硬盘读写指示灯没有闪烁。

故障判断及其解决方法：
根据linux系统的启动过程，我们大致可以判断硬件完好，BIOS检查通过，检查发现第一引导设备是硬盘，这也正常，所以接下来应该出现bootloader的界面，让我们选择需要引导的系统，而故障中没有出现，所以我们判断应该是bootloader有误。接下来解决问题，从光盘引导系统进入rescue模式，发现无法使用命令chroot /mnt/sysimages切换到硬盘上的Linux系统，没办法，只好进入目录cd /mnt/sysimages,查看下，发现只有三个目录，/boot,/sys,/proc,其他目录都没有，修复bootloader的最后方法就是重新安装grub(现在默认的bootloader都是grub),而/etc/grub.conf文件是链接到/boot/grub/grub.conf，所以进入/boot/grub目录，发现配置文件都正常，说明grub的rpm包应该安装了，下面我们来安装grub到mbr.依次运行下面三个命令：grub---->root (hd0,0)------>setup (hd0)------>quit,然后重新启动系统，从硬盘启动，出现了bootloader（grub）的选择界面，说明我们的判断和解决方法都正确。高兴中......

2.
故障现象阐述：
原以为经过上面的一番折腾，我的linux系统可以正常启动了，可以启动过程中却有出问题了。系统引导到initrd文件加载完成，系统init进程启动之前，系统引导出错，无法继续启动，系统提示有些问题文件系统无法挂载，有些文件系统不存在等等。

故障判断及其解决方法：
根据linux启动过程和系统提示，我们发现系统当时应该是在挂载硬盘分区到系统出现了错误，而这个过程是通过文件/etc/fstab来控制，所以我怀疑是这个文件被改动了，而且配置不正确，并且这个也和在rescue模式下系统中只有三个目录的现象吻合。下面就来解决问题了，依然是从光盘启动引导系统进入rescue模式。现在出现了一个新问题，fstab文件在etc目录下，但是当前系统根本就没有etc这个目录，我们到哪里去修改fstab这个文件呢？思考中......对了，既然系统不能自动挂载，那我就手动挂载，首先，使用命令fdisk -l来查看当前硬盘分了那些分区，各个分区都有什么内容，应该被挂载到哪里。查看发现，硬盘分了三个区，100M的那个应该是boot分区，文件系统类型为swap的那个应该是交换分区，还有一个是lvm，进入LVM那个分区看下cd /dev/vol0/，发现两个逻辑分区，分别命名为root和home，初步怀疑root那个逻辑分区是根分区，然后在/mnt下建立一个目录叫testdir(mkdir /mnt/testdir),然后使用命令将根分区挂在到testdir目录(mount /dev/vol0/root /mnt/testdir)，进入testdir目录，ls看下，所有目录都有，果然是根分区，接下来进入正题，修改fstab，vi /etc/fstab，发现这个文件已经被改的面目全非了，没办法重新写一个吧，如下：

＃＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
/dev/Vol0/root           /                       ext3    defaults        1 1
LABEL=/boot             /boot                   ext3    defaults        1 2
tmpfs                   /dev/shm                tmpfs   defaults        0 0
/dev/Vol0/home          /home                   ext3    defaults        1 2
/dev/sda3                swap                    swap    defaults        0 0
＃＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

OK,保存退出了，重新引导系统从硬盘启动，这下应该万事大吉了吧......

3.
故障现象阐述：
经过上面那些艰难的操作，系统总算是慢慢启动了，期待中......挂载文件系统也正常了，解下来该启动init进程了，下面确定系统启动级别，然后启动相关服务吧，不对呀，我的系统怎么自动重启了，再次启动也是这样，郁闷了。

故障判断及其解决方法：
根据上述现象，系统的所有相关服务应该都没有开始启动，而且系统重启的系统级别是6，这样inittab这个文件就有很大的嫌疑了，老办法了，进入rescue模式，这次chroot /mnt/sysimages这个命令运行正常，没有任何错误提示，而且系统的所以目录都有了，这就说明我的上一步操作是正确的。vi /etc/inittab，发现有一段脚本错误：

l0:0:wait:/etc/rc.d/rc 0
l1:1:wait:/etc/rc.d/rc 1
l2:2:wait:/etc/rc.d/rc 2
l3:3:wait:/etc/rc.d/rc 6
l4:4:wait:/etc/rc.d/rc 6
l5:5:wait:/etc/rc.d/rc 6
l6:6:wait:/etc/rc.d/rc 6

有了这段脚本，我现在可以确定我的判断是正确的，每当启动到3或者5的级别时，就自动运行了6级别的脚本，这样不重启才怪呢，二话不说，修改成这样：

l0:0:wait:/etc/rc.d/rc 0
l1:1:wait:/etc/rc.d/rc 1
l2:2:wait:/etc/rc.d/rc 2
l3:3:wait:/etc/rc.d/rc 3
l4:4:wait:/etc/rc.d/rc 4
l5:5:wait:/etc/rc.d/rc 5
l6:6:wait:/etc/rc.d/rc 6

OK，保存退出！reboot......

4.
故障现象阐述：
系统终于正常启动了，多么熟悉的［ ok ］,多么熟悉的登录窗口呀，准备登录咯......对了，密码是多少呀？去问老师，结果老师说了一句“你觉得我会告诉你密码吗？”，那个郁闷呀......

故障判断及其解决方法：
没办法了，怪不得我了，破解root密码吧，这个可是我的强项，方法嘛，太简单了，这里就不说了！就改成redhat吧。

5.
故障现象阐述：
进入图形化界面，然后打开一个终端看看我都做了些什么，奇怪，为什么我的终端打不开呀，一开就弹出个对话框，具体内容不大记得了，反正就是说我的terminal不能使用，可是我明明已经解决了所有的故障呀，难道有人对我特别照顾，加了一个？

故障判断及其解决方法：
我认真的思考，冷静的思考，仔细的思考，回忆以上出的四个问题，我敢肯定其中的三个问题我都处理的正确，只有那个挂载文件系统的那个我有点不太肯定，到不是写错了什么，而是怀疑我写漏了什么，vi /etc/fstab，

＃＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
/dev/Vol0/root           /                       ext3    defaults        1 1
LABEL=/boot             /boot                   ext3    defaults        1 2
tmpfs                   /dev/shm                tmpfs   defaults        0 0
/dev/Vol0/home          /home                   ext3    defaults        1 2
/dev/sda3                swap                    swap    defaults        0 0
＃＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

总感觉好像缺点什么，对了，我好像忘了挂载三个虚拟文件系统，分别是devpts,proc,sys,加上后如下：

＃＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
/dev/Vol0/root          /                       ext3    defaults        1 1
LABEL=/boot             /boot                   ext3    defaults        1 2
devpts                  /dev/pts                devpts  gid=5,mode=620  0 0
tmpfs                   /dev/shm                tmpfs   defaults        0 0
/dev/Vol0/home          /home                   ext3    defaults        1 2
proc                    /proc                   proc    defaults        0 0
sysfs                   /sys                    sysfs   defaults        0 0
/dev/sda3                swap                    swap    defaults        0 0
＃＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

OK,保存退出！reboot......再打开terminal，Ok,一切正常！太有成就了！呵呵！

总结：
其实troubleshooting是个比较复杂的过程，以上的几个简单的例子只是troubleshooting的一个简单缩影，希望可以起到抛砖引玉的作用， 本文出自 51CTO.COM技术博客