系统故障分析与排除
一、日志的分析与管理
1、日志文件的分类
内核及系统日志
由系统服务syslog统一进行管理
用户日志
记录系统用户登录及退出系统的相关信息
程序日志
由各种应用程序独立管理的日志文件，记录格式不统一
2、日志保存在/var/log下
内核及公共消息日志：/var/log/messages
计划任务日志：/var/log/cron
系统引导日志：/var/log/dmesg
邮件系统日志：/var/log/maillog
用户登录志：/var/log/lastlog /var/log/secure
/var/log/wtmp /var/run/utmp
3、syslogd管理日志
配置文件：/etc/syslog.conf
格式如下
服务类别.日志级别 日志消息发送位置
4、日志消息的级别
0 EMERG（紧急）：会导致主机系统不可用的情况
1 ALERT（警告）：必须马上采取措施解决的问题
2 CRIT（严重）：比较严重的情况
3 ERR（错误）：运行出现错误
4 WARNING（提醒）：可能会影响系统功能的事件
5 NOTICE（注意）：不会影响系统但值得注意
6 INFO（信息）：一般信息
7 DEBUG（调试）：程序或系统调试信息等
5、系统及内核日志格式
时间标签 主机名 子系统名称 消息
6、用户日志分析
/var/log/lastlog：最近的用户登录事件
/var/log/wtmp：用户登录、注销及系统开、关机事件
/var/run/utmp：当前登录的每个用户的详细信息
/var/log/secure：与用户验证相关的安全性事件
7、程序日志
Web服务：/var/log/httpd/
access_log和error_log
代理服务：/var/log/squid/
access.log、cache.log、squid.out、store.log
FTP服务：/var/log/xferlog
二、系统启动类故障排除
1、修复MBR扇区
1)备份MBR扇区数据
dd if=/dev/sda of=/backup/sda.mbr.bak bs=512 count=1
2)模拟MBR被破坏的故障
dd if=/dev/zero of=/dev/sda bs=512 count=1
3)RHEL5光盘引导，进入急救模式
boot: linux rescue
4)从备份文件中恢复MBR扇区
dd if=/tempdir/sda.mbr.bak of=/dev/sda bs=512 count=1
2、/etc/inittab文件丢失
#rpm -ivh --replacepkgs initscripts*
三、软件包故障排除
1、重建RPM数据库
rpm --rebuilddb 或 rpm --initdb
2、缺少so文件
在/etc/ld.so.conf后添加so文件的路径
ldconfig
四、文件系统磁盘类故障排除
1、fsck -yt ext3 /dev/sdb1 修复/dev/sdb1分区的ext3
2、df -i /dev/sdb1 查看/dev/sdb1的i节点使用情况
3、fuser -mv /dev/cdrom 查看正在使用cdrom用户进程信息
fuser -k /dev/cdrom 关闭正在使用的cdrom进程a
4、检测磁盘坏道
mkfs -t ext3 -c /dev/sdb1 | grep bad
badblocks -sv /dev/sdb1
五、查看系统性能状况
1、uptime
/proc/loadavg
2、vmstat
free
3、磁盘i/o
iostat -dkt 5
4、mpstat