linux系统日志排故方案,Linux系统运维故障排查

一.思路

1.处理问题要求

2.一般思路

二.具体问题

1.网络问题

(1)网络不通

(2)网络很慢

2.硬件问题

3.操作系统问题

(1)系统无法正常启动

(2)系统运行慢或死机

4.服务或程序问题

5.其他

一.思路

1.处理问题要求:思路清晰、问题明确、快速解决,长时间的积累形成自己的一套解决问题的“反射弧”

2.一般思路:

(1)重视报错信息:定位基本问题基本方向

(2)查询日志文件:报错信息有时只是问题的表象,想要更具体的了解问题,一般需要查看相应日志,如系统日志文件(/var/log)、应用日志文件

(3)分析、定位问题:结合报错信息和日志文件以及相应的环境(代码、系统磁盘、系统内存、各个进程运行情况等等)或者自身和他人经验来定位问题

(4)解决问题:找到问题基本上就能解决问题

系统日志

http://c.biancheng.net/cpp/html/2783.html

https://www.cnblogs.com/yingsong/p/6022181.html

二.具体实例

1.网络问题

网络问题是什么,是不通,还是慢?

1). 如果是网络不通,要定位具体的问题,一般是不断尝试排除不可能故障的地方,最终定位问题根源。一般需要查看

是否接入到链路

是否启用了相应的网卡

本地网络是否连接

DNS故障

能否路由到目标主机

远程端口是否开放

2). 如果是网络速度慢,一般有以下几个方式定位问题源:

DNS是否是问题的源头

查看路由过程中哪些节点是瓶颈

查看带宽的使用情况

来源: http://www.cnblogs.com/Security-Darren/p/4700387.html

2.硬件的问题

查看/var/log/dmesg 或者用 dmesg命令

http://t.cn/RubBMqR

3.操作系统的问题

1)系统无法正常启动:

(1)文件系统被破坏,比如linux根分区文件遭到破坏(一般是系统突然断电或者非法关机导致)

(2)文件系统配置不当,比如/etc/inittab 、/etc/fstab文件等配置错误或丢失导致系统错误(一般是人为配置错误)

centos7 中init进程

https://blog.csdn.net/Holmofy/article/details/69666962

centos5中

inittab文件

https://www.linux178.com/linux/inittab.html

http://blog.51cto.com/leejia/788895

fstab文件:

http://blog.itpub.net/26723566/viewspace-753700/

(3)内核文件丢失或者崩溃(内核升级或者内核存在bug导致)

https://www.jianshu.com/p/e1f550ba164d

内核升级 http://seanlook.com/2014/10/24/upgrade-centos6_kernel-to-3.10.x/

(4)系统引导程序出现问题,比如grub丢失或者损坏(人为修改配置错误或者文件系统故障)

引导程序 Boot Loader 就是在操作系统内核运行之前运行的一段小程序。通过这段小程序,我们可以初始化硬件设备、建立内存空间的映射图,从而将系统的软硬件环境带到 一个合适的状态,以便为最终调用操作系统内核做好一切准备。Boot Loader有若干种,其中Grub、Lilo是常见的Loader。系统读取内存中的grub配置信息(一般为menu.lst或grub.lst),并依照此配置信息来启动不同的操作系统。

补充:

系统引导整体流程:

linux系统日志排故方案,Linux系统运维故障排查_第1张图片

参考

https://blog.csdn.net/zhaodedong/article/details/47711499

http://blog.51cto.com/12410094/1951058

http://www.runoob.com/linux/linux-system-boot.html

Linux系统无法启动故障解决方案 http://www.voidcn.com/article/p-wnhepalc-gs.html下面的相关文章

4个最好的Linux引导程序 https://linux.cn/article-7788-1.html#3_515

2)系统运行很慢或者死机

系统运行慢的原因

cpu占用、内存占用、IO占用比较高

https://www.linuxidc.com/Linux/2011-10/44274.htm

一般造成Linux系统死机的原因有:

系统硬件问题(SCSI卡,主板,RAID卡,HBA卡,网卡,硬盘等)

外围硬件问题(网络等)

软件问题(系统、应用软件)

驱动bug(找新的驱动)

核心系统bug(到LKML看看,或更换核心再试)

系统设置(恢复到缺省状态,关闭防火墙等)

补充:

linux性能优化值cpu、内存、IO优化 https://blog.csdn.net/ZYC88888/article/details/79027944

linux性能调优指南https://legacy.gitbook.com/book/lihz1990/transoflptg/details(里面的pdf文件)

Linux性能及调优指南:进程管理 http://blog.jobbole.com/105135/

4.服务或程序问题

redis客户端常见异常https://blog.csdn.net/li396864285/article/details/76951278

Nginx常见错误及解决方法http://blog.51cto.com/riverxyz/1961151

nginx几个常见异常https://www.jianshu.com/p/e72f2ea12eae

nginx或其他网站报错502错误常见问题总结 http://www.21yunwei.com/archives/3724

Mysql常见问题如连接数不够、死锁、SQL语句太慢

https://mp.weixin.qq.com/s/rvfRzGe2GB1OkQ_zQVQElA

http://www.ttlsa.com/mysql/mysql-common-error-analysis-and-solution-methods/

5.其他

Linux运维常见故障排查和处理的33个技巧汇总 https://mp.weixin.qq.com/s/hLaVQC3FPChGoEnrBtUJ3Q

6 个 Linux 运维典型问题,大牛的分析解决思路在这里 https://mp.weixin.qq.com/s/4oZqkcs8LQ-_X6SmsRe-yw

从零起步做到Linux运维经理,你必须管好的23个细节https://mp.weixin.qq.com/s/24lNkVbO419G6gX52Xr7bQ

你可能感兴趣的:(linux系统日志排故方案)