linux系统日志排故方案,Linux系统运维故障排查
一.思路
1.处理问题要求
2.一般思路
二.具体问题
1.网络问题
(1)网络不通
(2)网络很慢
2.硬件问题
3.操作系统问题
(1)系统无法正常启动
(2)系统运行慢或死机
4.服务或程序问题
5.其他
一.思路
1.处理问题要求：思路清晰、问题明确、快速解决，长时间的积累形成自己的一套解决问题的“反射弧”
2.一般思路：
(1)重视报错信息：定位基本问题基本方向
(2)查询日志文件：报错信息有时只是问题的表象，想要更具体的了解问题，一般需要查看相应日志，如系统日志文件(/var/log)、应用日志文件
(3)分析、定位问题：结合报错信息和日志文件以及相应的环境(代码、系统磁盘、系统内存、各个进程运行情况等等)或者自身和他人经验来定位问题
(4)解决问题：找到问题基本上就能解决问题
系统日志
http://c.biancheng.net/cpp/html/2783.html
https://www.cnblogs.com/yingsong/p/6022181.html
二.具体实例
1.网络问题
网络问题是什么，是不通，还是慢？
1). 如果是网络不通，要定位具体的问题，一般是不断尝试排除不可能故障的地方，最终定位问题根源。一般需要查看
是否接入到链路
是否启用了相应的网卡
本地网络是否连接
DNS故障
能否路由到目标主机
远程端口是否开放
2). 如果是网络速度慢，一般有以下几个方式定位问题源：
DNS是否是问题的源头
查看路由过程中哪些节点是瓶颈
查看带宽的使用情况
来源： http://www.cnblogs.com/Security-Darren/p/4700387.html
2.硬件的问题
查看/var/log/dmesg 或者用 dmesg命令
http://t.cn/RubBMqR
3.操作系统的问题
1)系统无法正常启动：
(1)文件系统被破坏，比如linux根分区文件遭到破坏(一般是系统突然断电或者非法关机导致)
(2)文件系统配置不当，比如/etc/inittab 、/etc/fstab文件等配置错误或丢失导致系统错误(一般是人为配置错误)
centos7 中init进程
https://blog.csdn.net/Holmofy/article/details/69666962
centos5中
inittab文件
https://www.linux178.com/linux/inittab.html
http://blog.51cto.com/leejia/788895
fstab文件：
http://blog.itpub.net/26723566/viewspace-753700/
(3)内核文件丢失或者崩溃(内核升级或者内核存在bug导致)
https://www.jianshu.com/p/e1f550ba164d
内核升级 http://seanlook.com/2014/10/24/upgrade-centos6_kernel-to-3.10.x/
(4)系统引导程序出现问题，比如grub丢失或者损坏(人为修改配置错误或者文件系统故障)
引导程序 Boot Loader 就是在操作系统内核运行之前运行的一段小程序。通过这段小程序，我们可以初始化硬件设备、建立内存空间的映射图，从而将系统的软硬件环境带到 一个合适的状态，以便为最终调用操作系统内核做好一切准备。Boot Loader有若干种，其中Grub、Lilo是常见的Loader。系统读取内存中的grub配置信息(一般为menu.lst或grub.lst)，并依照此配置信息来启动不同的操作系统。
补充：
系统引导整体流程：
参考
https://blog.csdn.net/zhaodedong/article/details/47711499
http://blog.51cto.com/12410094/1951058
http://www.runoob.com/linux/linux-system-boot.html
Linux系统无法启动故障解决方案 http://www.voidcn.com/article/p-wnhepalc-gs.html下面的相关文章
4个最好的Linux引导程序 https://linux.cn/article-7788-1.html#3_515
2)系统运行很慢或者死机
系统运行慢的原因
cpu占用、内存占用、IO占用比较高
https://www.linuxidc.com/Linux/2011-10/44274.htm
一般造成Linux系统死机的原因有：
系统硬件问题(SCSI卡，主板，RAID卡，HBA卡，网卡，硬盘等)
外围硬件问题(网络等)
软件问题(系统、应用软件)
驱动bug(找新的驱动)
核心系统bug(到LKML看看，或更换核心再试)
系统设置(恢复到缺省状态，关闭防火墙等)
补充：
linux性能优化值cpu、内存、IO优化 https://blog.csdn.net/ZYC88888/article/details/79027944
linux性能调优指南https://legacy.gitbook.com/book/lihz1990/transoflptg/details(里面的pdf文件)
Linux性能及调优指南：进程管理 http://blog.jobbole.com/105135/
4.服务或程序问题
redis客户端常见异常https://blog.csdn.net/li396864285/article/details/76951278
Nginx常见错误及解决方法http://blog.51cto.com/riverxyz/1961151
nginx几个常见异常https://www.jianshu.com/p/e72f2ea12eae
nginx或其他网站报错502错误常见问题总结 http://www.21yunwei.com/archives/3724
Mysql常见问题如连接数不够、死锁、SQL语句太慢
https://mp.weixin.qq.com/s/rvfRzGe2GB1OkQ_zQVQElA
http://www.ttlsa.com/mysql/mysql-common-error-analysis-and-solution-methods/
5.其他
Linux运维常见故障排查和处理的33个技巧汇总 https://mp.weixin.qq.com/s/hLaVQC3FPChGoEnrBtUJ3Q
6 个 Linux 运维典型问题，大牛的分析解决思路在这里 https://mp.weixin.qq.com/s/4oZqkcs8LQ-_X6SmsRe-yw
从零起步做到Linux运维经理，你必须管好的23个细节https://mp.weixin.qq.com/s/24lNkVbO419G6gX52Xr7bQ