Java线上应用故障排查

前言

在平时的工作中有时会碰到线上故障排查，把排查故障的方法和解决方案做个总结，记录下来作为笔记，一可以让自己后续忘记了可快速翻阅，二是分享，希望看到此文的朋友有好的经验可以交流，大家一起进步。

一、故障排查
高CPU占用
1、top命令：Linux命令，可以查看实时的CPU使用情况，也可以查看最近一段时间的CPU使用情况。
2、PS命令：Linux命令，强大的进程状态监控命令，可以查看进程以及进程中线程的当前CPU使用情况。属于当前状态的采样数据。
3、jstack：Java提供的命令。可以查看某个进程的当前线程栈运行情况。根据这个命令的输出可以定位某个进程的所有线程的当前运行状态、运行代码，以及是否死锁等等。
4、pstack：Linux命令。可以查看某个进程的当前线程栈运行情况。
流程执行命令：
1.top 查到pid 28555
2.ps aux|grep 28555 确定到是tomcat的进程
3.显示线程列表 ps -mp 28555 -o THREAD,tid,time 查到tid 28802
4. printf “%x\n” 28802 将线程id，tid进行16进制转换
5.jstack pid |grep tid -A 30 显示堆栈信息 jstack 28555 |grep 28802 -A 30
高内存占用
1、top命令：Linux命令。可以查看实时的内存使用情况。
2、jmap -histo:live [pid]，然后分析具体的对象数目和占用内存大小，从而定位代码。
3、jmap -dump:live,format=b,file=xxx.xxx [pid]，然后利用MAT工具分析是否存在内存泄漏等等。
通过 top+jstack+jmap+MAT 可以定位大多数应用和内存问题，可谓必备工具
常用 GC 参数

坏代码可能的一些特征，供大家参考：
（1）代码可读性差，无基本编程规范；
（2）对象生成过多或生成大对象，内存泄露等；
（3）IO 流操作过多，或者忘记关闭；
（4）数据库操作过多，事务过长;
（5）同步使用的场景错误;
（6）循环迭代耗时操作等。
二、解决方案
数据库层的调优
我们基本上会从以下几个方面出发：
（1）在 SQL 语句层面进行优化：慢 SQL 分析、索引分析和调优、事务拆分等；
（2）在数据库配置层面进行优化：比如字段设计、调整缓存大小、磁盘 I/O 等数据库参数优化、数据碎片整理等；
（3）从数据库结构层面进行优化：考虑数据库的垂直拆分和水平拆分等；
（4）选择合适的数据库引擎或者类型适应不同场景，比如考虑引入 NoSQL 等。
总结与建议
性能调优同样遵循 2-8 原则，80%的性能问题是由 20%的代码产生的，因此优化关键代码事半功倍。同时，对性能的优化要做到按需优化，过度优化可能引入更多问题。对于 Java 性能优化，不仅要理解系统架构、应用代码，同样需要关注 JVM 层甚至操作系统底层。总结起来主要可以从以下几点进行考虑：
1）基础性能的调优
这里的基础性能指的是硬件层级或者操作系统层级的升级优化，比如网络调优，操作系统版本升级，硬件设备优化等。比如 F5 的使用和 SDD 硬盘的引入，包括新版本 Linux 在 NIO 方面的升级，都可以极大的促进应用的性能提升；
2）数据库性能优化
包括常见的事务拆分，索引调优，SQL 优化，NoSQL 引入等，比如在事务拆分时引入异步化处理，最终达到一致性等做法的引入，包括在针对具体场景引入的各类 NoSQL 数据库，都可以大大缓解传统数据库在高并发下的不足；
3）应用架构优化
引入一些新的计算或者存储框架，利用新特性解决原有集群计算性能瓶颈等；或者引入分布式策略，在计算和存储进行水平化，包括提前计算预处理等，利用典型的空间换时间的做法等；都可以在一定程度上降低系统负载；
4）业务层面的优化
技术并不是提升系统性能的唯一手段，在很多出现性能问题的场景中，其实可以看到很大一部分都是因为特殊的业务场景引起的，如果能在业务上进行规避或者调整，其实往往是最有效的

欢迎与作者大伟交流互动，获取更多java职场经验，技术干货
微信公众号请关注：程序秘籍
今日头条号请关注：程序秘籍