java线上问题排查总结

Linux命令类

tail

tail -999f fixed-center.log  #倒数999行并进入实时监听文件写入模式

grep

grep forest f.txt    #文件查找

grep forest f.txt cpf.txt #多文件查找

grep 'log' /home/admin -r -n #目录下查找所有符合关键字的文件

cat f.txt | grep -i shopbase  #匹配的行

grep 'shopbase' /home/admin -r -n --include *.{vm,java} #指定文件后缀

grep 'shopbase' /home/admin -r -n --exclude *.{vm,java} #反匹配

seq 10 | grep 5 -A 3    #上匹配

seq 10 | grep 5 -B 3    #下匹配

seq 10 | grep 5 -C 3    #上下匹配，平时用这个就妥了

cat f.txt | grep -c ‘SHOPBASE’ #匹配计数

find

sudo -u admin find /home/admin /tmp /usr -name \*.log #多个目录去找

find . -iname \*.txt #大小写都匹配

find . -type d #当前目录下的所有子目录

find /usr -type l #当前目录下所有的符号链接

find /usr -type l -name "z*" -ls #符号链接的详细信息 eg:inode,目录

find /home/admin -size +250000k #超过250000k的文件，当然+改成-就是小于了

find /home/admin f -perm 777 -exec ls -l {} \;  #按照权限查询文件

find /home/admin -atime -1  #1天内访问过的文件

find /home/admin -ctime -1  #1天内状态改变过的文件   

find /home/admin -mtime -1  #1天内修改过的文件

find /home/admin -amin -1  #1分钟内访问过的文件

find /home/admin -cmin -1  #1分钟内状态改变过的文件   

find /home/admin -mmin -1  #1分钟内修改过的文件

top

ps -ef | grep java

top -H -p pid  #获得线程10进制转16进制

netstat

netstat -nat|awk  '{print $6}'|sort|uniq -c|sort -rn #查看当前连接，注意close_wait偏高的情况

btrace & greys

sc -df xxx #输出当前类的详情,包括源码位置和classloader结构

trace class method  #打印出当前方法调用的耗时情况

系统异常排查流程

常见的系统异常现象包括: CPU 占用率过高、CPU上下文切换频率次数较高、磁盘满了、磁盘 I/O 过于频繁、网络流量异常（连接数过多）、系统可用内存长期处于较低值（导致 oom killer）等等。

image

业务应用排查流程

常见的业务服务异常现象包括:

PV量过高、服务调用耗时异常、线程死锁、多线程并发问题、频繁进行 Full GC、异常安全攻击扫描等。

image

GC的JVM参数

-XX:+PrintGCDetails -XX:+PrintGCDateStamps`

-Xloggc:/usr/local/gc/gc.log -XX:+UseConcMarkSweepGC

GC日志分析：MAT、 http://gceasy.io/