Java线上应用故障排查之一:高CPU占用(转)

近期java应用,CPU使用率一直很高,经常达到100%,通过以下步骤完美解决,分享一下。

方法一:

转载:http://www.linuxhot.com/java-cpu-used-high.html

1.jps 获取Java进程的PID。

2.jstack pid >> java.txt 导出CPU占用高进程的线程栈。

3.top -H -p PID 查看对应进程的哪个线程占用CPU过高。

4.echo “obase=16; PID” | bc 将线程的PID转换为16进制,大写转换为小写。

5.在第二步导出的Java.txt中查找转换成为16进制的线程PID。找到对应的线程栈。

6.分析负载高的线程栈都是什么业务操作。优化程序并处理问题。

 

方法二:

1.使用top 定位到占用CPU高的进程PID

top 

通过ps aux | grep PID命令

2.获取线程信息,并找到占用CPU高的线程

ps -mp pid -o THREAD,tid,time | sort -rn | head -n10 

3.将需要的线程ID转换为16进制格式

printf "%x\n" tid

4.打印线程的堆栈信息

jstack pid |grep tid -A 30

 

方法三:

1. 获取要查看的进程的ID 

ps aux | grep xxx

2. 查看此进程下的线程信息

  • top -H -p
  • top -p      按shift+h
  • top -Hp        

3. 查看栈信息

jstack > stack

  • sudo -u tomcat $JAVA_HOME/bin/jstack > stack.log
  • sudo vim-->sh-->获取root权限-->su - tomcat--> $JAVA_HOME/bin/jstack

4. 简单分析

  • 线程ID为十进制-->十六进制:printf "%x\n" xxx
  • 观察占用cpu高的线程ID

        1>>若此线程ID固定不变

        2>>占cpu高的线程不断变化,多观察,统计 

        3>>cat stack | grep 'java.lang.Thread.State' | awk '{print $2$3$4$5}' | sort | uniq -c

            562 RUNNABLE

              5 TIMED_WAITING(onobjectmonitor)

            174 TIMED_WAITING(parking)

              7 TIMED_WAITING(sleeping)

              3 WAITING(onobjectmonitor)

            330 WAITING(parking)

  • 线程的state

        1>>RUNNABLE: 线程正在执行中,占用了资源,比如处理某个请求/进行计算/文件操作等

        2>>BLOCKED/Waiting to lock(需关注):

            >>>线程处于阻塞状态,等待某种资源(可理解为等待资源超时的线程);

            >>>"waiting to lock ",即等待给xxx上锁,grep stack文件找locked 查找获得锁的线程;

            >>>"waiting for monitor entry" 线程通过synchronized(obj){……}申请进入了临界区,但该obj对应的monitor被其他线程拥有,从而处于等待。

        3>>WAITING/TIMED_WAITING{定时}(关注):

            >>>"TIMED_WAITING (parking)":等待状态,且指定了时间,到达指定的时间后自动退出等待状态,parking指线程处于挂起中;

            >>>"waiting on condition"需与堆栈中的"parking to wait for  (atjava.util.concurrent.SynchronousQueue$TransferStack)"结合来看。first-->此线程是在等待某个条件的发生,来把自己唤醒,second-->SynchronousQueue不是一个队列,其是线程之间移交信息的机制,当我们把一个元素放入到 SynchronousQueue 中时必须有另一个线程正在等待接受移交的任务,因此这就是本线程在等待的条件。

        4>>Deadlock(需关注):死锁,资源相互占用。

5. other      

  • 线程状态为“waiting for monitor entry”

        意味着它 在等待进入一个临界区 ,所以它在”Entry Set“队列中等待。

        此时线程状态一般都是 Blocked:

        java.lang.Thread.State: BLOCKED (on object monitor)

  •  线程状态为“waiting on condition”

        说明它在等待另一个条件的发生,来把自己唤醒,或者干脆它是调用了 sleep(N)。

        此时线程状态大致为以下几种:

        java.lang.Thread.State: WAITING (parking):一直等那个条件发生;

        java.lang.Thread.State: TIMED_WAITING (parking或sleeping):定时的,那个条件不到来,也将定时唤醒自己。

  •  如果大量线程在“waiting for monitor entry”

        可能是一个全局锁阻塞住了大量线程。

        如果短时间内打印的 thread dump 文件反映,随着时间流逝,waiting for monitor entry 的线程越来越多,没有减少的趋势,可能意味着某些线程在临界区里呆的时间太长了,以至于越来越多新线程迟迟无法进入临界区。

  •  如果大量线程在“waiting on condition”

        可能是它们又跑去获取第三方资源,尤其是第三方网络资源,迟迟获取不到Response,导致大量线程进入等待状态。

        所以如果你发现有大量的线程都处在 Wait on condition,从线程堆栈看,正等待网络读写,这可能是一个网络瓶颈的征兆,因为网络阻塞导致线程无法执行。

        线程状态为“in Object.wait()”:

        说明它获得了监视器之后,又调用了 java.lang.Object.wait() 方法。

        每个 Monitor在某个时刻,只能被一个线程拥有,该线程就是 “Active Thread”,而其它线程都是 “Waiting Thread”,分别在两个队列 “ Entry Set”和 “Wait Set”里面等候。在 “Entry Set”中等待的线程状态是 “Waiting for monitor entry”,而在 “Wait Set”中等待的线程状态是 “in Object.wait()”。

        当线程获得了 Monitor,如果发现线程继续运行的条件没有满足,它则调用对象(一般就是被 synchronized 的对象)的 wait() 方法,放弃了 Monitor,进入 “Wait Set”队列。

        此时线程状态大致为以下几种:

        java.lang.Thread.State: TIMED_WAITING (on object monitor);

        java.lang.Thread.State: WAITING (on object monitor);

        一般都是RMI相关线程(RMI RenewClean、 GC Daemon、RMI Reaper),GC线程(Finalizer),引用对象垃圾回收线程(Reference Handler)等系统线程处于这种状态。

 

最后,总结下排查CPU故障的方法和技巧有哪些:

1、top命令:Linux命令。可以查看实时的CPU使用情况。也可以查看最近一段时间的CPU使用情况。

2、PS命令:Linux命令。强大的进程状态监控命令。可以查看进程以及进程中线程的当前CPU使用情况。属于当前状态的采样数据。

3、jstack:Java提供的命令。可以查看某个进程的当前线程栈运行情况。根据这个命令的输出可以定位某个进程的所有线程的当前运行状态、运行代码,以及是否死锁等等。

4、pstack:Linux命令。可以查看某个进程的当前线程栈运行情况。

近期java应用,CPU使用率一直很高,经常达到100%+,日志中发现OOM,但是定位不到问题的原因,找到了上面的办法最终解决可问题,尝试过第一种和第二种方法,最后生产出问题的时候还是用的第二种方法找到问题了,没有用输出文件的方式是不想继续增加服务器的压力,后来又看见第三种方法,个人觉着这三种方法的原理都差不多,留作以后查问题的备用吧

 

转自

https://www.cnblogs.com/zyhxhx/p/4564953.html

https://www.cnblogs.com/zyhxhx/p/4564953.html

你可能感兴趣的:(java,高CPU占用)