环架构境:

  前端haproxy做为反向代理,后端N+1台tomcat+java服务


出现问题:

  环境是新搭建的,本周在做压测刚开始的时候正常,随着量的上涨,导致CPU一直暴涨。


解决办法和思路:


  1.)先通过top命令查看占用cpu高的PID

  # 根据top命令查看发现PID为2195和975的的进程占用CPU高达%200+,明显出现故障

tomcat7+java压测过程中占用CPU过高排查故障和解决办法_第1张图片


  2.)通过top -H -p pid命令查看,发现2275 3302 3375这几个进程占用CPU时间8分钟

tomcat7+java压测过程中占用CPU过高排查故障和解决办法_第2张图片

  3.)把线程pid转换为16进制,例如:上面的pid进程为3375转换过来为d2f

  命令:printf "%x\n" 3375

  4.)使用jstack命令,输出java的堆栈信息,为了方便也可输出至文本便于查看。

  命令:jstack 2195 |grep d2f -A 30

tomcat7+java压测过程中占用CPU过高排查故障和解决办法_第3张图片


 5.)将输出的信息发给开发人员进行确认,这样就能找出有问题的代码