记一次jstack 查死锁

某次测试环境中Q9启动成功后客户端无法使用。

Java虚拟机死锁发生时，从操作系统上观察，虚拟机的CPU占用率近乎为零，很快会从top或prstat的输出中消失。

正常观察到打印出日志

2016-01-19 13:13:20,471 INFO WorkerThread#0[AbstractMqListenerFactory] init containers in expressJmsFactory

此处停留时间较长，怀疑出现死锁。

使用

jstack {pid} >jboss.log

获得日志如下

"jmsScanAll6Container-expressJmsFactory-1"prio=10tid=0x00007f424aba2800nid=0x4489waitingformonitor entry [0x00007f421b877000]    java.lang.Thread.State: BLOCKED (on object monitor)     at org.springframework.jms.listener.AbstractJmsListeningContainer.getSharedConnection(AbstractJmsListeningContainer.java:484)     - waiting to lock <0x0000000795d6a508> (a java.lang.Object)     at org.springframework.jms.listener.DefaultMessageListenerContainer$AsyncMessageListenerInvoker.initResourcesIfNecessary(DefaultMessageListenerContainer.java:1121)     at org.springframework.jms.listener.DefaultMessageListenerContainer$AsyncMessageListenerInvoker.invokeListener(DefaultMessageListenerContainer.java:1100)     at org.springframework.jms.listener.DefaultMessageListenerContainer$AsyncMessageListenerInvoker.executeOngoingLoop(DefaultMessageListenerContainer.java:1093)     at org.springframework.jms.listener.DefaultMessageListenerContainer$AsyncMessageListenerInvoker.run(DefaultMessageListenerContainer.java:990)     at java.lang.Thread.run(Thread.java:744) "WorkerThread#0[10.45.10.58:44736]"prio=10tid=0x00007f4240160800nid=0x43cewaitingformonitor entry [0x00007f4231fdc000]    java.lang.Thread.State: BLOCKED (on object monitor)     at java.lang.Object.wait(Native Method)     - waiting on <0x0000000795d648b0> (a java.lang.Object)     at org.apache.activemq.transport.failover.FailoverTransport.oneway(FailoverTransport.java:516)     - locked <0x0000000795d648b0> (a java.lang.Object)     at org.apache.activemq.transport.MutexTransport.oneway(MutexTransport.java:40)     - locked <0x0000000795d65448> (a java.lang.Object)     at org.apache.activemq.transport.ResponseCorrelator.asyncRequest(ResponseCorrelator.java:81)     at org.apache.activemq.transport.ResponseCorrelator.request(ResponseCorrelator.java:86)     at org.apache.activemq.ActiveMQConnection.syncSendPacket(ActiveMQConnection.java:1284)     at org.apache.activemq.ActiveMQConnection.ensureConnectionInfoSent(ActiveMQConnection.java:1392)     - locked <0x0000000795d69e58> (a java.lang.Object)     at org.apache.activemq.ActiveMQConnection.start(ActiveMQConnection.java:504)     at org.springframework.jms.listener.AbstractJmsListeningContainer.startSharedConnection(AbstractJmsListeningContainer.java:442)     - locked <0x0000000795d6a508> (a java.lang.Object)     at org.springframework.jms.listener.DefaultMessageListenerContainer.startSharedConnection(DefaultMessageListenerContainer.java:784)     at org.springframework.jms.listener.AbstractJmsListeningContainer.doStart(AbstractJmsListeningContainer.java:292)     at org.springframework.jms.listener.AbstractJmsListeningContainer.start(AbstractJmsListeningContainer.java:265)     at org.springframework.jms.listener.DefaultMessageListenerContainer.start(DefaultMessageListenerContainer.java:566)     at com.best.oasis.express.biz.mq.helper.AbstractMqListenerFactory.startAllContainer(AbstractMqListenerFactory.java:125)     at com.best.oasis.express.biz.mq.helper.AbstractMqListenerFactory.start(AbstractMqListenerFactory.java:102)     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)     at java.lang.reflect.Method.invoke(Method.java:606)     at org.springframework.beans.factory.annotation.InitDestroyAnnotationBeanPostProcessor$LifecycleElement.invoke(InitDestroyAnnotationBeanPostProcessor.java:344)     at org.springframework.beans.factory.annotation.InitDestroyAnnotationBeanPostProcessor$LifecycleMetadata.invokeInitMethods(InitDestroyAnnotationBeanPostProcessor.java:295)     at org.springframework.beans.factory.annotation.InitDestroyAnnotationBeanPostProcessor.postProcessBeforeInitialization(InitDestroyAnnotationBeanPostProcessor.java:130)     at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.applyBeanPostProcessorsBeforeInitialization(AbstractAutowireCapableBeanFactory.java:396)     at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.initializeBean(AbstractAutowireCapableBeanFactory.java:1505)     at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.doCreateBean(AbstractAutowireCapableBeanFactory.java:521)     at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.createBean(AbstractAutowireCapableBeanFactory.java:458)     at org.springframework.beans.factory.support.AbstractBeanFactory$1.getObject(AbstractBeanFactory.java:296)     at org.springframework.beans.factory.support.DefaultSingletonBeanRegistry.getSingleton(DefaultSingletonBeanRegistry.java:223)     - locked <0x0000000786e03638> (a java.util.concurrent.ConcurrentHashMap)     at org.springframework.beans.factory.support.AbstractBeanFactory.doGetBean(AbstractBeanFactory.java:293)     at org.springframework.beans.factory.support.AbstractBeanFactory.getBean(AbstractBeanFactory.java:194)     at org.springframework.beans.factory.support.DefaultListableBeanFactory.preInstantiateSingletons(DefaultListableBeanFactory.java:628)     at org.springframework.context.support.AbstractApplicationContext.finishBeanFactoryInitialization(AbstractApplicationContext.java:932)     at org.springframework.context.support.AbstractApplicationContext.refresh(AbstractApplicationContext.java:479)     - locked <0x0000000787323e28> (a java.lang.Object)     at org.springframework.context.support.ClassPathXmlApplicationContext.<init>(ClassPathXmlApplicationContext.java:139)     at org.springframework.context.support.ClassPathXmlApplicationContext.<init>(ClassPathXmlApplicationContext.java:105)     at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)     at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)     at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)     at java.lang.reflect.Constructor.newInstance(Constructor.java:526)     at org.springframework.beans.BeanUtils.instantiateClass(BeanUtils.java:148)     at org.springframework.beans.factory.support.SimpleInstantiationStrategy.instantiate(SimpleInstantiationStrategy.java:121)     at org.springframework.beans.factory.support.ConstructorResolver.autowireConstructor(ConstructorResolver.java:277)     at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.autowireConstructor(AbstractAutowireCapableBeanFactory.java:1075)     at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.createBeanInstance(AbstractAutowireCapableBeanFactory.java:979)     at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.doCreateBean(AbstractAutowireCapableBeanFactory.java:487)     at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.createBean(AbstractAutowireCapableBeanFactory.java:458)     at org.springframework.beans.factory.support.AbstractBeanFactory$1.getObject(AbstractBeanFactory.java:296)     at org.springframework.beans.factory.support.DefaultSingletonBeanRegistry.getSingleton(DefaultSingletonBeanRegistry.java:223)     - locked <0x0000000784925ff0> (a java.util.concurrent.ConcurrentHashMap)     at org.springframework.beans.factory.support.AbstractBeanFactory.doGetBean(AbstractBeanFactory.java:293)     at org.springframework.beans.factory.support.AbstractBeanFactory.getBean(AbstractBeanFactory.java:194)     at org.springframework.beans.factory.support.BeanDefinitionValueResolver.resolveReference(BeanDefinitionValueResolver.java:320)     at org.springframework.beans.factory.support.BeanDefinitionValueResolver.resolveValueIfNecessary(BeanDefinitionValueResolver.java:107)     at org.springframework.beans.factory.support.ConstructorResolver.resolveConstructorArguments(ConstructorResolver.java:645)     at org.springframework.beans.factory.support.ConstructorResolver.autowireConstructor(ConstructorResolver.java:145)     at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.autowireConstructor(AbstractAutowireCapableBeanFactory.java:1075)     at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.createBeanInstance(AbstractAutowireCapableBeanFactory.java:979)     at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.doCreateBean(AbstractAutowireCapableBeanFactory.java:487)     at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.createBean(AbstractAutowireCapableBeanFactory.java:458)     at org.springframework.beans.factory.support.AbstractBeanFactory$1.getObject(AbstractBeanFactory.java:296)     at org.springframework.beans.factory.support.DefaultSingletonBeanRegistry.getSingleton(DefaultSingletonBeanRegistry.java:223)     - locked <0x0000000784925ff0> (a java.util.concurrent.ConcurrentHashMap)     at org.springframework.beans.factory.support.AbstractBeanFactory.doGetBean(AbstractBeanFactory.java:293)     at org.springframework.beans.factory.support.AbstractBeanFactory.getBean(AbstractBeanFactory.java:198)     at org.springframework.context.support.AbstractApplicationContext.getBean(AbstractApplicationContext.java:1121)     at org.springframework.beans.factory.access.SingletonBeanFactoryLocator.useBeanFactory(SingletonBeanFactoryLocator.java:394)     - locked <0x0000000784ae3050> (a java.util.HashMap)     at org.springframework.ejb.interceptor.SpringBeanAutowiringInterceptor.getBeanFactoryReference(SpringBeanAutowiringInterceptor.java:160)     at org.springframework.ejb.interceptor.SpringBeanAutowiringInterceptor.getBeanFactory(SpringBeanAutowiringInterceptor.java:141)     at org.springframework.ejb.interceptor.SpringBeanAutowiringInterceptor.doAutowireBean(SpringBeanAutowiringInterceptor.java:121)     at org.springframework.ejb.interceptor.SpringBeanAutowiringInterceptor.autowireBean(SpringBeanAutowiringInterceptor.java:95)     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)     at java.lang.reflect.Method.invoke(Method.java:606)     at org.jboss.ejb3.interceptor.LifecycleInvocationContextImpl.proceed(LifecycleInvocationContextImpl.java:131)     at org.jboss.ejb3.interceptor.LifecycleInterceptorHandler.postConstruct(LifecycleInterceptorHandler.java:109)     at org.jboss.ejb3.EJBContainer.invokePostConstruct(EJBContainer.java:619)     at org.jboss.ejb3.AbstractPool.create(AbstractPool.java:131)     at org.jboss.ejb3.InfinitePool.get(InfinitePool.java:49)     at org.jboss.ejb3.ThreadlocalPool.create(ThreadlocalPool.java:50)     at org.jboss.ejb3.ThreadlocalPool.get(ThreadlocalPool.java:90)     - locked <0x0000000784d70518> (a org.jboss.ejb3.InfinitePool)     at org.jboss.ejb3.stateless.StatelessInstanceInterceptor.invoke(StatelessInstanceInterceptor.java:54)     at org.jboss.aop.joinpoint.MethodInvocation.invokeNext(MethodInvocation.java:101)     at org.jboss.aspects.security.AuthenticationInterceptor.invoke(AuthenticationInterceptor.java:77)     at org.jboss.ejb3.security.Ejb3AuthenticationInterceptor.invoke(Ejb3AuthenticationInterceptor.java:106)     at org.jboss.aop.joinpoint.MethodInvocation.invokeNext(MethodInvocation.java:101)     at org.jboss.ejb3.ENCPropagationInterceptor.invoke(ENCPropagationInterceptor.java:46)     at org.jboss.aop.joinpoint.MethodInvocation.invokeNext(MethodInvocation.java:101)     at org.jboss.ejb3.asynchronous.AsynchronousInterceptor.invoke(AsynchronousInterceptor.java:106)     at org.jboss.aop.joinpoint.MethodInvocation.invokeNext(MethodInvocation.java:101)     at org.jboss.ejb3.stateless.StatelessContainer.dynamicInvoke(StatelessContainer.java:278)     at org.jboss.aop.Dispatcher.invoke(Dispatcher.java:106)     at org.jboss.aspects.remoting.AOPRemotingInvocationHandler.invoke(AOPRemotingInvocationHandler.java:82)     at org.jboss.remoting.ServerInvoker.invoke(ServerInvoker.java:795)     at org.jboss.remoting.transport.socket.ServerThread.processInvocation(ServerThread.java:573)     at org.jboss.remoting.transport.socket.ServerThread.dorun(ServerThread.java:373)     at org.jboss.remoting.transport.socket.ServerThread.run(ServerThread.java:166)

dump 文件里，值得关注的线程状态有：

1. 死锁，Deadlock（重点关注） 
2. 执行中，Runnable   
3. 等待资源，Waiting on condition（重点关注） 
4. 等待获取监视器，Waiting on monitor entry（重点关注）
5. 暂停，Suspended
6. 对象等待中，Object.wait() 或 TIMED_WAITING
7. 阻塞，Blocked（重点关注）  
8. 停止，Parked

为了确定问题，常常需要在隔两分钟后再次收集一次thread dump，如果得到的输出相同，仍然是大量thread都在等待给同一个地址上锁，那么基本肯定是死锁了。

 

线程的状态分析

1.1 Runnable 
该状态表示线程具备所有运行条件，在运行队列中准备操作系统的调度，或者正在运行。

1.2 Wait on condition 
       该状态出现在线程等待某个条件的发生。具体是什么原因，可以结合 stacktrace来分析。最常见的情况是线程在等待网络的读写，比如当网络数据没有准备好读时，线程处于这种等待状态，而一旦有数据准备好读之后，线程会重新激活，读取并处理数据。在 Java引入 NewIO之前，对于每个网络连接，都有一个对应的线程来处理网络的读写操作，即使没有可读写的数据，线程仍然阻塞在读写操作上，这样有可能造成资源浪费，而且给操作系统的线程调度也带来压力。在 NewIO里采用了新的机制，编写的服务器程序的性能和可扩展性都得到提高。
        如果发现有大量的线程都在处在 Wait on condition，从线程 stack看， 正等待网络读写，这可能是一个网络瓶颈的征兆。因为网络阻塞导致线程无法执行。一种情况是网络非常忙，几 乎消耗了所有的带宽，仍然有大量数据等待网络读 写；另一种情况也可能是网络空闲，但由于路由等问题，导致包无法正常的到达。所以要结合系统的一些性能观察工具来综合分析，比如 netstat统计单位时间的发送包的数目，如果很明显超过了所在网络带宽的限制 ; 观察 cpu的利用率，如果系统态的 CPU时间，相对于用户态的 CPU时间比例较高；如果程序运行在 Solaris 10平台上，可以用 dtrace工具看系统调用的情况，如果观察到 read/write的系统调用的次数或者运行时间遥遥领先；这些都指向由于网络带宽所限导致的网络瓶颈。另外一种出现 Wait on condition的常见情况是该线程在 sleep，等待 sleep的时间到了时候，将被唤醒。

1.3 Waiting for monitor entry 和 in Object.wait() 
         在多线程的 JAVA程序中，实现线程之间的同步，就要说说 Monitor。 Monitor是 Java中用以实现线程之间的互斥与协作的主要手段，它可以看成是对象或者 Class的锁。每一个对象都有，也仅有一个 monitor。每个 Monitor在某个时刻，只能被一个线程拥有，该线程就是 “Active Thread”，而其它线程都是 “Waiting Thread”，分别在两个队列 “ Entry Set”和 “Wait Set”里面等候。在 “Entry Set”中等待的线程状态是 “Waiting for monitor entry”，而在 “Wait Set”中等待的线程状态是 “in Object.wait()”。
        先看 “Entry Set”里面的线程。我们称被 synchronized保护起来的代码段为临界区。当一个线程申请进入临界区时，它就进入了 “Entry Set”队列。对应的 code就像：
synchronized(obj) {
.........

}

这时有两种可能性：
     该 monitor不被其它线程拥有， Entry Set里面也没有其它等待线程。本线程即成为相应类或者对象的 Monitor的 Owner，执行临界区的代码
     该 monitor被其它线程拥有，本线程在 Entry Set队列中等待。 

 

在第一种情况下，线程将处于 “Runnable”的状态，而第二种情况下，线程 DUMP会显示处于 “waiting for monitor entry”。

 

   临界区的设置，是为了保证其内部的代码执行的原子性和完整性。但是因为临界区在任何时间只允许线程串行通过，这 和我们多线程的程序的初衷是相反的。 如果在多线程的程序中，大量使用 synchronized，或者不适当的使用了它，会造成大量线程在临界区的入口等待，造成系统的性能大幅下降。如果在线程 DUMP中发现了这个情况，应该审查源码，改进程序。
        现在我们再来看现在线程为什么会进入 “Wait Set”。当线程获得了 Monitor，进入了临界区之后，如果发现线程继续运行的条件没有满足，它则调用对象（一般就是被 synchronized 的对象）的 wait() 方法，放弃了 Monitor，进入 “Wait Set”队列。只有当别的线程在该对象上调用了 notify() 或者 notifyAll() ， “ Wait Set”队列中线程才得到机会去竞争，但是只有一个线程获得对象的 Monitor，恢复到运行态。在 “Wait Set”中的线程， DUMP中表现为： in Object.wait()，

在多次执行jstack后发现

jmsScanAll6Container线程一直wait to lock 0x0000000795d6a508

而0x0000000795d6a508又被WorkerThread#0持有

根据代码

478 479 480 481 482 483 484 485 486 487 488 489 490

protectedfinalConnection getSharedConnection() {    if(!sharedConnectionEnabled()) {       thrownewIllegalStateException(             "This listener container does not maintain a shared Connection");    }    synchronized(this.sharedConnectionMonitor) {       if(this.sharedConnection ==null) {          thrownewSharedConnectionNotInitializedException(                "This listener container's shared Connection has not been initialized yet");       }       returnthis.sharedConnection;    } }

437 438 439 440 441 442 443 444 445 446 447 448 449

protectedvoidstartSharedConnection()throwsJMSException {    synchronized(this.sharedConnectionMonitor) {       this.sharedConnectionStarted =true;       if(this.sharedConnection !=null) {          try{             this.sharedConnection.start();          }          catch(javax.jms.IllegalStateException ex) {             logger.debug("Ignoring Connection start exception - assuming already started: "+ ex);          }       }    } }

 初步判断是由于queue连接不上（由于我们使用failover会重试）

在对应activemq页面查看连接均正常（包含q9所在主机部分连接）====》此处误导

 

在queue服务器重启activemq发现产生大量类似错误

java.lang.RuntimeException: java.io.IOException: Invalid location: 43153:28, : java.lang.NegativeArraySizeException

貌似activemq本身无法正常启动了，由于测试环境数据基本由于loadrunner跑出数据，直接将data目录下kahadb相关删除，重新启动即可。

可能和activemq的checksumJournalFiles参数相关，暂未尝试恢复kahadb相关数据。

重新执行后一切正常。