resin不断重启分析

阅读更多

线上resin服务跑一段时间就会抛出以下这个异常，导致服务不断重启，用的是spring+ibatis+mysql

这个问题如何解决？

数据库连接池配置：

destroy-method="close">

 

Caused by: java.lang.IllegalStateException: Pool closed

        at org.apache.commons.pool.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:1132)

        at org.apache.commons.dbcp.PoolingDataSource.getConnection(PoolingDataSource.java:115)

        at org.apache.commons.dbcp.BasicDataSource.getConnection(BasicDataSource.java:430)

        at org.springframework.jdbc.datasource.DataSourceTransactionManager.doBegin(DataSourceTransactionManager.java:202)

        ... 50 more

 

org.springframework.transaction.CannotCreateTransactionException: Could not open JDBC Connection for transaction; nested exception is java.lang.IllegalStateException: Pool closed

 

异常追加：java.lang.outOfMemoryError:unable to create new native thread 

导致resin不断的重启

 

 

问题分析：

线上服务resin不断自动重启，出现了2次，异常如上，

第一次出现后分析可能有两种原因：

1.可能是程序里面线程池的数目设置过大

2.数据库最大链接数目设置不合理

所以根据以上2点做了相关优化，调小程序里面连接池的数目，将数据库最大链接数调大

优化完毕后，貌似起到了一定的效果。可是一个多月后这个问题再次重现，并且这次持续时间相当长，大约有半个小时。

痛定思痛，又根据异常分析，表面上看是线程数创建过多，导致内存溢出，没有足够的内存创建新的线程，网站上的表象就是访问超慢或者压根访问不了。

由于程序已经正常运行了半个月，先排除代码的问题。猜测是不是数据库方面的原因，随即联系dba找出当时异常时间点数据库方面的相关日志，发现在resin不断重启前，有几个sql执行的效率相当低下，达到了好几百秒，这完全已经不正常。由于执行相当慢，表被锁了，但大量的查询还在不断的涌入，大量sql直接被阻塞，数据库链接耗尽，无法创建新的链接。线程数目不断的增加，旧有线程占用内存又没释放，直到web容器的承受不了后，就开启了自动重启的保护机制。

 

解决方案：找出了那几个查询相当慢的sql。逐个进行分析，对sql进行优化，对于优化效果不大的，从业务层上进行解决（多次查询，降低占用数据库连接的时间）。

 

优化完毕后，重新部署运行，持续观察中。。。。。