tomcat_jdbc配置
tomcat jdbc配置
背景
最近在导入数据时经常出现connection has been closed的异常，排除了数据库8小时问题后(将wait_timeout值设置了一个比较大的值)，然并卯，最后捣腾到时数据库连接池上,最终通过增加ResetAbandonedTimer拦截器可以使得处理长时间查询不断开
原作者博客地址:Apache Tomcat jdbc-pool
tomcat jdbc是一个高并发的数据库连接池
mysql中简单的connection pool
config.properties文件内容
connection.url=jdbc:mysql://localhost:3306/spring
connection.username=root
connection.password=111111spring-context.xml中datasource配置:
<bean id="dataSource" class="org.apache.tomcat.jdbc.pool.DataSource" destroy-method="close">
<property name="driverClassName" value="com.mysql.jdbc.Driver"/>
<property name="url" value="${connection.url}"/>
<property name="username" value="${connection.username}"/>
<property name="password" value="${connection.password}"/>
bean>设置connection pool大小
<bean id="dataSource" class="org.apache.tomcat.jdbc.pool.DataSource" destroy-method="close">
<property name="driverClassName" value="com.mysql.jdbc.Driver"/>
<property name="url" value="${connection.url}"/>
<property name="username" value="${connection.username}"/>
<property name="password" value="${connection.password}"/>
<property name="initialSize" value="10"/>
<property name="maxActive" value="100"/>
<property name="maxIdle" value="30"/>
<property name="minIdle" value="5"/>
bean>initialSize=10: 当连接池被创建的时候,会初始化10个连接maxActive=100: 能与数据库建立的最大连接数，这个属性限制了连接池可以打开的连接数，可以在数据库端控制连接数量minIdle=5: 当连接池达到这个数量的时候可以建立最小的连接数。如果使用了maxAge属性，并且建立的时间太长，连接将会关闭，池子里的连接数量会减少到一个更少的数量
maxIdle这个属性就比较有趣了，它依赖于pool sweeper是否示开启。这个pool sweeper是运行在后台的一个线程，用来检测空闲连接和调整连接池大小，也用来负责检测连接泄露(connection leak detection),这个pool sweeper被定义成:
public boolean isPoolSweeperEnabled() {
boolean timer = getTimeBetweenEvictionRunsMillis()>0;
boolean result = timer && (isRemoveAbandoned() && getRemoveAbandonedTimeout()>0);
result = result || (timer && getSuspectTimeout()>0);
result = result || (timer && isTestWhileIdle() && getValidationQuery()!=null);
return result;
}pool sweeper每隔timeBetweenEvictionRunsMillis(毫秒级)时间执行一次，maxIdle被定义如下：
Pool sweeper disabled,如果空闲池大于maxidle,在返回到连接池里的时候这个连接会被关闭Pool sweeper enabled, 空闲连接的数量可以超过maxidle,但如果连接闲置的时间超过了minevictableidletimemillis(毫秒级)，则可以缩小到minIdle
从isPoolSweeperEnabled的算法来看，当满足以下条件时pool sweeper会被启动:
timeBetweenEvictionRunsMillis>0ANDremoveAbandoned=trueANDremoveAbandonedTimeout>0timeBetweenEvictionRunsMillis>0ANDsuspectTimeout>0timeBetweenEvictionRunsMillis>0ANDtestWhileIdle=trueANDvalidationQuery!=nulltimeBetweenEvictionRunsMillis>0ANDminEvictableIdleTimeMillis>0
<bean id="dataSource" class="org.apache.tomcat.jdbc.pool.DataSource" destroy-method="close">
<property name="driverClassName" value="com.mysql.jdbc.Driver"/>
<property name="url" value="${connection.url}"/>
<property name="username" value="${connection.username}"/>
<property name="password" value="${connection.password}"/>
<property name="maxWait" value="5000"/>
<property name="removeAbandoned" value="true"/>
<property name="removeAbandonedTimeout" value="30"/>
<property name="initialSize" value="10"/>
<property name="maxActive" value="100"/>
<property name="maxIdle" value="30"/>
<property name="minIdle" value="5"/>
<property name="timeBetweenEvictionRunsMillis" value="10000"/>
<property name="minEvictableIdleTimeMillis" value="60000"/>
bean>验证查询(Validation Queries)
验证查询提出了一些挑战：
1.如果经常被调用，会降低系统的性能
2.如果调用得太远，可能会导致过时的连接
3.如果应用程序使用autocommit = false调用settransactionisolation，那么如果应用程序试图再次调用settransactionisolation，它可以产生sqlexception，因为验证查询可能已经在db中启动了新的事务。
<bean id="dataSource" class="org.apache.tomcat.jdbc.pool.DataSource" destroy-method="close">
<property name="driverClassName" value="com.mysql.jdbc.Driver"/>
<property name="url" value="${connection.url}"/>
<property name="username" value="${connection.username}"/>
<property name="password" value="${connection.password}"/>
<property name="maxWait" value="5000"/>
<property name="testOnBorrow" value="true"/>
<property name="testOnReturn" value="false"/>
<property name="testWhileIdle" value="false"/>
<property name="removeAbandoned" value="true"/>
<property name="removeAbandonedTimeout" value="30"/>
<property name="validationQuery" value="select 1"/>
<property name="validationQueryTimeout" value="3"/>
<property name="validationInterval" value="60000"/>
<property name="initialSize" value="10"/>
<property name="maxActive" value="100"/>
<property name="maxIdle" value="30"/>
<property name="minIdle" value="5"/>
<property name="timeBetweenEvictionRunsMillis" value="10000"/>
<property name="minEvictableIdleTimeMillis" value="60000"/>
bean>使用这个配置，java代码每次调用Connection con = dataSource.getConnection()都会执行select 1查询语句，但设置了validationInterval属性后，将会每隔60秒执行一次，然testWhileIdle和testOnReturn这两个属性并不是那么有用
连接池泄漏和长时间运行的查询
连接池还包含一些诊断信息，jdbc-pool和commons dbcp都能够检测并减轻未返回到池的连接
以下五种配置是用来检测连接泄露:
<bean id="dataSource" class="org.apache.tomcat.jdbc.pool.DataSource" destroy-method="close">
<property name="driverClassName" value="com.mysql.jdbc.Driver"/>
<property name="url" value="${connection.url}"/>
<property name="username" value="${connection.username}"/>
<property name="password" value="${connection.password}"/>
<property name="removeAbandoned" value="true"/>
<property name="removeAbandonedTimeout" value="30"/>
<property name="logAbandoned" value="true"/>
<property name="maxActive" value="100"/>
<property name="timeBetweenEvictionRunsMillis" value="30000"/>
bean>removeAbandoned:如果我们想检测泄露的连接，则设置为trueremoveAbandonedTimeout: 从datasource.getconnection被调用到我们认为被放弃时的秒数logAbandoned: 如果我们应该记录连接被放弃，则设置为true。如果此选项设置为true，则会在datasource.getconnection调用期间记录堆栈跟踪，并在未返回连接时打印
但不能解决一个连接超过数分钟的批处理任务。。我们增加这个属性:
<bean id="dataSource" class="org.apache.tomcat.jdbc.pool.DataSource" destroy-method="close">
<property name="driverClassName" value="com.mysql.jdbc.Driver"/>
<property name="url" value="${connection.url}"/>
<property name="username" value="${connection.username}"/>
<property name="password" value="${connection.password}"/>
<property name="removeAbandoned" value="true"/>
<property name="removeAbandonedTimeout" value="30"/>
<property name="logAbandoned" value="true"/>
<property name="abandonWhenPercentageFull" value="50"/>
<property name="maxActive" value="100"/>
<property name="timeBetweenEvictionRunsMillis" value="30000"/>
bean>abandonWhenPercentageFull:连接必须满足阈值removeabandonedtimeout，并且打开的连接数量必须超过此值的百分比。将值设置为100将意味着连接不会被视为放弃，除非我们达到了我们的最大限制，但它没有使用单个连接解决我们的5分钟批处理作业，但可以通过插入一个拦截器来做到这一点
<bean id="dataSource" class="org.apache.tomcat.jdbc.pool.DataSource" destroy-method="close">
<property name="driverClassName" value="com.mysql.jdbc.Driver"/>
<property name="url" value="${connection.url}"/>
<property name="username" value="${connection.username}"/>
<property name="password" value="${connection.password}"/>
<property name="removeAbandoned" value="true"/>
<property name="removeAbandonedTimeout" value="30"/>
<property name="logAbandoned" value="true"/>
<property name="abandonWhenPercentageFull" value="50"/>
<property name="maxActive" value="100"/>
<property name="timeBetweenEvictionRunsMillis" value="30000"/>
<property name="jdbcInterceptors" value="org.apache.tomcat.jdbc.pool.interceptor.ConnectionState;
org.apache.tomcat.jdbc.pool.interceptor.StatementFinalizer;
org.apache.tomcat.jdbc.pool.interceptor.ResetAbandonedTimer"/>
bean>但你不想杀死或回收连接，因为你不知道会对系统产生什么影响,可以通过设置suspectTimeout属性
<bean id="dataSource" class="org.apache.tomcat.jdbc.pool.DataSource" destroy-method="close">
<property name="driverClassName" value="com.mysql.jdbc.Driver"/>
<property name="url" value="${connection.url}"/>
<property name="username" value="${connection.username}"/>
<property name="password" value="${connection.password}"/>
<property name="logAbandoned" value="true"/>
<property name="suspectTimeout" value="60"/>
<property name="maxActive" value="100"/>
<property name="timeBetweenEvictionRunsMillis" value="30000"/>
<property name="jdbcInterceptors" value="org.apache.tomcat.jdbc.pool.interceptor.ConnectionState;
org.apache.tomcat.jdbc.pool.interceptor.StatementFinalizer;
org.apache.tomcat.jdbc.pool.interceptor.ResetAbandonedTimer"/>
bean>suspectTimeout属性和removeAbandonedTimeout属性表达意思一样，除了不关闭连接，它只是记录一条警告并发布一条包含该信息的jmx通知。
通过这种方式，您可以在不改变系统行为的情况下了解这些泄漏或长时间运行的查询。