记一次因数据库重启导致Druid连接池GetConnectionTimeoutException，active 0，无法获取连接的问题

问题描述：
当线上有任务正在运行并且需要获取数据库连接的时候，此时重启了数据库(线上是hive)，导致线上服务后续一直无法获取连接，一直报GetConnectionTimeoutException异常，从而后续跑的任务全部失败。但是如果在没有任务正在运行时重启数据库，在数据库重启之后，开始运行任务，可以正常获取连接，任务都是正常执行。
所报异常：

Caused by: com.alibaba.druid.pool.GetConnectionTimeoutException: wait millis 60000, active 0, maxActive 100, creating 0, createErrorCount 6 
at com.alibaba.druid.pool.DruidDataSource.getConnectionInternal(DruidDataSource.java:1732) 
at com.alibaba.druid.pool.DruidDataSource.getConnectionDirect(DruidDataSource.java:1404) 
at com.alibaba.druid.pool.DruidDataSource.getConnection(DruidDataSource.java:1384) 
at com.alibaba.druid.pool.DruidDataSource.getConnection(DruidDataSource.java:1374) 
at io.transwarp.backup.utils.DataSourceUtil.getHiveConn(DataSourceUtil.java:94) 
at io.transwarp.backup.utils.TableInfoUtil.getHiveConnAndSetPool(TableInfoUtil.java:583) 
at io.transwarp.TableSyncTaskV2.init(TableSyncTaskV2.java:119) 
... 13 more 
Caused by: java.sql.SQLException: java.sql.SQLException: Could not open connection to jdbc:hive2://172.26.4.22:10000/default: java.net.ConnectException: 拒绝连接 (Connection refused) 
at org.apache.hive.jdbc.HiveConnection$1.run(HiveConnection.java:296) 
Caused by: java.sql.SQLException: Could not open connection to jdbc:hive2://172.26.4.22:10000/default: java.net.ConnectException: 拒绝连接 (Connection refused) 
at org.apache.hive.jdbc.HiveConnection.openTransport(HiveConnection.java:398) 
at org.apache.hive.jdbc.HiveConnection.access$100(HiveConnection.java:60) 
at org.apache.hive.jdbc.HiveConnection$1.run(HiveConnection.java:285) 
Caused by: org.apache.thrift.transport.TTransportException: java.net.ConnectException: 拒绝连接 (Connection refused) 
at org.apache.thrift.transport.TSocket.open(TSocket.java:187) 
at org.apache.thrift.transport.TSaslTransport.open(TSaslTransport.java:266) 
at org.apache.thrift.transport.TSaslClientTransport.open(TSaslClientTransport.java:37) 
at org.apache.hive.jdbc.HiveConnection.openTransport(HiveConnection.java:395) 
... 2 more 
Caused by: java.net.ConnectException: 拒绝连接 (Connection refused) 
at java.net.PlainSocketImpl.socketConnect(Native Method) 
at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350) 
at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206) 
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188) 
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392) 
at java.net.Socket.connect(Socket.java:589) 
at org.apache.thrift.transport.TSocket.open(TSocket.java:182) 
... 5 more 

奇怪现象：可以看到active connection是0，但是就是一直无法获取数据库连接，而数据库服务因为重启后也是正常的，最终经过排查发现是因为设置了 breakAfterAcquireFailure 参数为true，如果为false，当获取不到连接的时候，Druid将会无限的打印获取不到连接的异常信息，所以当时将该参数设置为了false。当该参数为true的时候，当多次重试之后无法获取连接，DruidDataSource中的CreateConnectionThread线程就会因为 代码中的break 而跳出自己的for循环获取连接的机制而导致生命终结，通过jstack可以看到里面是没有该线程的信息的，所以该线程是已经死掉了，通过日志排查CreateConnectionThread确实是有终结前的日志信息。因为创建连接的线程已经死掉了，那后续肯定是无法创建出新的连接的。
但是我们又不能将breakAfterAcquireFailure设置为false，因为这将在无法获取连接的时候无限的错误日志产生。自认为这个是Druid连接池本身存在的不完善地方，自己所使用的连接池版本是druid-1.1.24.jar，已经是目前1.1.x中最新的版本，查看1.2.x版本这部分代码逻辑跟1.1.x基本是一致的。
目前自己的解决方案是自己写一个对连接池 CreateConnectionThread 的存活检测方法，每次获取连接的时候先去检测下该线程的状态，如果该线程已经死掉，则直接close连接池，然后重新创建，算是一种hack的方式，但至少能work解决线上的问题。

CreateConnectionThread 的存活检测机制：

  public static boolean checkDataSourceFailContinuousStatus(DruidDataSource dataSource) {
    if (!dataSource.isBreakAfterAcquireFailure()) {
      log.info("this data source does not open `BreakAfterAcquireFailure`");
      return false;
    }
    boolean failContinuous = dataSource.isFailContinuous(); // fail over retry attempts
    boolean createConnectionThreadIsAlive = true;
    try {
      CreateConnectionThread createConnectionThread = getCreateConnectionThread(dataSource);
      createConnectionThreadIsAlive = createConnectionThread.isAlive();
    } catch (Exception e) {
      log.error("Get dataSource: " + dataSource + "'s createConnectionThread fails.");
    }
    return failContinuous && !createConnectionThreadIsAlive;
  }

  public static CreateConnectionThread getCreateConnectionThread(DruidDataSource dataSource)
      throws NoSuchFieldException, IllegalAccessException {
    Field createConnectionThread = dataSource.getClass().getDeclaredField("createConnectionThread");
    createConnectionThread.setAccessible(true);
    CreateConnectionThread createConnectionThreadInstance = (CreateConnectionThread) createConnectionThread
        .get(dataSource);
    log.info("Get dataSource: {}'s createConnectionThread: {}", dataSource,
        createConnectionThreadInstance);
    return createConnectionThreadInstance;
  }

之前遇到该问题也是一头雾水，参考以下文章博客内容找到问题所在：

image.png

可能自己并没有深入研究该问题是否可以通过其他参数设置来解决，欢迎有好的解决方式的朋友指正。

参考博客地址：
https://github.com/alibaba/druid/issues/2130
https://www.jianshu.com/p/33ec6897218a