Spring+ Dubbo的应用关闭时dataSource already closed探究

线上问题

最近我们线上的一个工程，每次在发布重启应用的时候都会报如下错误：

com.alibaba.druid.pool.DataSourceClosedException:dataSource already closed at Fri Mar 20 17:36:26 CST 2020

显然是应用在shutdown时的处理有问题，导致数据库连接在dubbo服务执行完毕前就关闭而导致的，属于优雅停机相关的问题。

---

什么是优雅停机？

在web服务（Http协议）上线的时候，会通过kill命令杀死进程,这个时候在已经accept的请求还在线程池里面，我们要保证这部分请求正常处理并且返回数据之后再停机.

dubbo服务（Tcp协议）也是同样的道理.

优雅停机包括：线程池的优雅关闭，数据库连接池的关闭，数据源的关闭，kafka连接的关闭....

---

本地再现

    @PostMapping("/test")
    @ResponseBody
    public Object test() throws InterruptedException {
        // 模拟服务执行耗时
        Thread.sleep(5000);
        return supplierMapper.selectByUuid("SEL000000625");
    }

我们发起/test请求，五秒内点击ide内的关闭按钮（向java进程发送kill命令），成功复现问题：

---

问题根源探究

java程序的优雅退出通过JVM的关闭钩子来实现，即：

Runtime.addShutDownHook

我们的服务基于SpringBoot+Dubbo+数据库连接池的，他们当然都注册了关闭钩子：

dubbo关闭钩子 com.alibaba.dubbo.container.Main#main

spring关闭钩子 org.springframework.context.support.AbstractApplicationContext#registerShutdownHook

那么问题来了，为什么框架已经对关闭做了处理的情况下，仍然会出现报错呢？我们来看jdk对addShutdownHook的一段注释：

从中我们可以看到，jvm在关闭时，是并发的，不指定顺序的执行所有关闭钩子，那么对我们的服务来说，就会出现一种情况，dubbo在进入优雅停机状态中的时候已经停止接收新的业务请求，然而已经接收的请求需要继续处理，但是有可能此时Spring的优雅关闭已经执行完成，导致在处理请求的时候出现异常（比如DataSource已经close了）。

---

解决方案

知道了问题的根源，解决起来也就是水到渠成了，思路就是Spring容器等待dubbo优雅关闭执行完成以后再执行bean的@PreDestory方法（销毁bean），我们通过spring应用生命周期监听接口来实现：

public interface ApplicationListener extends EventListener {
    void onApplicationEvent(E var1);
}

ContextClosedEvent是在所有bean执行PreDestory之前发出的事件广播.我们在这个事件回调中执行Dubbo的优雅关闭，就不会出现数据源已经关闭的异常.

新增代码配置如下：

    @Bean
    DubboShutdownListener dubboShutdownListener() {
        return new DubboShutdownListener();
    }

    public static class DubboShutdownListener implements ApplicationListener, PriorityOrdered {

        @Override
        public void onApplicationEvent(ApplicationEvent event) {
            if (event instanceof ApplicationStartedEvent) {
                Runtime.getRuntime().removeShutdownHook(DubboShutdownHook.getDubboShutdownHook());
                log.info("dubbo default shutdown hook removed,will be managed by spring");
            } else if (event instanceof ContextClosedEvent) {
                log.info("start destroy dubbo on spring close event");
                DubboShutdownHook.getDubboShutdownHook().destroyAll();
                log.info("dubbo destroy finished");
            }
        }

        @Override
        public int getOrder() {
            return 0;
        }
    }

再次尝试一开始的操作，发现没有报错，关机前的请求也能正常返回数据，目的达成。