数据库分库分表中间件 Sharding-JDBC 源码分析 —— SQL 执行

摘要: 原创出处 http://www.iocoder.cn/Sharding-JDBC/sql-execute/ 「芋道源码」欢迎转载，保留摘要，谢谢！

本文主要基于 Sharding-JDBC 1.5.0 正式版

• 1. 概述

• 2. ExecutorEngine

  • 2.1 ListeningExecutorService

  • 2.2 关闭

  • 2.3 执行 SQL 任务

• 3. Executor

  • 3.1 StatementExecutor

  • 3.2 PreparedStatementExecutor

  • 3.3 BatchPreparedStatementExecutor

• 4. ExecutionEvent

  • 4.1 EventBus

  • 4.2 BestEffortsDeliveryListener

• 666. 彩蛋

---

关注微信公众号：【芋道源码】有福利：

1. RocketMQ / MyCAT / Sharding-JDBC 所有源码分析文章列表

2. RocketMQ / MyCAT / Sharding-JDBC 中文注释源码 GitHub 地址

3. 您对于源码的疑问每条留言都将得到认真回复。甚至不知道如何读源码也可以请教噢。

4. 新的源码解析文章实时收到通知。每周更新一篇左右。

5. 认真的源码交流微信群。

---

1. 概述

越过千山万水（SQL 解析、SQL 路由、SQL 改写），我们终于来到了 SQL 执行。开森不开森？！

本文主要分享SQL 执行的过程，不包括结果聚合。《结果聚合》 东半球第二良心笔者会更新，关注微信公众号【芋道源码】完稿后第一时间通知您哟。

绿框部分 SQL 执行主流程。

---

Sharding-JDBC 正在收集使用公司名单：传送门。
你的登记，会让更多人参与和使用 Sharding-JDBC。传送门
Sharding-JDBC 也会因此，能够覆盖更多的业务场景。传送门
登记吧，骚年！传送门

2. ExecutorEngine

ExecutorEngine，SQL执行引擎。

分表分库，需要执行的 SQL 数量从单条变成了多条，此时有两种方式执行：

• 串行执行 SQL

• 并行执行 SQL

前者，编码容易，性能较差，总耗时是多条 SQL 执行时间累加。
后者，编码复杂，性能较好，总耗时约等于执行时间最长的 SQL。

ExecutorEngine 当然采用的是后者，并行执行 SQL。

2.1 ListeningExecutorService

Guava( Java 工具库 ) 提供的继承自 ExecutorService 的线程服务接口，提供创建 ListenableFuture 功能。ListenableFuture 接口，继承 Future 接口，有如下好处：

我们强烈地建议你在代码中多使用ListenableFuture来代替JDK的 Future, 因为：

• 大多数Futures 方法中需要它。

• 转到ListenableFuture 编程比较容易。

• Guava提供的通用公共类封装了公共的操作方方法，不需要提供Future和ListenableFuture的扩展方法。

传统JDK中的Future通过异步的方式计算返回结果:在多线程运算中可能或者可能在没有结束返回结果，Future是运行中的多线程的一个引用句柄，确保在服务执行返回一个Result。

ListenableFuture可以允许你注册回调方法(callbacks)，在运算（多线程执行）完成的时候进行调用, 或者在运算（多线程执行）完成后立即执行。这样简单的改进，使得可以明显的支持更多的操作，这样的功能在JDK concurrent中的Future是不支持的。

如上内容来自《Google Guava包的ListenableFuture解析 》，文章写的很棒。下文你会看到 Sharding-JDBC 是如何通过 ListenableFuture 简化并发编程的。

下面看看 ExecutorEngine 如何初始化 ListeningExecutorService

// ShardingDataSource.javapublic ShardingDataSource(final ShardingRule shardingRule, final Properties props) {    // .... 省略部分代码   shardingProperties = new ShardingProperties(props);   int executorSize = shardingProperties.getValue(ShardingPropertiesConstant.EXECUTOR_SIZE);   executorEngine = new ExecutorEngine(executorSize);   // .... 省略部分代码}// ExecutorEnginepublic ExecutorEngine(final int executorSize) {   executorService = MoreExecutors.listeningDecorator(new ThreadPoolExecutor(           executorSize, executorSize, 0, TimeUnit.MILLISECONDS, new LinkedBlockingQueue(),           new ThreadFactoryBuilder().setDaemon(true).setNameFormat("ShardingJDBC-%d").build()));   MoreExecutors.addDelayedShutdownHook(executorService, 60, TimeUnit.SECONDS);}

• 一个分片数据源( ShardingDataSource ) 独占 一个 SQL执行引擎( ExecutorEngine )。

• MoreExecutors#listeningDecorator() 创建 ListeningExecutorService，这样 #submit()， #invokeAll() 可以返回 ListenableFuture。

• 默认情况下，线程池大小为 8。可以根据实际业务需要，设置 ShardingProperties 进行调整。

• #setNameFormat() 并发编程时，一定要对线程名字做下定义，这样排查问题会方便很多。

• MoreExecutors#addDelayedShutdownHook()，应用关闭时，等待所有任务全部完成再关闭。默认配置等待时间为 60 秒，建议将等待时间做成可配的。

2.2 关闭

数据源关闭时，会调用 ExecutorEngine 也进行关闭。

// ShardingDataSource.java@Overridepublic void close() {   executorEngine.close();}// ExecutorEngine@Overridepublic void close() {   executorService.shutdownNow();   try {       executorService.awaitTermination(5, TimeUnit.SECONDS);   } catch (final InterruptedException ignored) {   }   if (!executorService.isTerminated()) {       throw new ShardingJdbcException("ExecutorEngine can not been terminated");   }}

• #shutdownNow() 尝试使用 Thread.interrupt() 打断正在执行中的任务，未执行的任务不再执行。建议打印下哪些任务未执行，因为 SQL 未执行，可能数据未能持久化。

• #awaitTermination() 因为 #shutdownNow() 打断不是立即结束，需要一个过程，因此这里等待了 5 秒。

• 等待 5 秒后，线程池不一定已经关闭，此时抛出异常给上层。建议打印下日志，记录出现这个情况。

2.3 执行 SQL 任务

ExecutorEngine 对外暴露 #executeStatement()， #executePreparedStatement()， #executeBatch()

三个方法分别提供给 StatementExecutor、PreparedStatementExecutor、BatchPreparedStatementExecutor 调用。而这三个方法，内部调用的都是 #execute() 私有方法。

// ExecutorEngine.java/*** 执行Statement.* @param sqlType SQL类型* @param statementUnits 语句对象执行单元集合* @param executeCallback 执行回调函数* @param  返回值类型* @return 执行结果*/public  List executeStatement(final SQLType sqlType, final Collection statementUnits, final ExecuteCallback executeCallback) {   return execute(sqlType, statementUnits, Collections.>emptyList(), executeCallback);}/*** 执行PreparedStatement.* @param sqlType SQL类型* @param preparedStatementUnits 语句对象执行单元集合* @param parameters 参数列表* @param executeCallback 执行回调函数* @param  返回值类型* @return 执行结果*/public  List executePreparedStatement(       final SQLType sqlType, final Collection preparedStatementUnits, final List