Spring实现动态数据源，支持动态添加、删除和设置权重及读写分离

当项目慢慢变大，访问量也慢慢变大的时候，就难免的要使用多个数据源和设置读写分离了。

在开题之前先说明下，因为项目多是使用Spring，因此以下说到某些操作可能会依赖于Spring。

在我经历过的项目中，见过比较多的读写分离处理方式，主要分为两步：

1、对于开发人员，要求serivce类的方法名必须遵守规范，读操作以query、get等开头，写操作以update、delete开头。

2、配置一个拦截器，依据方法名判断是读操作还是写操作，设置相应的数据源。

以上做法能实现最简单的读写分离，但相应的也会有很多不方便的地方，印象最深的应该是以下几点：

1、数据源的管理不太方便，基本上只有2个数据源了，一个读一个写。这个可以在spring中声明多个bean来解决该问题，但bean的id和数据源的功能也就绑定了。

2、因为读写分离往往是在项目慢慢变大后加入的，不是一开始就有，上面说到的第二点方法名可能会各式各样，find、insert、save、exe等等，这些都要一一修改，且要保证以后读的方法名中不能有写操作。也可以拦截的底层一点如JdbcTemplate，但这样会导致交叉设置数据源。

3、数据源无法动态修改，只能在项目启动时加载。

以上问题我想开发人员多多少少都会遇到，这也是本文要讨论的问题。

动态数据源结构

在我看来一个好的动态数据源，应该跟单数据源一样让使用者感觉不到他是动态的，至少dao层的开发者应该感觉不到。先来看张图：

看了上图应该就明白我的思路了，对使用者来说只有一个数据源DynamicDataSource，下面我们来谈谈如何实现它。

基于spring实现动态数据源

其实spring早就想到了这一点，也已经为我们准备好了扩展类AbstractRoutingDataSource，我们只需要一个简单的实现即可。网上关于这个类文章很多，但都比较粗浅没有讲到点子上，只是实现了多个数据源而已。

这里我们同样来实现AbstractRoutingDataSource，它只要求实现一个方法：

  
  
  
  

   
   
   
   
/**
   
   
   
   
 * Determine the current lookup key. This will typically be
   
   
   
   
 * implemented to check a thread-bound transaction context.
   
   
   
   
 * <p>Allows for arbitrary keys. The returned key needs
   
   
   
   
 * to match the stored lookup key type, as resolved by the
   
   
   
   
 * {@link #resolveSpecifiedLookupKey} method.
   
   
   
   
 */
   
   
   
   
protected abstract Object determineCurrentLookupKey();
  
  
  
  

你可以简单的理解它：spring把所有的数据源都存放在了一个map中，这个方法返回一个key告诉spring用这个key从map中去取。

它还有个targetDataSources和defaultTargetDataSource属性，网上的一堆做法是继承这个类，然后在声明bean的时候注入dataSource：

  
  
  
  

   
   
   
   
<bean id="dynamicdatasource" class="......">
   
   
   
   
 <property name="targetDataSources">
   
   
   
   
 <map>
   
   
   
   
 <entry key="dataSource1" value-ref="dataSource1" /> 
   
   
   
   
 <entry key="dataSource2" value-ref="dataSource2" /> 
   
   
   
   
 <entry key="dataSource3" value-ref="dataSource3" /> 
   
   
   
   
 </map>
   
   
   
   
 </property>
   
   
   
   
 <property name="defaultTargetDataSource" ref="dataSource1" />
   
   
   
   
</bean>
  
  
  
  

这样虽然简单，但是弊端也是显而易见的，除了使用了多个数据源之外没有我们想要的任何操作。但是如果不配置targetDataSources，spring在启动的时候就会抛出异常而无法运行。

其实我们完全可以在spring启动的时候，我们自己来解析数据源，然后把解析出并实例化的dataSource设置到targetDataSources。下面是解析的核心代码，数据源配置文件的格式可以看这里：数据源配置样例

  
  
  
  

   
   
   
   
/**
   
   
   
   
 * 初始化数据源
   
   
   
   
 *
   
   
   
   
 * @param dataSourceList
   
   
   
   
 */
   
   
   
   
public void initDataSources(List<Map<String, String>> dataSourceList) {
   
   
   
   
 LOG.info("开始初始化动态数据源");
   
   
   
   
 readDataSourceKeyList = new ArrayList<String>();
   
   
   
   
 writeDataSourceKeyList = new ArrayList<String>();
   
   
   
   
 Map<Object, Object> targetDataSource = new HashMap<Object, Object>();
   
   
   
   
 Object defaultTargetDataSource = null;
   
   
   
   
 for (Map<String, String> map : dataSourceList) {
   
   
   
   
 String dataSourceId = DynamicDataSourceUtils.getAndRemoveValue(map, ATTR_ID,
   
   
   
   
 UUIDUtils.getUUID8());
   
   
   
   
 String dataSourceClass = DynamicDataSourceUtils
   
   
   
   
 .getAndRemoveValue(map, ATTR_CLASS, null);
   
   
   
   
 String isDefaultDataSource = DynamicDataSourceUtils.getAndRemoveValue(map,
   
   
   
   
 ATTR_DEFAULT, "false");
   
   
   
   
 String weight = DynamicDataSourceUtils.getAndRemoveValue(map, DS_WEIGHT, "1");
   
   
   
   
 String mode = DynamicDataSourceUtils.getAndRemoveValue(map, DS_MODE, "rw");
   
   
   
   
 DataSource dataSource = (DataSource) ClassUtils.newInstance(dataSourceClass);
   
   
   
   
 DynamicDataSourceUtils.setDsProperties(map, dataSource);
   
   
   
   
 targetDataSource.put(dataSourceId, dataSource);
   
   
   
   
 if (Boolean.valueOf(isDefaultDataSource)) {
   
   
   
   
 defaultTargetDataSource = dataSource;
   
   
   
   
 }
   
   
   
   
 DynamicDataSourceUtils.addWeightDataSource(readDataSourceKeyList,
   
   
   
   
 writeDataSourceKeyList, dataSourceId, Integer.valueOf(weight), mode);
   
   
   
   
 LOG.info("dataSourceId={},dataSourceClass={},isDefaultDataSource={},weight={},mode={}",
   
   
   
   
 new Object[] { dataSourceId, dataSourceClass, isDefaultDataSource, weight, mode });
   
   
   
   
 }
   
   
   
   
 this.setTargetDataSources(targetDataSource);
   
   
   
   
 if (defaultTargetDataSource == null) {
   
   
   
   
 defaultTargetDataSource = (CollectionUtils.isEmpty(writeDataSourceKeyList) ? targetDataSource
   
   
   
   
 .get(readDataSourceKeyList.iterator().next()) : targetDataSource
   
   
   
   
 .get(writeDataSourceKeyList.iterator().next()));
   
   
   
   
 }
   
   
   
   
 this.setDefaultTargetDataSource(defaultTargetDataSource);
   
   
   
   
 super.afterPropertiesSet();
   
   
   
   
 LOG.info("初始化动态数据源完成");
   
   
   
   
}
  
  
  
  

在解析出来之后，我们调用父类的this.setTargetDataSources(targetDataSource);和this.setDefaultTargetDataSource(defaultTargetDataSource);方法将它们存入进去。而dataSource的key则根据读写和权重的不同，分别保存到readDataSourceKeyList和writeDataSourceKeyList。

那么什么时候来运行这个解析的方法呢？有些同学可能一下就想到了spring声明bean时的init-method属性，但是这里不行。因为init-method是在bean初始化完成之后调用的，当spring在初始化DynamicDataSource时发现这两个属性是空的异常就抛出来了，根本就没有机会去运行init-method。

所以我们要在bean的初始化过程中来解析并存入我们的数据源。要实现这个操作，我们可以实现spring的InitializingBean接口。由于AbstractRoutingDataSource已经实现了该接口，我们只需要重写该方法就行。也就是说DynamicDataSource要实现以下两个方法：

  
  
  
  

   
   
   
   
@Override
   
   
   
   
protected Object determineCurrentLookupKey() {
   
   
   
   
 ...
   
   
   
   
}
   
   
   
   
@Override
   
   
   
   
public void afterPropertiesSet() {
   
   
   
   
 this.initDataSources();
   
   
   
   
}
  
  
  
  

在afterPropertiesSet方法中实现我们解析数据源的操作。但是这样还不够，因为spring容器并不知道你做了这些，所以最后的一行super.afterPropertiesSet();千万别忘了，用来通知spring容器。

到这里数据源的解析已经完成了，我们又怎么样来取数据源呢？

这个我们可以利用ThreadLocal来实现。编写DynamicDataSourceHolder类，核心代码：

  
  
  
  

   
   
   
   
private static final ThreadLocal<DataSourceContext> DATASOURCE_LOCAL = new ThreadLocal<DataSourceContext>();
   
   
   
   
/**
   
   
   
   
 * 设置数据源读写模式
   
   
   
   
 *
   
   
   
   
 * @param isWrite
   
   
   
   
 */
   
   
   
   
public static void setIsWrite(boolean isWrite) {
   
   
   
   
 DataSourceContext dsContext = DATASOURCE_LOCAL.get();
   
   
   
   
 //已经持有且可写，直接返回
   
   
   
   
 if (dsContext != null && dsContext.getIsWrite()) {
   
   
   
   
 return;
   
   
   
   
 }
   
   
   
   
 if (dsContext == null || isWrite) {
   
   
   
   
 dsContext = new DataSourceContext();
   
   
   
   
 dsContext.setIsWrite(isWrite);
   
   
   
   
 DATASOURCE_LOCAL.set(dsContext);
   
   
   
   
 }
   
   
   
   
}
   
   
   
   
/**
   
   
   
   
 * 获取dsKey
   
   
   
   
 *
   
   
   
   
 * @return
   
   
   
   
 */
   
   
   
   
public static DataSourceContext getDsContent() {
   
   
   
   
 return DATASOURCE_LOCAL.get();
   
   
   
   
}
  
  
  
  

只有简单的设置读写模式和获取dataSource的key。

动态数据源”读已之所写”问题

在设置读写模式时需要注意，如果当前线程已经拥有数据源了且是可写的，则直接返回使用当前的数据源。这是一个简单的操作却会影响到整个项目。为什么要这样做呢？要是我方法中写操作后有读操作不是也用写数据源了？没错！

这涉及到一个多数据源主从同步时的读已之所写问题，这里简单的来讲解一下。

数据库主从同步时，事务一般分两种：

1、硬事务，当往数据库保存数据时，程序读到所有数据库的数据都是一致的，但相应的性能会变低，如果数据库操作时间较长，有可能会引起线程阻塞。

2、软事务，当往数据库保存数据时，程序读到的数据不一定是一致的，但最终是一致的。举个例子，当你往主库(写库)存入数据时，数据可能无法实时同步到从库(读库)，这中间可能会有那么几秒钟的误差，如果这时候刚好读到这批数据，数据就是不一致的。

当数据库都要分主从和读写分离了，肯定是有性能压力了，所以大多数都会选择第二种(只是大部分不是绝对，银行等机构可能会第一种)。

这时候数据就会有一个实时展示的问题了。以当前较流行的微信朋友圈为例，我自己发表了一条朋友圈动态，肯定是希望能够马上看到，如果隔个三五秒才能显示我会怀疑是不是发布失败了？用户体验感也会直线下降。但对别人来说，就算时时关注着我也不会知道我这个时候发布了动态，迟个三五秒显示并无大碍，对整个系统也没有影响。

说到这里相信应该已经明白了吧，简单说就是自己写的数据要能够马上读到，这就是原因了。

指定了读写模式，接下来就是获取数据源了。代码：

  
  
  
  

   
   
   
   
@Override
   
   
   
   
protected Object determineCurrentLookupKey() {
   
   
   
   
 DataSourceContext dsContent = DynamicDataSourceHolder.getDsContent();
   
   
   
   
 //已设置过数据源，直接返回
   
   
   
   
 if (StringUtils.isNotBlank(dsContent.getDsKey())) {
   
   
   
   
 return dsContent.getDsKey();
   
   
   
   
 }
   
   
   
   
 if (dsContent.getIsWrite()) {
   
   
   
   
 String dsKey = writeDataSourceKeyList.get(RandomUtils.nextInt(writeDataSourceKeyList
   
   
   
   
 .size()));
   
   
   
   
 dsContent.setDsKey(dsKey);
   
   
   
   
 } else {
   
   
   
   
 String dsKey = readDataSourceKeyList.get(RandomUtils.nextInt(readDataSourceKeyList
   
   
   
   
 .size()));
   
   
   
   
 dsContent.setDsKey(dsKey);
   
   
   
   
 }
   
   
   
   
 if (LOG.isDebugEnabled()) {
   
   
   
   
 LOG.debug("当前操作使用数据源:{}", dsContent.getDsKey());
   
   
   
   
 }
   
   
   
   
 return dsContent.getDsKey();
   
   
   
   
}
  
  
  
  

这里同样注意如果已经设置过数据源了，直接返回，这样就能保证当前线程用的始终是同一个数据源(读改写时会变化一次)。

如果未设置过数据源则根据读写模式，随机的从key列表中取一个使用。为什么要随机呢？这就牵扯到具体的权重实现了。

动态数据源权重实现

这里的权重实现十分简单，也是当前很多组件的权重实现方式。假设一个读dataSource的权重是5，则相应的往readDataSourceKeyList中存入5个key，写dataSource也一样，读写则两边都存。这样根据权重的不同key列表中存入的数量也就不尽相同，取时生成一个小于列表大小的随机数随机取一个就行了。

使用拦截器设置读写模式

各个组件的功能都实现了，只差东风了，什么时候来设置读写模式呢？

这个简单，使用一个拦截器就能搞定。因为是基于Spring JdbcTemplate，所以只要拦截相应的方法即可。JdbcTemplate的方法命名还是十分规范的，开发人员改动的可能性也几乎为零，这里我们拦截接口：

  
  
  
  

   
   
   
   
/**
   
   
   
   
 * 动态数据源拦截器
   
   
   
   
 *
   
   
   
   
 * Created by liyd on 2015-11-2.
   
   
   
   
 */
   
   
   
   
@Aspect
   
   
   
   
@Component
   
   
   
   
public class DynamicDsInterceptor {
   
   
   
   
 @Pointcut("execution(* org.springframework.jdbc.core.JdbcOperations.*(..))")
   
   
   
   
 public void executeMethod() {
   
   
   
   
 }
   
   
   
   
 @Around("executeMethod()")
   
   
   
   
 public Object methodAspect(ProceedingJoinPoint pjp) throws Throwable {
   
   
   
   
 String methodName = pjp.getSignature().getName();
   
   
   
   
 if (StringUtils.startsWith(methodName, "query")) {
   
   
   
   
 DynamicDataSourceHolder.setIsWrite(false);
   
   
   
   
 } else {
   
   
   
   
 DynamicDataSourceHolder.setIsWrite(true);
   
   
   
   
 }
   
   
   
   
 return pjp.proceed();
   
   
   
   
 }
   
   
   
   
}
  
  
  
  

动态修改数据源

到这里我们的动态数据源就实现的差不多了，有的同学可能会问，那我怎么动态的去修改它呢？

其实看到上面的initDataSources方法答案就已经有了，它的参数是 List<Map<String, String>> dataSourceList，只需要将数据源的参数封装成map的list传入调用该方法就能实现动态修改了，这也是我为什么把super.afterPropertiesSet();这一行放到这里面而不是重写方法本身的原因。以下是一个简单的候示例：

  
  
  
  

   
   
   
   
List<Map<String, String>> dsList = new ArrayList<Map<String, String>>();
   
   
   
   
Map<String, String> map = new HashMap<String, String>();
   
   
   
   
map.put("id", "dataSource4");
   
   
   
   
map.put("class", "org.apache.commons.dbcp.BasicDataSource");
   
   
   
   
map.put("default", "true");
   
   
   
   
map.put("weight", "10");
   
   
   
   
map.put("mode", "rw");
   
   
   
   
map.put("driverClassName", "com.mysql.jdbc.Driver");
   
   
   
   
map.put("url",
   
   
   
   
 "jdbc:mysql://localhost:3306/db1?useUnicode=true&amp;characterEncoding=utf-8");
   
   
   
   
map.put("username", "root");
   
   
   
   
map.put("password", "");
   
   
   
   
dsList.add(map);
   
   
   
   
dynamicDataSource.initDataSources(dsList);
  
  
  
  

在实际的场景中，根据项目使用技术的不同，你可以使用监听器、socket、配置中心等来实现该数据源动态修改的功能，只要保存调用initDataSources方法时传入的数据源信息是正确的就可以了。

动态数据源的实现就到这里了，我希望更多的是提供了一种思维，可以根据这个思维做些改变将它应用到具体的场景中，而不仅仅限于JdbcTemplate和Spring，只是做了一个抛砖引玉而已。

所有的源码都可以在上方供下载的dexcoder-assistant工具包中找到，欢迎各位讨论，留下自己的意见和想法。