Springboot2.0下通过redis实现支持分布式的mybatis二级缓存

最近领导要求在项目中加下mybatis二级缓存，由于当前项目是分布式微服务，且是多节点部署的，而司内缓存中间件使用的redis，那很自然的要用redis做分布式缓存支持，避免出现直接使用原生mybatis二级缓存造成缓存数据不一致等问题。下面会对基于redis的mybatis二级缓存实现做下简单介绍，涉及一些概念，同时一些坑点做下整理。

1. 一级缓存

一级缓存是在SqlSession级别的缓存，MyBatis默认开启一级缓存。即同一个SqlSession对象，相同参数多次调用同一个Mapper方法时，只执行一次SQL，第一次查询后数据被缓存起来，之后的调用在没有缓存刷新、超时情况下都是直接先从缓存中取数据，不再去查数据库。不同SqlSession间，缓存是隔离的。

此外实际项目开发中，一级缓存存在很大的局限性，我们的项目一般是Spring+Mybatis集成开发，而Spring的事务管理在逻辑层，每个service对应不同的SqlSession（这是通过MapperScannerConfigurer类创建SqlSession自动注入到service中的）， 每次查询之后都会关闭SqlSession，缓存数据就会被清空。所以Spring整合之后，如果没有事务，一级缓存是没有实际意义的。

2. 二级缓存

二级缓存是Mapper级别的缓存，Mybatis默认不开启二级缓存。二级缓存的作用域是mapper的namespace，即相同namespace的两个mapper将共用同一缓存区域；支持跨SqlSession，即多个SqlSession可以共享一个mapper缓存。实现上是基于PerpetualCache的HashMap做本地存储，也支持自定义三方存储如ehcache、redis、memcache等，用于支持分布式。在本地使用HashMap存储缓存时，key为hashCode+sqlId+Sql语句（查询参数好像也参与，demo用的selectAll，没怎么关注），其他三方存储时key也差不多。

注意：开启二级缓存后

• 所有在映射文件里的select 语句都将被缓存。
• 所有在映射文件里insert,update 和delete 语句会清空缓存。
• 缓存默认使用“最近很少使用”LRU算法来回收
• 缓存不会被设定的时间所清空。
• 每个缓存可以存储1024 个列表或对象的引用（不管查询出来的结果是什么）。
• 缓存将作为“读/写”缓存，意味着获取的对象不是共享的且对调用者是安全的。不会有其它的调用干扰其他调用者或线程所做的潜在修改

实现步骤：

1、全局cache-enable开关设置，此开关默认为true(实践证明不设置也行)

• 创建mybatis-config.xml的配置文件

xml version="1.0" encoding="UTF-8" ?>
DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN"
        "http://mybatis.org/dtd/mybatis-3-config.dtd">
<configuration>
    <settings>
        
        <setting name="cacheEnabled" value="true" />
    settings>
configuration>

 

• Mybatis配置SqlSessionFactory时加载该配置

factory.setConfigLocation(new ClassPathResource("mybatis-config.xml"));

注：通过mybatis-config.xml配置缓存开关，验证启停正常；通过配置属性mybatis.configuration.cache-enabled=true的设置不起作用，原因有待探究

 

2、mapper.xml中缓存标签的开启

• 这是二级缓存开启的关键，如下配置是mybatis本地缓存，作用于整个mapper的所有查询，若某个不需要缓存，设置useCache=false即可

  <cache eviction="FIFO"  flushInterval="60000"  size="512"  readOnly="true"/>

  • 若要自定义三方存储，需要自实现org.apache.ibatis.cache.Cache接口，并在标签中指定自定义实现。另外关于Spring的ApplicationContext上下文获取，简单提一句，即实现ApplicationContextAware接口即可切入上下文

  @Slf4j
  public class MybatisRedisCache implements Cache {
      // RedisTemplate实例的封装工具类
      RedisUtilHandler redisUtilHandler;
      private String id;
      private final ReadWriteLock readWriteLock = new ReentrantReadWriteLock();
  
      public MybatisRedisCache(final String id) {
          if (id == null) {
              throw new IllegalArgumentException("Cache instances require an ID");
          }
          this.id = id;
      }
      
      // 通过Spring上下文获取redis操作类
      // 个人理解mybatis的某些配置加载是工作在拦截器层，初始化会早于IOC容器的某些bean的加载，这会通过spring自动注入 
      // 是拿不到代理对象的，所以这里做后置延迟处理，调用时再从上下文的获取Bean
      private RedisUtilHandler getRedisHandler(){
          if(redisUtilHandler == null){
              redisUtilHandler = SpringContextHolder.getBean("redisUtilHandler");
          }
          return redisUtilHandler;
      }
      @Override
      public void clear() {
          try {
              RedisUtilHandler redisUtilHandler = getRedisHandler();
              redisUtilHandler.flushCache(id);
          } catch (Exception e) {
              log.error("clear Exception: {}", e);
          } 
      }
      @Override
      public String getId() {
          return this.id;
      }
      @Override
      public void putObject(Object key, Object value) {
          try {
              RedisUtilHandler redisUtilHandler = getRedisHandler();
              redisUtilHandler.setCache(key.toString(), value, 1, TimeUnit.DAYS);
          } catch (Exception e) {
              log.error("putObject Exception: {}", e);
          } 
      }
      @Override
      public Object getObject(Object key) {
          Object result = null;
          try {
              RedisUtilHandler redisUtilHandler = getRedisHandler();
              result = redisUtilHandler.getCache(key.toString(), Object.class);
          } catch (Exception e) {
              log.error("getObject Exception: key###{} {}", key, e);
          } 
          return result;
          
      }
      @Override
      public Object removeObject(Object key) {
          Object result = null;
          try {
              RedisUtilHandler redisUtilHandler = getRedisHandler();
              redisUtilHandler.delete(key.toString());
          } catch (Exception e) {
              log.error("clear Exception: {}", e);
          }
          return result;
      }
  
      @Override
      public int getSize() {
          RedisUtilHandler redisUtilHandler = getRedisHandler();
          Long size = (Long) redisUtilHandler.getInstance().execute(new RedisCallback() {
              @Override
              public Long doInRedis(RedisConnection connection) throws DataAccessException {
                  return connection.dbSize();
              }
          });
          return size.intValue();
  
      }
      @Override
      public ReadWriteLock getReadWriteLock() {
          return this.readWriteLock;
      }
  }

  完整的mapper.xml示例
  

  <mapper namespace="com.xxx.xxx.xxx.repository.mapper.UserMapper">
  <cache type="com.xxx.xxx.MybatisRedisCache"/>
    <resultMap id="BaseResultMap" type="com.xxx.xxx.xxx.repository.model.User">
      <id column="id" jdbcType="INTEGER" property="id" />
      <result column="union_id" jdbcType="VARCHAR" property="unionId" />
      <result column="user_id" jdbcType="VARCHAR" property="userId" />
      <result column="user_name" jdbcType="VARCHAR" property="userName" />
      ...
    resultMap>
    <select id="selectUsers" resultMap="BaseResultMap">
        SELECT * FROM table
    select>
    <select id="selectUserById" resultMap="BaseResultMap" useCache="false">
        SELECT * FROM table WHERE user_id = #{userId}
    select>

  3、Model实体类需要做序列化

  public class User implements Serializable{
     private static final long serialVersionUID = -6596381461353742505L;
     ...
  
  }

  本文是以redis作为存储介质，在redis配置时即指定了key、value的序列化方式，所以我在这步时实体类上序列化可有可无(也有人说即使本地缓存也不需要)

   

  执行示例结果：

  

   

  坑点整理：

  在第二步实现时，我用了标签来开启二级缓存，此处还可以在mybatis的mapper接口类上使用等效注解来开启二级缓存，注解如下：

  @CacheNamespace(implementation = com.xxx.xxx.configs.MybatisRedisCache.class)

  但使用注解和xml中标签不能同时作用，也就是说使用注解时，只能在Mapper接口的方法上用@Select注解绑定执行SQL，缓存才有效；同样使用标签，则只能在mapper.xml中定义

  标签进行带缓存查询。两者同时存在也只会有一种起效，是哪种可以自己试试。

   

  缺陷分析：

  • Mybatis自身的缓存天生不支持分布式，需要整合其他第三方缓存库

          好在本文既是以redis作为自定义缓存来实现的，可以解决这个问题

  • 由于二级缓存是基于mapper级别的，以命名空间(namespace)隔离，可能导致联表查询的数据脏读

          这样的情况会发生在做联表查询时，参与联合查询的表在被其中一个或者多个namespace做数据缓存时，都是存的彼此初次关联查询时的数据镜像，而这之后各个namespace下表数据的更新了，二级缓存是不知道的，也就造成了数据脏读。 

          能想到的处理方式：

          1、联表查询，关联的所有表的操作都必须在同一个namespace。这个很难保证

          2、缩小缓存有效时间，当前是基于redis的三方缓存，可以自行设定失效时间，应当在不影响业务性能的情况下尽量缩短缓存有效时间。但问题其实同样是治标不治本

   

  至此，mybatis二级缓存应该是比较全的使用实现了。基于缺陷上还有一点思考，我们的项目是否真的需要用到mybatis的二级缓存？像其他使用者说的，mybatis可是默认关闭二级缓存的，所以由此你该多考虑一下；如果是某些必要场景，比如访问频次较高的大单表查询，或者是表数据更新频次不会太高，缓存时效可以覆盖变更频率的，二级缓存还是不错的选择。其他复杂场景的缓存建议还是自己做业务缓存或者直接上Spring Cache比较划得来。

    

  附：mapper中配置的参数说明：

  • eviction（可用的收回策略）默认为 LRU
    • LRU – 最近最少使用的：移除最长时间不被使用的对象。
    • FIFO – 先进先出：按对象进入缓存的顺序来移除它们。
    • SOFT – 软引用：移除基于垃圾回收器状态和软引用规则的对象。
    • WEAK – 弱引用：更积极地移除基于垃圾收集器状态和弱引用规则的对象。
  • flushInterval（刷新间隔）可以被设置为任意的正整数，而且它们代表一个合理的毫秒形式的时间段。默认情况是不设置，也就是没有刷新间隔，缓存仅仅调用语句时刷新。
  • size（引用数目）可以被设置为任意正整数，要记住你缓存的对象数目和你运行环境的可用内存资源数目。默认值1024。
  • readOnly（只读）属性可以被设置为 true 或 false。只读的缓存会给所有调用者返回缓存对象的相同实例。因此这些对象不能被修改。这提供了很重要的性能优势。可读写的缓存会返回缓存对象的拷贝（通过序列化）。这会慢一些，但是安全，因此默认是false。

   

  参考：

  https://www.cnblogs.com/happyflyingpig/p/7739749.html

  https://www.cnblogs.com/yuluoxingkong/p/8205858.html