肝了一早上,终于把mybatis的一级缓存和二级缓存原理搞懂了~

今天的沉淀,是助力明天飞向远方的基石~

肝了一早上,终于把mybatis的一级缓存和二级缓存原理搞懂了~_第1张图片
每当自己沉思下来写学习文章的时候,内心深处总是会得到一片宁静。

缓存的概念

我们在查询数据时,经常去查询一些条件相同、数据的正确与否对最终结果影响不大的数据,并且每次查询总是去数据库获取连接查询,这样的操作不仅浪费时间还很消耗数据库连接资源。而缓存就是将数据临时存储于内存,这样就能减少数据查询交互的通讯量,减少处理次数,提高我们的查询效率。

会话

会话就是用户与系统的一次完整的交流,在一次交流过程中会包含多次请求响应,然后发送的请求都只是同一个用户,SqlSession就是用户与数据库进行一次会话过程中使用的接口。

MyBatis缓存分类

一级缓存

也被叫做本地缓存,适用于保存用户在某次会话过程中查询的结果,用户在一次会话中只能使用一个sqlSession,一级缓存都是自动开启的,不允许关闭。

在程序应用运行过程里,执行一次数据库会话中,我们如果执行多次查询条件完全相同的SQL,它就会优先命中一级缓存,避免了直接对数据库进行查询。

我们来简单看一个这样的例子

①、在一个sqlSession中,对User表根据id进行两次查询,查看他们发出sql语句的情况

@Test
public void test1(){
//读取数据库配置文件,加载入内存
 InputStream resourceAsStream =Resources.getResourceAsStream("sqlMapConfig.xml");
 //对加载入内存的配置内容进行构建、解析
 SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(resourceAsStream);

   SqlSession sqlSession = sqlSessionFactory.openSession();
  //根据 sqlSessionFactory 产生 session
   SqlSession sqlSession = sessionFactory.openSession();
   UserMapper userMapper = sqlSession.getMapper(UserMapper.class);
  //第一次查询,发出sql语句,并将查询出来的结果放进缓存中
   User u1 = userMapper.selectUserByUserId(1);
    System.out.println(u1);
  //第二次查询,由于是同一个sqlSession,会在缓存中查询结果
  //如果有,则直接从缓存中取出来,不和数据库进行交互
  User u2 = userMapper.selectUserByUserId(1);
  System.out.println(u2);
  sqlSession.close();
}

查看控制台打印情况:
肝了一早上,终于把mybatis的一级缓存和二级缓存原理搞懂了~_第2张图片

② 、同样是对user表进行两次查询,只不过两次查询之间进行了一次update操作。

@Test
public void test2(){
	//根据 sqlSessionFactory 产生 session
	SqlSession sqlSession = sessionFactory.openSession();

	UserMapper userMapper = sqlSession.getMapper(UserMapper.class);
	//第一次查询,发出sql语句,并将查询的结果放入缓存中
	User u1 = userMapper.selectUserByUserId( 1 );
	System.out.println(u1);
	//第二步进行了一次更新操作,sqlSession.commit()
	u1.setSex("女");
	userMapper.updateUserByUserId(u1);
	sqlSession.commit();
	//第二次查询,由于是同一个sqlSession.commit(),会清空缓存信息
	//则此次查询也会发出sql语句
	User u2 = userMapper.selectUserByUserId(1);
	System.out.println(u2);
	sqlSession.close();
}

查看控制台打印情况:
肝了一早上,终于把mybatis的一级缓存和二级缓存原理搞懂了~_第3张图片

③、总结

  1. 第一次发起查询用户id为1的用户信息,先去找缓存中是否有id为1的用户信息,如果没有从数据库查询用户信息。得到用户信息,将用户信息存储到一级缓存中。
  2. 如果中间sqlSession去执行commit操作(执行插入、更新、删除),则会清空SqlSession中的 一级缓存,这样做的目的为了让缓存中存储的是最新的信息,避免脏读。
  3. 第二次发起查询用户id为1的用户信息,先去找缓存中是否有id为1的用户信息,缓存中有,直 接从缓存中获取用户信息

肝了一早上,终于把mybatis的一级缓存和二级缓存原理搞懂了~_第4张图片
一级缓存原理探究与源码分析

一级缓存到底是什么?一级缓存什么时候被创建、一级缓存的工作流程是怎样的?
肝了一早上,终于把mybatis的一级缓存和二级缓存原理搞懂了~_第5张图片

带着这几个疑问,那么我们一起来研究一下一级缓存的本质

大家可以这样想,上面我们一直提到一级缓存,那么提到一级缓存就绕不开SqlSession,所以索性我们就直接从SqlSession接口,看看有没有创建缓存或者与缓存有关的属性或者方法。(图未能截全)
肝了一早上,终于把mybatis的一级缓存和二级缓存原理搞懂了~_第6张图片

调研了一圈,发现上述所有方法中,好像只有clearCache()和缓存沾点关系(那么就直接从这个方法入手吧,分析源码时,我们要看它(此类)是谁,它的父类和子类分别又是谁,对如上关系了解了,你才 会对这个类有更深的认识,分析了一圈,你可能会得到这样一个方法调用流程

在这里插入图片描述

再深入分析,流程走到Perpetualcache中的clear()方法之后,会调用其cache.clear()方法,那 么这个cache是什么东西呢?点进去发现,cache其实就是private Map cache = new HashMap();也就是一个Map
肝了一早上,终于把mybatis的一级缓存和二级缓存原理搞懂了~_第7张图片

所以说cache.clear()其实就是map.clear(),也就是说,缓存其实就是本地存放的一个map对象,每一个SqISession都会存放一个map对象的引用,那么这个cache是何时创建的呢?靓仔又遇到难题了。
肝了一早上,终于把mybatis的一级缓存和二级缓存原理搞懂了~_第8张图片

你觉得最有可能创建缓存的地方是哪里呢?我觉得是Executor,为什么这么认为?因为Executor是 执行器,用来执行SQL请求,而且清除缓存的方法也在Executor中执行,所以很可能缓存的创建也很 有可能在Executor中,看了一圈发现Executor中有一个createCacheKey方法,这个方法很像是创建缓存的方法啊。
肝了一早上,终于把mybatis的一级缓存和二级缓存原理搞懂了~_第9张图片
跟进去看看,你发现createCacheKey方法是由BaseExecutor执行的,代码如下

@Override
public CacheKey createCacheKey(MappedStatement ms, Object parameterObject, RowBounds rowBounds, BoundSql boundSql) {

  CacheKey cacheKey = new CacheKey();
  //MappedStatement 的 id
  // id就是Sql语句的所在位置包名+类名+ SQL名称
  cacheKey.update(ms.getId())
  cacheKey.update(ms.getId());
    //offset 就是 0
  cacheKey.update(rowBounds.getOffset());
  //limit 就是 Integer.MAXVALUE
  cacheKey.update(rowBounds.getLimit());
  //具体的SQL语句
  cacheKey.update(boundSql.getSql());
        ..........
      //后面是update了SQL中的参数
   cacheKey.update(value);
    }
  }
  if (configuration.getEnvironment() != null) {
    // issue #176
    cacheKey.update(configuration.getEnvironment().getId());
  }
  return cacheKey;
}

创建缓存key会经过一系列的update方法,udate方法由一个CacheKey这个对象来执行的,这个update方法最终由updateList的list来把五个值存进去
肝了一早上,终于把mybatis的一级缓存和二级缓存原理搞懂了~_第10张图片
对照上面的代码和下面的图示,你应该能 理解这五个值都是什么了
肝了一早上,终于把mybatis的一级缓存和二级缓存原理搞懂了~_第11张图片
这里需要注意一下代码中最后一个值,configuration.getEnvironment().getId()这是什么,这其实就是 定义在mybatis-config.xml中的标签,见如下。



    
        
        
        
        
            
            
            
            
        
    

那么创建完缓存之后该用在何处呢?总不会凭空创建一个缓存不使用吧?绝对不会
的,经过我们对一级缓存的探究之后,我们发现一级缓存更多是用于查询操作,毕竟一级缓存也叫做查询缓存吧,为什么叫查询缓存我们一会儿说。我们先来看一下这个缓存到底用在哪了,我们跟踪到BaseExecutor的query方法如下:

@Override
public  List query(MappedStatement ms, Object parameter, RowBounds rowBounds, ResultHandler resultHandler) throws SQLException {
   BoundSql boundSql = ms.getBoundSql(parameter);
  //创建缓存
   CacheKey key = createCacheKey(ms, parameter, rowBounds, boundSql);
   return query(ms, parameter, rowBounds, resultHandler, key, boundSql);
}

@Override
public  List query(MappedStatement ms, Object parameter, RowBounds rowBounds, ResultHandler resultHandler, CacheKey key, BoundSql boundSql) throws SQLException {
  ErrorContext.instance().resource(ms.getResource()).activity("executing a query").object(ms.getId());

    .........
  List list;
  try {
    queryStack++;
    list = resultHandler == null ? (List) localCache.getObject(key) : null;
    //关键代码 start
      if (list != null) {
       //这个主要是处理存储过程用的。如若查询不为空,则直接返回结果
        handleLocallyCachedOutputParameters(ms, key, parameter, boundSql);
        } else {
        //否则调用数据库查询
      list = queryFromDatabase(ms, parameter, rowBounds, resultHandler, key, boundSql);
        }
    } finally {
      queryStack--;
    }
    .......
    
  return list;
}

// queryFromDatabase,该方法传入mapperStament id,参数、查询行、返回处理rulsult类型、查询sql
private  List queryFromDatabase(MappedStatement ms, Object parameter, RowBounds rowBounds, ResultHandler resultHandler, CacheKey key, BoundSql boundSql) throws SQLException {
  List list;
  localCache.putObject(key, EXECUTION_PLACEHOLDER);
  try {
    list = doQuery(ms, parameter, rowBounds, resultHandler, boundSql);
  } finally {
    localCache.removeObject(key);
  }
  localCache.putObject(key, list);
  if (ms.getStatementType() == StatementType.CALLABLE) {
    localOutputParameterCache.putObject(key, parameter);
  }
  return list;
}

如果查不到的话,就从数据库查,在queryFromDatabase中调用doQuery方法,查询到结果后localcache进行写入, localcache对象的put方法最终交给Map进行存放。

二级缓存

二级缓存的原理和一级缓存原理一样,第一次查询,会将数据放入缓存中,然后第二次查询则会直接去缓存中取。但是一级缓存是基于sqlSession的,而二级缓存是基于mapper文件的namespace的,也就是说多个sqlSession可以共享一个mapper中的二级缓存区域,并且如果两个mapper的namespace 相同,即使是两个mapper,那么这两个mapper中执行sql查询到的数据也将存在相同的二级缓存区域中
肝了一早上,终于把mybatis的一级缓存和二级缓存原理搞懂了~_第12张图片

如何使用二级缓存

① 、开启二级缓存
和一级缓存默认开启不一样,二级缓存需要我们手动开启。首先在全局配置文件sqlMapConfig.xml文件中加入如下代码。



    

其次在UserMapper.xml文件中开启缓存






    


    
        
        
    


    

	 



我们可以看到mapper.xml文件中就这么一个空标签,其实这里可以配置,PerpetualCache这个类是mybatis默认实现缓存功能的类。我们不写type就使用mybatis默认的缓存,也可以去实现Cache接口来自定义缓存。
肝了一早上,终于把mybatis的一级缓存和二级缓存原理搞懂了~_第13张图片

PerpetualCache类

public class PerpetualCache implements Cache {
private final String id;
private Map cache = new HashMap();
}

我们可以看到二级缓存底层还是HashMap结构
肝了一早上,终于把mybatis的一级缓存和二级缓存原理搞懂了~_第14张图片

public class User implements Serializable(
//用户ID
private int id;
//用户姓名
private String username;
//用户性别
private String sex;
}

开启了二级缓存后,还需要将要缓存的pojo实现Serializable接口,为了将缓存数据取出执行反序列化操 作,因为二级缓存数据存储介质多种多样,不一定只存在内存中,有可能存在硬盘中,如果我们要再取 这个缓存的话,就需要反序列化了。所以mybatis中的pojo都去实现Serializable接口

③、测试

  • 测试二级缓存和sqlSession无关
@Test
public void SecondLevelCache(){
   //根据 sqlSessionFactory 产生 session
    InputStream resourceAsStream =Resources.getResourceAsStream("sqlMapConfig.xml");
    SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(resourceAsStream);
    SqlSession sqlSession1 = sqlSessionFactory.openSession();
    SqlSession sqlSession2 = sqlSessionFactory.openSession();
    SqlSession sqlSession3 = sqlSessionFactory.openSession();


    IUserMapper mapper1 = sqlSession1.getMapper(IUserMapper.class);
    IUserMapper mapper2 = sqlSession2.getMapper(IUserMapper.class);
    IUserMapper mapper3 = sqlSession3.getMapper(IUserMapper.class);

    //第一次查询,发出sql语句,并将查询的结果放入缓存中
    User user1 = mapper1.findUserById(1);
    sqlSession1.close(); //清空一级缓存 ;第一次查询完后关闭 sqlSession



//第二次查询,即使sqlSession1已经关闭了,这次查询依然不发出sql语句

   User u2 = mapper1.findUserById(1);
   System.out.println(u2);
    sqlSession2.close();

}

可以看出上面两个不同的sqlSession,第一个关闭了,第二次查询依然不发出sql查询语句

  • 测试执行commit()操作,二级缓存数据清空
@Test
public void testTwoCache(){
  //根据 sqlSessionFactory 产生 session
    SqlSession sqlSession1 = sessionFactory.openSession();
    SqlSession sqlSession2 = sessionFactory.openSession();
    SqlSession sqlSession3 = sessionFactory.openSession();
    String statement = "com.lagou.pojo.UserMapper.selectUserByUserld" ;
    UserMapper userMapper1 = sqlSession1.getMapper(UserMapper. class );
    UserMapper userMapper2 = sqlSession2.getMapper(UserMapper. class );
    UserMapper userMapper3 = sqlSession2.getMapper(UserMapper. class );


    //第一次查询,发出sql语句,并将查询的结果放入缓存中
    User u1 = userMapperl.selectUserByUserId( 1 );
    System.out.println(u1);
    sqlSessionl .close(); //第一次查询完后关闭sqlSession
    //执行更新操作,commit()


    u1.setUsername( "aaa" );
    userMapper3.updateUserByUserId(u1);
    sqlSession3.commit();


    //第二次查询,由于上次更新操作,缓存数据已经清空(防止数据脏读),这里必须再次发出sql语
    User u2 = userMapper2.selectUserByUserId( 1 );
    System.out.println(u2);
   sqlSession2.close();
}

查看控制台情况:
肝了一早上,终于把mybatis的一级缓存和二级缓存原理搞懂了~_第15张图片

④、useCache和flushCache

mybatis中还可以配置userCache和flushCache等配置项,userCache是用来设置是否禁用二级缓 存的,在statement中设置useCache=false可以禁用当前select语句的二级缓存,即每次查询都会发出 sql去查询,默认情况是true,即该sql使用二级缓存


这种情况是针对每次查询都需要最新的数据sql,要设置成useCache=false,禁用二级缓存,直接从数 据库中获取。

在mapper的同一个namespace中,如果有其它insert、update, delete操作数据后需要刷新缓 存,如果不执行刷新缓存会出现脏读。

设置statement配置中的flushCache="true”属性,默认情况下为true,即刷新缓存,如果改成false则 不会刷新。使用缓存时如果手动修改数据库表中的查询数据会出现脏读。


一般下执行完commit操作都需要刷新缓存,flushCache=true表示刷新缓存,这样可以避免数据库脏读。所以我们不用设置,默认即可。

二级缓存整合redis

上面介绍了 mybatis自带的二级缓存,但是这个缓存是单服务器工作,无法实现分布式缓存。 那么什么是分布式缓存呢?假设现在有两个服务器1和2,用户访问的时候访问了 1服务器,查询后的缓 存就会放在1服务器上,假设现在有个用户访问的是2服务器,那么他在2服务器上就无法获取刚刚那个缓存,如下图所示。
肝了一早上,终于把mybatis的一级缓存和二级缓存原理搞懂了~_第16张图片

为了解决这个问题,就得找一个分布式的缓存,专门用来存储缓存数据的,这样不同的服务器要缓存数据都往它那里存,取缓存数据也从它那里取,如下图所示:
肝了一早上,终于把mybatis的一级缓存和二级缓存原理搞懂了~_第17张图片

如上图所示,在几个不同的服务器之间,我们使用第三方缓存框架,将缓存都放在这个第三方框架中,然后无论有多少台服务器,我们都能从缓存中获取数据。这里我们介绍mybatis与redis的整合。

刚刚提到过,mybatis提供了一个cache接口,如果要实现自己的缓存逻辑,实现cache接口开发即可。mybatis提供了一个针对cache接口的redis实现类,该类存在mybatis-redis包中.
实现:

1.pom文件


    org.mybatis.caches
    mybatis-redis
    1.0.0-beta2

2.配置文件

Mapper.xml …指定cache的type为 redis缓存





	 
	

3.redis.properties

redis.host=localhost
redis.port=6379
redis.connectionTimeout=5000
redis.password=
redis.database=0

4.测试

@Test
public void SecondLevelCache(){
    SqlSession sqlSession1 = sqlSessionFactory.openSession();
    SqlSession sqlSession2 = sqlSessionFactory.openSession();
    SqlSession sqlSession3 = sqlSessionFactory.openSession();


    IUserMapper mapper1 = sqlSession1.getMapper(IUserMapper.class);
    IUserMapper mapper2 = sqlSession2.getMapper(IUserMapper.class);
    IUserMapper mapper3 = sqlSession3.getMapper(IUserMapper.class);


    User user1 = mapper1.findUserById(1);
    sqlSession1.close(); //清空一级缓存


    User user = new User();
    user.setId(1);
    user.setUsername("lisi");
    mapper3.updateUser(user);
    sqlSession3.commit();

    User user2 = mapper2.findUserById(1);
    System.out.println(user1==user2);
}

执行以后,就可以去redis中查看到缓存的信息。

RedisCache缓存源码分析

我们可以在mybtis-redis包下找到源码
肝了一早上,终于把mybatis的一级缓存和二级缓存原理搞懂了~_第18张图片

点进去可以查看到RedisCache和大家普遍实现Mybatis的缓存方案大同小异,无非是实现Cache接口。并使用jedis操作缓存

public final class RedisCache implements Cache {
    private final ReadWriteLock readWriteLock = new DummyReadWriteLock();
    private String id;
    private static JedisPool pool;


    public RedisCache(String id) {
        if (id == null) {
            throw new IllegalArgumentException("Cache instances require an ID");
        } else {
            this.id = id;
            RedisConfig redisConfig = RedisConfigurationBuilder.getInstance().parseConfiguration();
            pool = new JedisPool(redisConfig, redisConfig.getHost(), redisConfig.getPort(), redisConfig.getConnectionTimeout(), redisConfig.getSoTimeout(), redisConfig.getPassword(), redisConfig.getDatabase(), redisConfig.getClientName());
        }
    }
}

RedisCache在mybatis启动的时候,由MyBatis的CacheBuilder创建,创建的方式很简单,就是调用RedisCache的带有String参数的构造方法,即RedisCache(String id);而在RedisCache的构造方法中,调用了RedisConfigurationBuilder来创建 RedisConfig 对象,并使用 RedisConfig 来创建JedisPool。

RedisConfig类继承了 JedisPoolConfig,并提供了 host,port等属性的包装,简单看一下RedisConfig的属性:

public class RedisConfig extends JedisPoolConfig {
    private String host = "localhost";
    private int port = 6379;
    private int connectionTimeout = 2000;
    private int soTimeout = 2000;
    private String password;
    private int database = 0;
    private String clientName;

    public RedisConfig() {
    }
}

RedisConfig对象是由RedisConfigurationBuilder创建的,简单看下这个类的主要方法:

public RedisConfig parseConfiguration(ClassLoader classLoader) {
    Properties config = new Properties();
    //读取配置文件
    InputStream input = classLoader.getResourceAsStream(this.redisPropertiesFilename);
    if (input != null) {
        try {
            config.load(input);
        } catch (IOException var12) {
            throw new RuntimeException("An error occurred while reading classpath property '" + this.redisPropertiesFilename + "', see nested exceptions", var12);
        } finally {
            try {
                input.close();
            } catch (IOException var11) {
            }


        }
    }


    RedisConfig jedisConfig = new RedisConfig();
    this.setConfigProperties(config, jedisConfig);
    return jedisConfig;
}

核心的方法就是parseConfiguration方法,该方法从classpath中读取一个redis.properties文件

host=localhost
port=6379
connectionTimeout=5000
soTimeout=5000
password= database=0 
clientName=

并将该配置文件中的内容设置到RedisConfig对象中,并返回;接下来,就是RedisCache使用RedisConfig类创建完成redisPool。在RedisCache中实现了一个简单的模板方法,用来操作Redis:

private Object execute(RedisCallback callback) {
    Jedis jedis = pool.getResource();
    try {
    return callback.doWithRedis(jedis);
    } finally {
    jedis.close();
    }
}

模板接口为RedisCallback,这个接口中就只需要实现了一个doWithRedis方法而已:

public interface RedisCallback {
    Object doWithRedis(Jedis var1);
}

接下来看看Cache中最重要的两个方法:putObject和getObject,通过这两个方法来查看mybatis-redis储存数据的格式:

public void putObject(final Object key, final Object value) {
    this.execute(new RedisCallback() {
        public Object doWithRedis(Jedis jedis) {
            jedis.hset(RedisCache.this.id.toString().getBytes(), key.toString().getBytes(), SerializeUtil.serialize(value));
            return null;
        }
    });
}


public Object getObject(final Object key) {
    return this.execute(new RedisCallback() {
        public Object doWithRedis(Jedis jedis) {
            return SerializeUtil.unserialize(jedis.hget(RedisCache.this.id.toString().getBytes(), key.toString().getBytes()));
        }
    });
}

可以很清楚的看到,mybatis-redis在存储数据的时候,是使用的hash结构,把cache的id作为这个hash 的key

cache的id在mybatis中就是mapper的namespace

这个mapper中的查询缓存数据作为hash的field,需要缓存的内容直接使用SerializeUtil存储,SerializeUtil和其他的序列化类差不多,负责对象的序列化和反序列化。

肝了一早上,终于把一级、二级缓存搞懂了

肝了一早上,终于把mybatis的一级缓存和二级缓存原理搞懂了~_第19张图片

你看懂了吗???

有兴趣的老爷,可以关注我的公众号【一起收破烂】,回复【006】获取2021最新java面试资料以及简历模型120套哦~
在这里插入图片描述

你可能感兴趣的:(mysql,java,mybatis源码分析,mybatis一级缓存,二级缓存)