万字长文聊缓存（下）- 应用级缓存

深入解析SpringMVC核心原理：从手写简易版MVC框架开始(SmartMvc) : https://github.com/silently9527/SmartMvc

IDEA多线程文件下载插件: https://github.com/silently9527/FastDownloadIdeaPlugin

公众号：贝塔学JAVA

摘要

在上一篇文章 万字长文聊缓存（上）中，我们主要如何围绕着Http做缓存优化，在后端服务器的应用层同样有很多地方可以做缓存，提高服务的效率；本篇我们就来继续聊聊应用级的缓存。

缓存的命中率

缓存的命中率是指从缓存中获取到数据的次数和总读取次数的比率，命中率越高证明缓存的效果越好。这是一个很重要的指标，应该通过监控这个指标来判断我们的缓存是否设置的合理。

缓存的回收策略

基于时间

• 存活期：在设置缓存的同时设置该缓存可以存活多久，不论在存活期内被访问了多少次，时间到了都会过期
• 空闲期：是指缓存的数据多久没有被访问就过期

基于空间

设置缓存的存储空间，比如：设置缓存的空间是 1G，当达到了1G之后就会按照一定的策略将部分数据移除

基于缓存数量

设置缓存的最大条目数，当达到了设置的最大条目数之后按照一定的策略将旧的数据移除

基于Java对象引用

• 弱引用：当垃圾回收器开始回收内存的时候，如果发现了弱引用，它将立即被回收。
• 软引用：当垃圾回收器发现内存已不足的情况下会回收软引用的对象，从而腾出一下空间，防止发生内存溢出。软引用适合用来做堆缓存

缓存的回收算法

• FIFO 先进先出算法
• LRU 最近最少使用算法
• LFU 最不常用算法

Java缓存的类型

堆缓存

堆缓存是指把数据缓存在JVM的堆内存中，使用堆缓存的好处是没有序列化和反序列化的操作，是最快的缓存。如果缓存的数据量很大，为了避免造成OOM通常情况下使用的时软引用来存储缓存对象；堆缓存的缺点是缓存的空间有限，并且垃圾回收器暂停的时间会变长。

Gauva Cache实现堆缓存

Cache cache = CacheBuilder.newBuilder()
                .build();

通过CacheBuilder构建缓存对象

Gauva Cache的主要配置和方法

• put : 向缓存中设置key-value
• V get(K key, Callable loader) : 获取一个缓存值，如果缓存中没有，那么就调用loader获取一个然后放入到缓存
• expireAfterWrite : 设置缓存的存活期，写入数据后指定时间之后失效
• expireAfterAccess : 设置缓存的空闲期，在给定的时间内没有被访问就会被回收
• maximumSize : 设置缓存的最大条目数
• weakKeys/weakValues : 设置弱引用缓存
• softValues : 设置软引用缓存
• invalidate/invalidateAll: 主动失效指定key的缓存数据
• recordStats : 启动记录统计信息，可以查看到命中率
• removalListener : 当缓存被删除的时候会调用此监听器，可以用于查看为什么缓存会被删除

Caffeine实现堆缓存

Caffeine是使用Java8对Guava缓存的重写版本，高性能Java本地缓存组件，也是Spring推荐的堆缓存的实现，与spring的集成可以查看文档https://docs.spring.io/spring-framework/docs/current/reference/html/integration.html#cache-store-configuration-caffeine。

由于是对Guava缓存的重写版本，所以很多的配置参数都是和Guava缓存一致：

• initialCapacity: 初始的缓存空间大小
• maximumSize: 缓存的最大条数
• maximumWeight: 缓存的最大权重
• expireAfterAccess: 最后一次写入或访问后经过固定时间过期
• expireAfterWrite: 最后一次写入后经过固定时间过期
• expireAfter : 自定义过期策略
• refreshAfterWrite: 创建缓存或者最近一次更新缓存后经过固定的时间间隔，刷新缓存
• weakKeys: 打开key的弱引用
• weakValues：打开value的弱引用
• softValues：打开value的软引用
• recordStats：开启统计功能

Caffeine的官方文档：https://github.com/ben-manes/caffeine/wiki

1. pom.xml中添加依赖

    com.github.ben-manes.caffeine
    caffeine
    2.8.4

1. Caffeine Cache提供了三种缓存填充策略：手动、同步加载和异步加载。

• 手动加载：在每次get key的时候指定一个同步的函数，如果key不存在就调用这个函数生成一个值

public Object manual(String key) {
    Cache cache = Caffeine.newBuilder()
            .expireAfterAccess(1, TimeUnit.SECONDS) //设置空闲期时长
            .maximumSize(10)
            .build();
    return cache.get(key, t -> setValue(key).apply(key));
}

public Function setValue(String key){
    return t -> "https://silently9527.cn";
}

• 同步加载：构造Cache时候，build方法传入一个CacheLoader实现类。实现load方法，通过key加载value。

public Object sync(String key){
    LoadingCache cache = Caffeine.newBuilder()
            .maximumSize(100)
            .expireAfterWrite(1, TimeUnit.MINUTES) //设置存活期时长
            .build(k -> setValue(key).apply(key));
    return cache.get(key);
}

public Function setValue(String key){
    return t -> "https://silently9527.cn";
}

• 异步加载：AsyncLoadingCache是继承自LoadingCache类的，异步加载使用Executor去调用方法并返回一个CompletableFuture

public CompletableFuture async(String key) {
    AsyncLoadingCache cache = Caffeine.newBuilder()
            .maximumSize(100)
            .expireAfterWrite(1, TimeUnit.MINUTES)
            .buildAsync(k -> setAsyncValue().get());
    return cache.get(key);
}

public CompletableFuture