caffeine在项目中的实践

情景：

在一次服务改造过程中，将一些上报性质的业务与主业务进行剥离出来，中间需要对数据字段进行填充，会产生很多次的RPC，或者其他的IO操作，为了避免频繁的RPC或者IO操作，从而提升整个业务的处理耗时，所以对其中的大部分数据进行缓存

方案一：

首先第一跳出来的本地缓存框架是使用guava，因为在内部其他同事负责的模块里面有使用这个内存框架的业务，所以上手起来比较容易，出问题起来也比较好解决；so，最初方案选择就是基于guava去实现了这部分功能，并且也上线了，具体用法这里不做赘述，毕竟网上对guava的介绍还是很多，可以自行百度；

上线后出现的问题：
问题1: 机器cpu使用率不高，但是load负载呈周期性变化，每80-90分钟就会出现一个突刺；（怀疑可能与缓存框架有关，查询其他的指标例如磁盘io，线程数过多等都在正常值）

问题2:对guava的一些策略使用的不够正确，最开始使用的expireAfterWrite，导致刷新的时候可能会阻塞；当使用refreshAfterWrite策略时，没有配置expireAfterWrite，就会产生过期的key不会被回收，因为refresh是基于get请求来刷新对应key，同时因为加载的时候走的是同步加载会阻塞当前的进程，影响整体性能；

以上问题给予guava缓存可以通过一些复杂的改造方案去实现它的功能，解决以上的问题，由于同事的推荐建议考虑学习下caffeine，也是基于guava cache做的，so，我去了解并且学习了下；

方案二：

Caffeine是基于JAVA 1.8 Version的高性能缓存库。Caffeine提供的内存缓存使用参考Google guava的API。Caffeine是基于Google Guava Cache设计经验上改进的成果；
看上以上这段文字以后，我就喜欢这个框架了，因为本人比较熟悉java1.8；
查询github上的一些文档以及官方性能对比；

image.png

image.png

image.png

引自文章链接：https://www.jianshu.com/p/3434991ad075
可以看到Caffeine的性能是最高的，并且相关的文档也比较成熟；所以果断进行改造；

使用方式有很多种，但是我查询了下缺少一些异步加载demo，所以我这楼阐述下异步加载的方式：
构造cache

private ExecutorService commonExecutorService;

AsyncLoadingCache>  ramCache = Caffeine.newBuilder().executor(commonExecutorService).expireAfterAccess(timeOut, TimeUnit.SECONDS)
                .refreshAfterWrite(180, TimeUnit.SECONDS).initialCapacity(16).maximumSize(500)
                .removalListener((com.github.benmanes.caffeine.cache.RemovalListener>) (key, value, cause) -> log.info("key:[{}],value:[{}]被移除了,原因:{}", key, value,cause))
                .buildAsync(new AsyncCacheLoader>() {
                    @Override
                    public @NonNull CompletableFuture> asyncLoad(@NonNull String key, @NonNull Executor executor) {
                  
                      //记载缓存的业务方法
                        },executor);
                    }
                });
//以上是构造了一个异步加载的本地缓存，传入了自定义的线程池，设置了两种策略，一种是基于最后一次访问的时间过期策略，一种是基于时间的刷新策略，
初始大小为16，最大为500，并设置了监听器，打印相关日志，设置异步加载策略，里面使用传入的线程池进行加载
注意：本地缓存里如果需要放null值的话，必须用optional，否则会报错；
其余使用方式与guava cache一致