guava cache与编程实践

Guava-cache

    guava cache是google开源代码库中的一个辅助功能模块，可以作为JVM嵌入式cache来使用，基于key-value模型。对于Rdedis、Memcached，这种缓存系统，我们称之为“分布式缓存”，它们通过集群扩容，可以将海量数据cache在远端。而guava cache，作为“嵌入式cache”，这些cache的数据寄宿在当前JVM堆中，和JVM进程具有共同生命周期。它具备如下特点：

• 占用JVM内存，内部数据结构类似于ConcurrentHashMap。
• 因为JVM堆大小的限制，guava cache只能保存较少的数据量，不能超过JVM Heap。
• 相对Redis等“分布式缓存”，它本身不需要RPC调用，性能较高。

    如果你的系统中，有一种数据符合“尺寸较小”、“高频的读取操作”、“变更操作较少”，那么使用guava cache这种“嵌入式缓存”，将非常适合，它将会带来巨大的性能提升。

 

    Guava cache读取过程也符合“get-if-absent-compute”语义，即如果本地缓存中有，则返回对应value，如果key不存在，则通过“加载机制”获取新的value。

• 通过Cache.put相关方法，将key-value加入缓存。
• 通过Cache.get，从cache中获取key对应的value。
• 通过Cache.invalidate，将key-value通缓存中移除。

 

CacheBuilder：用来构建Cache，可以在构建时指定一些全局的参数。

CacheBuilder cacheBuilder = CacheBuilder.newBuilder()
                .concurrencyLevel(Runtime.getRuntime().availableProcessors() - 1)
                .initialCapacity(1024);
//maxCacheSize由外部注入,表示cache中保存的key的最大条数
if(maxCacheSize > 0) {
	cacheBuilder.maximumSize(maxCacheSize);
}else if(maxKeysWeight > 0) {
//maxKeysWeight由外部注入，逻辑上用来表示一种“权重”，
//本例中,我们将key所占的字节数，作为weight。
//当cache中所有的“weight”总和达到maxKeyWeight时，将会触发“剔除策略”。
	cacheBuilder.maximumWeight(maxKeysWeight)
			.weigher(new Weigher<String, Object>() {
				@Override
				public int weigh(String key, Object value) {
					//粗略估计,不适用key.getBytes,避免一次不必要的解析与copy
					return key.length();
				}
			});
}

 

    需要注意，在Guava Cache中，“maximumSize”和“maximumWeight”两种控制cache量的参数，是互斥的，即同时只能设置其中一个。

 

    如果cache中不存在Key，那么意味着这个key的数据需要从一个可靠的地方load，我们有2中方式：

1、通过CacheLoader：

LoadingCache cache = cacheBuilder.build(new CacheLoader<String, Object>() {
                    //如果loader中返回null，则使用NULL占位符替代。
                    public Object load(String key) throws Exception {
                        if(valueLoader == null) {
                            return NULL;
                        }
                        Object value = valueLoader.get(key);
                        if(value == null) {
                            value = NULL;
                        }
                        return value;
                    }
                });

 

    其中valueLoader，是一个自定义的加载器，我们假定valueLoader.get方法，是通过redis从远端获取新的数据。CacheLoader的适应场景就是：当Guava Cache中没有key时，将会通过其load方法加载数据，并保存在Cache中。load方法不能返回NULL。

 

2、通过Callable：

    1)中，LoadingCache这个类通过和CacheLoader配合，完成Key的延迟加载。当然如果你不想使用CacheLoader这种统筹的方式，可以使用Callable接口， 那么你可以在需要的地方，使用Callable来自定义load操作。

Cache<String,Object> cache = cacheBuilder.build();
cache.get("user_id_10000", new Callable<Object>() {
	@Override
	public Object call() throws Exception {
		return redisClient.get("user_id_10000");
	}
});

 

    跟CacheLoader一样，callable.call方法返回的数据也会保存在Cache中。

 

Cache中数据“剔除”(Eviction)

    用户对cache的盲目使用，可能导致cache中数据不断增大，一个残酷的现实就是RAM资源非常有限，所以我们需要将那些不常用的数据移除，Guava cache基于LRU策略剔除数据，开发者只需要控制剔除数据的时机即可。

 

1、Size-based

    通过上述例子，我们已经知道可以通过CacheBuilder.maximumSize(long)方法指定cache中允许的key的个数。如果key的个数即将超过阀值(边际)，将会根据LRU算法，剔除那些不常用的K-V。

 

    此外，如果你的每个Key-Value有不同的“weights”--比如每个K-V占用不同的内存量，我们可以用“weight”来描述这一指标。通过使用CacheBuilder.maximumWeights(long)和CacheBuilder.weigher(Weigher)来达成这一目的，当cache中put一个key时，都会计算它的weight值，并累加，当达到maximumWeight阀值时，会触发剔除操作。

 

2、Timed Eviction

    CacheBuilder提供了2中基于“时间”的剔除方式：

• expireAfterAccess(long,TimeUnit)：当key在被“read/write”操作之后，空闲多久后被删除。
• expireAfterWrite(long,TimeUnit)：当key被write(put或者reload)操作之后，空闲多久后被删除。

3、Reference-based

    JAVA中，一个对象的引用类型分为“强、弱、软”(还有“虚引用”)，Guava Cache中也可以根据Key或者Value的引用类型，并结合GC，来完成cache数据的剔除。

• CacheBuilder.weakKeys()：将key存为WeakReference，如果JVM中，此key没有任何被任何“强引用”、“软引用”对象引用它，那么此K-V将会从cache中移除。
• CacheBuilder.weakValues()：同上。
• CacheBuilder.softValues()：同上。

“显性”移除

• Cache.invalidate(key)
• Cache.invalidateAll(keys)
• Cache.invalidateAll()：移除所有的数据

    CacheBuilder不会在数据过期时立即执行cleanup，这种数据剔除操作，通常是延迟的，在边际条件时，某些write或者read操作会触发cleanup。如果想更加及时的清理过期数据，那么需要自己去创建一个thread，然后周期性的执行cache.cleanUp()。Guava Cache并没有这么做，它主要考虑到，这种“cleanup”会和用户的正常操作产生“锁冲突”，对性能会有额外的干扰。如果开发者能够预料这种事情，那么你就可以这么做。