前言
工作中要使用redis作为cache server,目前应用是SSH架构,redis官方推荐的java客户端jedis,这里记录我使用过程中的问题和解决办法,jedis版本是2.1.0。
Jedis的框架概览
Jedis使用了apache commons-pool库,用来实现连接redis客户端的池子。
commons-pool库中有三个类:GenericObjectPool、PoolableObjectFactory、Config,其中:
PoolableObjectFactory:表示一个对象工厂,含有能控制一个对象生命周期的方法,如创建、销毁、验证、激活、失效等操作;
GenericObjectPool:表示了一个抽象的、支持泛型的对象池,ta内部包含从池中取出、退还、验证对象等操作(使用对象工厂PoolableObjectFactory来完成相应操作),并且记录了当前池中的active、idle对象的个数;
Config:则表示一个对象池的配置,配置参数包括:最大active、最大idle、最大wait毫秒数等。
Jedis中比较重要的几个类:
Jedis:表示一个Jedis Cilent示例;
Pool:继承自GenericObjectPool,表示一个支持泛型的对象池,构造方法接受Config和PoolableObjectFactory参数,使用代理模式(内部有一个GenericObjectPool对象),并提供了getResource、returnResource等操作(通过PoolableObjectFactory的操作来完成);【这个对象,被jedis放在了util包中,ta是个对象池工具类,可直接用于其他对象实现对象池。】
JedisPool:继承自Pool,利用Pool对泛型的支持实现了一个Jedis对象的对象池;
JedisFactory:继承自PoolableObjectFactory,包含了Jedis对象的生命周期管理;
JedisPoolConfig:继承自Config,ta只是为了方便与IoC容器(.java文件中有与Spring集成的示例代码)的集成,Config的各个类增加setter/getter方法;
【在Jedis中,与redis的pub/sub、pipeline、sharded等,暂时没用到,所以也没去看】
Jedis的使用
1.如何管理Jedis实例
Jedis在github上的readme中,介绍了最简单的Jedis实例使用方法,如下:
Jedis jedis = new Jedis("localhost");
jedis.set("foo", "bar");
String value = jedis.get("foo");
上面的方式虽然简单,但不能在实际项目中使用。如果用单例模式,必然影响并发;如果创建多个jedis实例,就必须采用池的模式,否则新建/销毁的开销受不了。
还好Jedis没给出如何使用Pool,不过还好有代码,通过看代码,在JedisPoolConfig.java文件中有如下描述:
Spring example:
*
* name="testWhileIdle" value="true"/>
*
*
* destroy-method="destroy">
*
* value="6379" />
【摘自于 https://github.com/xetorthio/jedis/blob/master/src/main/java/redis/clients/jedis/JedisPoolConfig.java】
既然ta能跟Spring方便实现IoC,就继续看JedisPool和JedisPoolConfig的代码,才发现他们是如何利用commons-pool库的。
所以有两种靠谱儿方式来使用Jedis实例:
1.如果在IoC容器中,可直接使用上面的方式配置到Spring配置文件中;
2.如果没IoC容器,就可以直接new JedisPool(JedisPoolConfig, JedisFactory)来创建一个JedisPool实例来管理Jedis实例;
2.JedisPool如何管理Jedis实例
Jedis实例都在JedisPool中,所以:
1->获取Jedis实例需要从JedisPool中获取;
2->用完Jedis实例需要还给JedisPool;
3->如果Jedis在使用过程中出错,则也需要还给JedisPool;
总结以上三点,可以用下面一段代码来实现:
JedisPool pool = null;
Jedis instance = null;
pool = new JedisPool(poolConfig, "10.1.81.194", 6379);
boolean borrowOrOprSuccess = true;
try {
instance = pool.getResource();
// do redis opt by instance
…………………………………………………………………………
} catch (JedisConnectionException e) {
borrowOrOprSuccess = false;
if (instance != null)
pool.returnBrokenResource(instance);
} finally {
if (borrowOrOprSuccess)
pool.returnResource(instance);
}
1->虽然抛出JedisConnectionException,但实际上有两类错误,一类是pool.getReource(),得不到可用的jedis实例;另一类是jedis.set/get时出错也会抛出这个Exception;为了实现区分,所以根据instance是否为null来实现,如果为空就证明instance根本就没初始化,也就不用return给pool;如果instance不为null,则证明是需要返还给pool的;
2->在instance出错时,也要调用returnBrokenResource返还给pool,否则下次通过getResource得到的instance的缓冲区可能还存在数据,出现问题!
3.如何配置Pool的参数
JedisPool的配置参数很大程度上依赖于实际应用需求、软硬件能力。以前没用过commons-pool,所以这次花了一整间专门看这些参数的含义。。。JedisPool的配置参数大部分是由JedisPoolConfig的对应项来赋值的。
maxActive:控制一个pool可分配多少个jedis实例,通过pool.getResource()来获取;如果赋值为-1,则表示不限制;如果pool已经分配了maxActive个jedis实例,则此时pool的状态就成exhausted了,在JedisPoolConfig
maxIdle:控制一个pool最多有多少个状态为idle的jedis实例;
whenExhaustedAction:表示当pool中的jedis实例都被allocated完时,pool要采取的操作;默认有三种WHEN_EXHAUSTED_FAIL(表示无jedis实例时,直接抛出NoSuchElementException)、WHEN_EXHAUSTED_BLOCK(则表示阻塞住,或者达到maxWait时抛出JedisConnectionException)、WHEN_EXHAUSTED_GROW(则表示新建一个jedis实例,也就说设置的maxActive无用);
maxWait:表示当borrow一个jedis实例时,最大的等待时间,如果超过等待时间,则直接抛出JedisConnectionException;
testOnBorrow:在borrow一个jedis实例时,是否提前进行alidate操作;如果为true,则得到的jedis实例均是可用的;
testOnReturn:在return给pool时,是否提前进行validate操作;
testWhileIdle:如果为true,表示有一个idle object evitor线程对idle object进行扫描,如果validate失败,此object会被从pool中drop掉;这一项只有在timeBetweenEvictionRunsMillis大于0时才有意义;
timeBetweenEvictionRunsMillis:表示idle object evitor两次扫描之间要sleep的毫秒数;
numTestsPerEvictionRun:表示idle object evitor每次扫描的最多的对象数;
minEvictableIdleTimeMillis:表示一个对象至少停留在idle状态的最短时间,然后才能被idle object evitor扫描并驱逐;这一项只有在timeBetweenEvictionRunsMillis大于0时才有意义;
softMinEvictableIdleTimeMillis:在minEvictableIdleTimeMillis基础上,加入了至少minIdle个对象已经在pool里面了。如果为-1,evicted不会根据idle time驱逐任何对象。如果minEvictableIdleTimeMillis>0,则此项设置无意义,且只有在timeBetweenEvictionRunsMillis大于0时才有意义;
lifo:borrowObject返回对象时,是采用DEFAULT_LIFO(last in first out,即类似cache的最频繁使用队列),如果为False,则表示FIFO队列;
其中JedisPoolConfig对一些参数的默认设置如下:
testWhileIdle=true
minEvictableIdleTimeMills=60000
timeBetweenEvictionRunsMillis=30000
numTestsPerEvictionRun=-1
4.在spring中如何使用jedis
在上面1中介绍了如何在spring的context.xml中如何配置JedisPool。
【未完待续:随着项目的进行,会继续使用jedis,未来在使用过程中继续完善此文档。】