redis 提高

1：线程池：JedisPool

在多线程下使用Jedis 

       在不同的线程中使用相同的Jedis实例会发生奇怪的错误。但是创建太多的实现也不好因为这意味着会建立很多sokcet连接，也会导致奇怪的错误发生。单一Jedis实例不是线程安全的。为了避免这些问题，可以使用JedisPool, JedisPool是一个线程安全的网络连接池。可以用JedisPool创建一些可靠Jedis实例，可以从池中拿到Jedis的实例。这种方式可以解决那些问题并且会实现高效的性能. 

 

须要commons-pool包和jedis.jar 2.1

maven

<dependency>
<groupId>commons-pool</groupId>
<artifactId>commons-pool</artifactId>
<version>1.5.4</version>
</dependency>
<dependency>
<groupId>redis.clients</groupId>
<artifactId>jedis</artifactId>
<version>2.1.0</version>
</dependency>

 代码 ：

 

import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;
import redis.clients.jedis.exceptions.JedisException;

public class PoolTest {

	public static void main(String[] args) {
		PoolTest pool = new PoolTest();
		System.out.println(pool.set("a", "b"));
	}

	public String set(String key, String value) {
		JedisPool pool = getPool("192.168.230.131", 6379);
		Jedis jedis = null;
		boolean success = true;
		try {
			jedis = pool.getResource();
			return jedis.set(key, value);
		} catch (JedisException e) {
			success = false;
			if (jedis != null) {
				pool.returnBrokenResource(jedis);
			}
			throw e;
		} finally {
			if (success && jedis != null) {
				pool.returnResource(jedis);
			}
		}
	}

	public JedisPool getPool(String host, int poth) {
		JedisPoolConfig config = new JedisPoolConfig();
		config.setMaxActive(500);
		config.setMaxIdle(5);
		config.setMaxWait(1000 * 100);
		config.setTestOnBorrow(true);
		JedisPool pool = new JedisPool(config, host, poth);
		return pool;
	}
}

 

 JedisPoolConfig 配置详解

 

 

maxActive：控制一个pool可分配多少个jedis实例，通过pool.getResource()来获取；如果赋值为-1，则表示不限制；如果pool已经分配了maxActive个jedis实例，则此时pool的状态为exhausted。

maxIdle：控制一个pool最多有多少个状态为idle(空闲)的jedis实例；

whenExhaustedAction：表示当pool中的jedis实例都被allocated完时，pool要采取的操作；默认有三种。
WHEN_EXHAUSTED_FAIL --> 表示无jedis实例时，直接抛出NoSuchElementException；
WHEN_EXHAUSTED_BLOCK --> 则表示阻塞住，或者达到maxWait时抛出JedisConnectionException；
WHEN_EXHAUSTED_GROW --> 则表示新建一个jedis实例，也就说设置的maxActive无用；

maxWait：表示当borrow一个jedis实例时，最大的等待时间，如果超过等待时间，则直接抛出JedisConnectionException；

testOnBorrow：在borrow一个jedis实例时，是否提前进行alidate操作；如果为true，则得到的jedis实例均是可用的；

testOnReturn：在return给pool时，是否提前进行validate操作；

testWhileIdle：如果为true，表示有一个idle object evitor线程对idle object进行扫描，如果validate失败，此object会被从pool中drop掉；这一项只有在timeBetweenEvictionRunsMillis大于0时才有意义；

timeBetweenEvictionRunsMillis：表示idle object evitor两次扫描之间要sleep的毫秒数；

numTestsPerEvictionRun：表示idle object evitor每次扫描的最多的对象数；

minEvictableIdleTimeMillis：表示一个对象至少停留在idle状态的最短时间，然后才能被idle object evitor扫描并驱逐；这一项只有在timeBetweenEvictionRunsMillis大于0时才有意义；

softMinEvictableIdleTimeMillis：在minEvictableIdleTimeMillis基础上，加入了至少minIdle个对象已经在pool里面了。如果为-1，evicted不会根据idle time驱逐任何对象。如果minEvictableIdleTimeMillis>0，则此项设置无意义，且只有在timeBetweenEvictionRunsMillis大于0时才有意义；

lifo：borrowObject返回对象时，是采用DEFAULT_LIFO（last in first out，即类似cache的最频繁使用队列），如果为False，则表示FIFO队列；

其中JedisPoolConfig对一些参数的默认设置如下：
testWhileIdle=true
minEvictableIdleTimeMills=60000
timeBetweenEvictionRunsMillis=30000
numTestsPerEvictionRun=-1

 参拷 ：http://flyingsnail.blog.51cto.com/5341669/1371650

             http://www.cnblogs.com/linjiqin/archive/2013/06/14/3135248.html

             http://blog.csdn.net/iterjpnic/article/details/8101496

             http://blog.csdn.net/luyee2010/article/details/17580381

 

2：管道 Pipeline 实现批量处理

 

import org.apache.commons.lang.math.RandomUtils;

import redis.clients.jedis.Jedis;
import redis.clients.jedis.Pipeline;

public class PoolTest {

	public static void main(String[] args) {
		Jedis jedis = new Jedis("192.168.230.131", 6379); // redis服务地址和端口号
		Pipeline p = jedis.pipelined();
		 int index = 0;  
	        for (int i = 0; i < 10000; i++) {  
	            String key = RandomUtils.nextInt(5) + "";  
	            for (int j = 0; j < 10; j++) {  
	                p.hset(key, j + "", i + j + "");  
	                p.expire(key, 3600);  
	            }  
	            if (++index % 1000 == 0) {  
	                p.sync();  
	            }  
	        }  
	        p.sync();  
	}

}

 太多数据批量提交，服务端可能有内存问题

 参考：http://zhousheng29.iteye.com/blog/1332664

            http://www.blogways.net/blog/2013/05/05/redis-usage-2.html

 

问题：redis pool  [B cannot be cast to java.util.List

出现问题的原因是jedis多线程操作时，一个线程取信息残留另一个取时会报类型转换异常

我操作时使用了Pipeline提交信息，但又用它的jedis对象读了信息，会报这个问题

 

写道

a、获取jedis实例时，实际上可能有两类错误。
一类是pool.getReource()，得不到可用的jedis实例；
另一类是jedis.set/get时出错也会抛出异常；
为了实现区分，所以根据instance是否为null来实现，如果为空就证明instance根本就没初始化，也就不用return给pool；如果instance不为null，则证明是需要返还给pool的；

b、在instance出错时，必须调用returnBrokenResource返还给pool，否则下次通过getResource得到的instance的缓冲区可能还存在数据，出现问题！