JedisClusterPipeLine扩展支持【线程安全版】-转

 

1.为什么要写这篇文章

由于使用redis cluster模式，在操作redis时，有时会有大量的命令，如果每次都进行提交，会非常慢（比如一分钟之内操作几百万次甚至千万次）。通过一次请求提交多个命令，这个在某些场景下，能够提升很多性能。

但是，查看jediscluster的代码，却发现其不支持pipeline。这就很郁闷了。通过在网上查询，我找到了这篇文章：

redis集群客户端JedisCluster优化 - 管道(pipeline)模式支持

于是，抱着试一试的心态，我拿到了这个源码。通过使用，我发现存在线程安全性问题。当然博主也在代码中注释了，not thread safe。我就想着能不能将其改成线程安全的，毕竟性能确实不错。

2.源码分析

下面是截取引用的博主中的segment

 

下面是我自己的优化

 

3.源码展示

package pipeline;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import redis.clients.jedis.*;
import redis.clients.jedis.exceptions.JedisMovedDataException;
import redis.clients.jedis.exceptions.JedisRedirectionException;
import redis.clients.util.JedisClusterCRC16;
import redis.clients.util.SafeEncoder;

import java.io.Closeable;
import java.lang.reflect.Field;
import java.util.*;

/**
 * 在集群模式下提供批量操作的功能。 

 * 由于集群模式存在节点的动态添加删除，且client不能实时感知（只有在执行命令时才可能知道集群发生变更），
 * 因此，该实现不保证一定成功，建议在批量操作之前调用 refreshCluster() 方法重新获取集群信息。

 * 应用需要保证不论成功还是失败都会调用close() 方法，否则可能会造成泄露。

 * 如果失败需要应用自己去重试，因此每个批次执行的命令数量需要控制。防止失败后重试的数量过多。

 * 基于以上说明，建议在集群环境较稳定（增减节点不会过于频繁）的情况下使用，且允许失败或有对应的重试策略。

 *
 * @author youaremoon
 * @since Ver 1.1
 */
public class JedisClusterPipeline extends PipelineBase implements Closeable {

    private static final Logger LOGGER = LoggerFactory.getLogger(JedisClusterPipeline.class);
    private static final String SPLIT_WORD = ":";

    // 部分字段没有对应的获取方法，只能采用反射来做
    // 你也可以去继承JedisCluster和JedisSlotBasedConnectionHandler来提供访问接口
    private static final Field FIELD_CONNECTION_HANDLER;
    private static final Field FIELD_CACHE;

    static {
        FIELD_CONNECTION_HANDLER = getField(BinaryJedisCluster.class, "connectionHandler");
        FIELD_CACHE = getField(JedisClusterConnectionHandler.class, "cache");
    }

    private JedisSlotBasedConnectionHandler connectionHandler;
    private JedisClusterInfoCache clusterInfoCache;
    private Queue clients = new LinkedList();   // 根据顺序存储每个命令对应的Client
    private Map> jedisMap = new HashMap>();   // 用于缓存连接
    private boolean hasDataInBuf = false;   // 是否有数据在缓存区


    public JedisClusterPipeline(JedisCluster jedisCluster) {
        setJedisCluster(jedisCluster);
    }


    /**
     * 刷新集群信息，当集群信息发生变更时调用
     *
     * @param
     * @return
     */
    public void refreshCluster() {
        connectionHandler.renewSlotCache();
    }

    /**
     * 同步读取所有数据. 与syncAndReturnAll()相比，sync()只是没有对数据做反序列化
     */
    public void sync() {
        innerSync(null);
    }

    @Override
    public void close() {
        clean();
        clients.clear();
        for (Map.Entry> poolEntry : jedisMap.entrySet()) {
            for (Map.Entry jedisEntry : poolEntry.getValue().entrySet()) {
                if (hasDataInBuf) {
                    flushCachedData(jedisEntry.getValue());
                }
                jedisEntry.getValue().close();
            }
        }
        jedisMap.clear();
        hasDataInBuf = false;
    }

    /**
     * 同步读取所有数据 并按命令顺序返回一个列表
     *
     * @return 按照命令的顺序返回所有的数据
     */
    public List