Redis管道Pipeline使用

Redis管道Pipeline使用

• 重要说明: 使用管道发送命令时，服务器将被迫回复一个队列答复，占用很多内存。所以，如果你需要发送大量的命令，最好是把他们按照合理数量分批次的处理，例如10K的命令，读回复，然后再发送另一个10k的命令，等等。

• 项目地址： https://github.com/csy512889371/learndemo/tree/master/ctoedu-redis

更多干货

• 分布式实战（干货）
• spring cloud 实战（干货）
• mybatis 实战（干货）
• spring boot 实战（干货）
• React 入门实战（干货）
• 构建中小型互联网企业架构（干货）

关于Pipeline 同步数据的问题

• A、Pipeline 有与redis形同的操作，但是在数据落盘的时候需要在执行的方法后添加sync()方法，如果insert时有多条数据，在数据拼接完之后，在执行sync()方法，这样可以提高效率。
• B、如果在hget()时没有sync()时会报，没有在hget()同步数据
• C、如果在hset(),hdel(),hget()获取数据时都没有执行sync()方法，但是在最后执行了pl.close()方法，Pipeline 同样会执行sync()方法

相关代码

• 不用pipeline存储数据
• 用pipeline存储数据
• 直接使用Jedis hgetall
• 使用pipeline hgetall

public static void main(String[] args) {
        Jedis jedis = new CtoeduJedisPool().getJedis();
        Map<String, String> data = new HashMap<String, String>();

        //不用pipeline存储数据
        //选择redis的库
        jedis.select(4);
        jedis.flushDB();
        long start = System.currentTimeMillis();
        for (int i = 0; i < 100000; i++) {
            data.clear();
            data.put("k_" + i, "v_" + i);
            jedis.hmset("k_" + i, data);
        }
        long end = System.currentTimeMillis();
        System.out.println("datasize=" + jedis.dbSize());
        System.out.println("hmset without pipeline used=" + (end - start) / 1000 + "seconds!");

        //用pipeline存储数据
        jedis.select(4);
        jedis.flushDB();
        Pipeline pipeline = jedis.pipelined();
        start = System.currentTimeMillis();
        for (int i = 0; i < 100000; i++) {
            data.clear();
            data.put("k_" + i, "v_" + i);
            pipeline.hmset("k_" + i, data);
        }
        pipeline.sync();
        end = System.currentTimeMillis();
        System.out.println("datasize=" + jedis.dbSize());
        System.out.println("hmset with pipeline used=" + (end - start) / 1000 + "seconds!");


        Set<String> keys = jedis.keys("*");
        // 直接使用Jedis hgetall
        start = System.currentTimeMillis();
        Map<String, Map<String, String>> result = new HashMap<String, Map<String, String>>();
        for (String key : keys) {
            result.put(key, jedis.hgetAll(key));
        }
        end = System.currentTimeMillis();
        System.out.println("result size:[" + result.size() + "] ..");
        System.out.println("hgetAll without pipeline used [" + (end - start) / 1000 + "] seconds ..");
        
		// 使用pipeline hgetall
        Map<String, Response<Map<String, String>>> responses =
                new HashMap<String, Response<Map<String, String>>>(
                        keys.size());
        result.clear();
        start = System.currentTimeMillis();
        for (String key : keys) {
            responses.put(key, pipeline.hgetAll(key));
        }
        pipeline.sync();
        for (String k : responses.keySet()) {
            result.put(k, responses.get(k).get());
        }
        end = System.currentTimeMillis();
        System.out.println("result size:[" + result.size() + "] ..");
        System.out.println("hgetAll with pipeline used [" + (end - start) / 1000 + "] seconds ..");
        jedis.disconnect();
    }