Redis原理4-高并发实战

Redis 客户端

客户端通信原理

客户端和服务器通过TCP 连接来进行数据交互， 服务器默认的端口号为6379 。
客户端和服务器发送的命令或数据一律以\r\n （CRLF 回车+换行）结尾。

客户端跟Redis 之间使用一种特殊的编码格式（在AOF 文件里面我们看到了），叫做Redis Serialization Protocol (Redis 序列化协议)。特点：容易实现、解析快、可读性强。客户端发给服务端的消息需要经过编码，服务端收到之后会按约定进行解码，反之亦然。
基于此，我们可以自己实现一个Redis 客户端。
1、建立Socket 连接
2、OutputStream 写入数据（发送到服务端）
3、InputStream 读取数据（从服务端接口）
基于这种协议，我们可以用Java 实现所有的Redis 操作命令。当然，我们不需要这么做，因为已经有很多比较成熟的Java 客户端，实现了完整的功能和高级特性，并且提供了良好的性能。
https://redis.io/clients#java
官网推荐的Java 客户端有3 个Jedis，Redisson 和Luttuce。

Spring 连接Redis 用的是什么？RedisConnectionFactory 接口支持多种实现，例如： JedisConnectionFactory 、JredisConnectionFactory 、LettuceConnectionFactory、SrpConnectionFactory。

Jedis

Jedis 是我们最熟悉和最常用的客户端。轻量，简洁，便于集成和改造。

Jedis 多个线程使用一个连接的时候线程不安全。可以使用连接池，为每个请求创建不同的连接，基于Apache common pool 实现。跟数据库一样，可以设置最大连接数等参数。Jedis 中有多种连接池的子类。

image.png

public static void main(String[] args) {
    JedisPool pool = new JedisPool(ip, port);
    Jedis jedis = jedisPool.getResource();
    //
}

Jedis 有4 种工作模式：单节点、分片、哨兵、集群。
3 种请求模式：Client、Pipeline、事务。
Client 模式就是客户端发送一个命令，阻塞等待服务端执行，然后读取返回结果。
Pipeline 模式是一次性发送多个命令，最后一次取回所有的返回结果，这种模式通过减少网络的往返时间和io 读写次数，大幅度提高通信性能。
第三种是事务模式。Transaction 模式即开启Redis 的事务管理，事务模式开启后，所有的命令（除了exec，discard，multi 和watch）到达服务端以后不会立即执行，会进入一个等待队列。

Sentinel 获取连接原理

问题：Jedis 连接Sentinel 的时候，我们配置的是全部哨兵的地址。Sentinel 是如何返回可用的master 地址的呢？
在构造方法中：

pool = new JedisSentinelPool(masterName, sentinels);

调用了：

HostAndPort master = initSentinels(sentinels, masterName);

查看：

 private HostAndPort initSentinels(Set sentinels, final String masterName) {
        HostAndPort master = null;
        boolean sentinelAvailable = false;
        log.info("Trying to find master from available Sentinels...");
        // 有多个sentinels,遍历这些个sentinels
        for (String sentinel : sentinels) {
            // host:port 表示的sentinel 地址转化为一个HostAndPort 对象。
            final HostAndPort hap = HostAndPort.parseString(sentinel);
            log.fine("Connecting to Sentinel " + hap);
            Jedis jedis = null;
            try {
                // 连接到sentinel
                jedis = new Jedis(hap.getHost(), hap.getPort());
                // 根据masterName 得到master 的地址，返回一个list，host= list[0], port =// list[1]
                List masterAddr = jedis.sentinelGetMasterAddrByName(masterName);
                // connected to sentinel...
                sentinelAvailable = true;
                if (masterAddr == null || masterAddr.size() != 2) {
                    log.warning("Can not get master addr, master name: " + masterName + ". Sentinel: " + hap
                            + ".");
                    continue;
                }
                // 如果在任何一个sentinel 中找到了master，不再遍历sentinels
                master = toHostAndPort(masterAddr);
                log.fine("Found Redis master at " + master);
                break;
            } catch (JedisException e) {
                // resolves #1036, it should handle JedisException there's another chance
                // of raising JedisDataException
                log.warning("Cannot get master address from sentinel running @ " + hap + ". Reason: " + e
                        + ". Trying next one.");
            } finally {
                if (jedis != null) {
                    jedis.close();
                }
            }
        }
        // 到这里，如果master 为null，则说明有两种情况，一种是所有的sentinels 节点都down 掉了，一种是master 节点没有被存活的sentinels 监控到
        if (master == null) {
            if (sentinelAvailable) {
                // can connect to sentinel, but master name seems to not
                // monitored
                throw new JedisException("Can connect to sentinel, but " + masterName
                        + " seems to be not monitored...");
            } else {
                throw new JedisConnectionException("All sentinels down, cannot determine where is "
                        + masterName + " master is running...");
            }
        }
        // 如果走到这里，说明找到了master 的地址
        log.info("Redis master running at " + master + ", starting Sentinel listeners...");
        // 启动对每个sentinels 的监听为每个sentinel 都启动了一个监听者MasterListener。MasterListener 本身是一个线程，它会去订阅sentinel 上关于master 节点地址改变的消息。
        for (String sentinel : sentinels) {
            final HostAndPort hap = HostAndPort.parseString(sentinel);
            MasterListener masterListener = new MasterListener(masterName, hap.getHost(), hap.getPort());
            // whether MasterListener threads are alive or not, process can be stopped
            masterListener.setDaemon(true);
            masterListeners.add(masterListener);
            masterListener.start();
        }
        return master;
    }

Cluster 获取连接原理

问题：使用Jedis 连接Cluster 的时候，我们只需要连接到任意一个或者多个redisgroup 中的实例地址，那我们是怎么获取到需要操作的Redis Master 实例的？
关键问题：在于如何存储slot 和Redis 连接池的关系。
1、程序启动初始化集群环境，读取配置文件中的节点配置，无论是主从，无论多少个，只拿第一个，获取redis 连接实例（后面有个break）。

  // redis.clients.jedis.JedisClusterConnectionHandler#initializeSlotsCache
    private void initializeSlotsCache(Set startNodes, GenericObjectPoolConfig poolConfig, String password) {
        for (HostAndPort hostAndPort : startNodes) {
            // 获取一个Jedis 实例
            Jedis jedis = new Jedis(hostAndPort.getHost(), hostAndPort.getPort());
            if (password != null) {
                jedis.auth(password);
            }
            try {
                // 获取Redis 节点和Slot 虚拟槽
                cache.discoverClusterNodesAndSlots(jedis);
                // 直接跳出循环
                break;
            } catch (JedisConnectionException e) {
                // try next nodes
            } finally {
                if (jedis != null) {
                    jedis.close();
                }
            }
        }
        ...
    }

2、用获取的redis 连接实例执行clusterSlots ()方法，实际执行redis 服务端clusterslots 命令，获取虚拟槽信息。
该集合的基本信息为[long, long, List, List], 第一，二个元素是该节点负责槽点的起始位置，第三个元素是主节点信息，第四个元素为主节点对应的从节点信息。该list 的基本信息为[string,int,string],第一个为host 信息，第二个为port 信息，第三个为唯一id。

image.png

3、获取有关节点的槽点信息后，调用getAssignedSlotArray(slotinfo)来获取所有的槽点值。
4、再获取主节点的地址信息，调用generateHostAndPort(hostInfo)方法，生成一个HostAndPort 对象。
5、再根据节点地址信息来设置节点对应的JedisPool ， 即设置Map nodes 的值。
接下来判断若此时节点信息为主节点信息时，则调用assignSlotsToNodes 方法，设置每个槽点值对应的连接池，即设置Map slots 的值。

  // redis.clients.jedis.JedisClusterInfoCache#discoverClusterNodesAndSlots
    public void discoverClusterNodesAndSlots(Jedis jedis) {
        w.lock();
        try {
            reset();
            // 获取节点集合
            List