lusic01
lusic01

redis cluster百万QPS的挑战

redis cluster百万QPS的挑战

 

最近在做redis cluster性能测试过程中，发现当集群吞吐量到达一定程度后（4台12core的redis服务器，80wQPS左右），集群整体性能不能线性增长。也就是说，通过加机器不能提升集群的整体吞吐。以下是详细记录了一下这个case的排查并最终解决的过程。

先来看一个压测图：
redis cluster百万QPS的挑战_第1张图片
上图中每一条线代表一个起压端进程的压测QPS（一台起压机上开4个起压端），可以看到随着起压机的增多，每个起压机的QPS却在下滑。而此时redis的CPU、内存、网卡都还没有跑满。另外尝试增多redis服务器，发现增多一倍服务器后，每台服务器上每个redis实例的CPU大幅降低。总的QPS却基本没有变化。

由于起压机是无状态的，只是简单的mock随机请求到redis cluster，并且请求的路由策略会在起压机内部调jedis的过程中做好，直接请求到目标redis实例，并且在起压过程中没有槽迁移导致的ASK/MOVED动作。所以排除了起压机的影响，只能怀疑是redis cluster服务端导致的问题。

 


一开始怀疑是服务端连接数过多的问题，看了一下，             服务端连接数在1w以下，每个客户端与每个redis实例的连接数也就在几十个长连接，远没有到达系统瓶颈。

 

 

 


难道是CPU的问题？但是top看每个核的CPU也就打到60%左右，而且如果是CPU到瓶颈了，通过增加redis服务器应该可以线性伸缩才对，但并没有。

 


再仔细观察top信息，发现每个核的CPU都有一定的si开销，也就是软中断，中断开销在10%以上：

 

 


redis cluster百万QPS的挑战_第2张图片
 

 

 

怀疑是软中断导致抢占了Redis的CPU资源，软中断耗在哪里了可以用以下命令看到：

 

 

Java代码

 收藏代码

  1. watch -d -n 1 'cat /proc/softirqs'  



发现中断开销主要集中在网卡中断上，也就是eth0-TxRx上面。解决思路是将网卡中断和Redis进程使用的CPU隔离开，这样避免网卡中断抢占CPU拖慢Redis服务。另外，由于Redis是单线程模型，在多核服务器上，可以将多个Redis实例绑定到不同的CPU上，使每个Redis进程独占一个CPU。

 

 



先将网卡的中断号绑定到特定CPU上：
Java代码

 收藏代码

  1. # 如果开了irqbalance服务，需要先停止服务，否则后续的绑定将无效：  
  2. service irqbalance stop  
  3.   
  4. # 将网卡中断号绑定到CPU0-CPU2上：  
  5. echo "1" > /proc/irq/78/smp_affinity  
  6. echo "1" > /proc/irq/79/smp_affinity  
  7. echo "2" > /proc/irq/80/smp_affinity  
  8. echo "2" > /proc/irq/81/smp_affinity  
  9. echo "2" > /proc/irq/82/smp_affinity  
  10. echo "4" > /proc/irq/83/smp_affinity  
  11. echo "4" > /proc/irq/84/smp_affinity  
  12. echo "4" > /proc/irq/85/smp_affinity  



再将Redis master实例绑定到CPU3-CPU10上。这里没有绑定Redis slave，是因为观察到slave占用的CPU极低，每个slave占用大概一个核的5%以下。当然如果CPU核数够多的话也可以考虑绑slave到其它多余的核。
Java代码

 收藏代码

  1. # 绑定master的pid到CPU3-CPU10上：  
  2. taskset -cp 3 [pid1]  
  3. taskset -cp 4 [pid2]  
  4. taskset -cp 5 [pid3]  
  5. ...  



绑定好后再压，看top会发现，前三个CPU主要耗在si上（网卡中断），后8个CPU耗在us/sy上（redis master服务）：
redis cluster百万QPS的挑战_第3张图片

至此，解决了单机CPU的问题，但是集群不能线性增长的问题还是解释不通。因为即使单台redis服务器的软中断导致单机性能受影响，在加Redis机器时总吞吐也不应该上不去呀。所以，开始怀疑redis cluster的通讯总线导致线性增长受阻。
 

 

 

每个redis cluster实例都会开一个集群通讯总线端口，并且redis cluster会用gossip协议，每隔一秒钟将集群一部分节点的信息发送给某个实例的总线端口。利用这种传播方式，可以将集群节点的变更以无中心的方式传播到整个集群。这里关键是总线传播的数据量，数据量的大小取决于PING消息携带的gossip数组的长度和大小，这个长度就是具体要捎带多少个其它节点的信息：

 

 

 


C代码

 收藏代码

  1. /** cluster.c的clusterSendPing函数 **/  
  2.   
  3. /* Send a PING or PONG packet to the specified node, making sure to add enough 
  4.  * gossip informations. */  
  5. void clusterSendPing(clusterLink *link, int type) {  
  6.     unsigned char *buf;  
  7.     clusterMsg *hdr;  
  8.     int gossipcount = 0; /* Number of gossip sections added so far. */  
  9.     int wanted; /* Number of gossip sections we want to append if possible. */  
  10.     int totlen; /* Total packet length. */  
  11.     /* freshnodes is the max number of nodes we can hope to append at all: 
  12.      * nodes available minus two (ourself and the node we are sending the 
  13.      * message to). However practically there may be less valid nodes since 
  14.      * nodes in handshake state, disconnected, are not considered. */  
  15.     int freshnodes = dictSize(server.cluster->nodes)-2;  
  16.   
  17.     /* How many gossip sections we want to add? 1/10 of the number of nodes 
  18.      * and anyway at least 3. Why 1/10? 
  19.      * 
  20.      * If we have N masters, with N/10 entries, and we consider that in 
  21.      * node_timeout we exchange with each other node at least 4 packets 
  22.      * (we ping in the worst case in node_timeout/2 time, and we also 
  23.      * receive two pings from the host), we have a total of 8 packets 
  24.      * in the node_timeout*2 falure reports validity time. So we have 
  25.      * that, for a single PFAIL node, we can expect to receive the following 
  26.      * number of failure reports (in the specified window of time): 
  27.      * 
  28.      * PROB * GOSSIP_ENTRIES_PER_PACKET * TOTAL_PACKETS: 
  29.      * 
  30.      * PROB = probability of being featured in a single gossip entry, 
  31.      *        which is 1 / NUM_OF_NODES. 
  32.      * ENTRIES = 10. 
  33.      * TOTAL_PACKETS = 2 * 4 * NUM_OF_MASTERS. 
  34.      * 
  35.      * If we assume we have just masters (so num of nodes and num of masters 
  36.      * is the same), with 1/10 we always get over the majority, and specifically 
  37.      * 80% of the number of nodes, to account for many masters failing at the 
  38.      * same time. 
  39.      * 
  40.      * Since we have non-voting slaves that lower the probability of an entry 
  41.      * to feature our node, we set the number of entires per packet as 
  42.      * 10% of the total nodes we have. */  
  43.     wanted = floor(dictSize(server.cluster->nodes)/10);  
  44.     if (wanted < 3) wanted = 3;  
  45.     if (wanted > freshnodes) wanted = freshnodes;  
  46.   
  47.     /* Compute the maxium totlen to allocate our buffer. We'll fix the totlen 
  48.      * later according to the number of gossip sections we really were able 
  49.      * to put inside the packet. */  
  50.     totlen = sizeof(clusterMsg)-sizeof(union clusterMsgData);  
  51.     totlen += (sizeof(clusterMsgDataGossip)*wanted);  
  52.     /* Note: clusterBuildMessageHdr() expects the buffer to be always at least 
  53.      * sizeof(clusterMsg) or more. */  
  54.     if (totlen < (int)sizeof(clusterMsg)) totlen = sizeof(clusterMsg);  
  55.     buf = zcalloc(totlen);  
  56.     hdr = (clusterMsg*) buf;  
  57.   
  58.     /* Populate the header. */  
  59.     if (link->node && type == CLUSTERMSG_TYPE_PING)  
  60.         link->node->ping_sent = mstime();  
  61.     clusterBuildMessageHdr(hdr,type);  
  62.   
  63.     /* Populate the gossip fields */  
  64.     int maxiterations = wanted*3;  
  65.     while(freshnodes > 0 && gossipcount < wanted && maxiterations--) {  
  66.         dictEntry *de = dictGetRandomKey(server.cluster->nodes);  
  67.         clusterNode *this = dictGetVal(de);  
  68.         clusterMsgDataGossip *gossip;  
  69.         int j;  
  70.   
  71.         /* Don't include this node: the whole packet header is about us 
  72.          * already, so we just gossip about other nodes. */  
  73.         if (this == myself) continue;  
  74.   
  75.         /* Give a bias to FAIL/PFAIL nodes. */  
  76.         if (maxiterations > wanted*2 &&  
  77.             !(this->flags & (REDIS_NODE_PFAIL|REDIS_NODE_FAIL)))  
  78.             continue;  
  79.   
  80.         /* In the gossip section don't include: 
  81.          * 1) Nodes in HANDSHAKE state. 
  82.          * 3) Nodes with the NOADDR flag set. 
  83.          * 4) Disconnected nodes if they don't have configured slots. 
  84.          */  
  85.         if (this->flags & (REDIS_NODE_HANDSHAKE|REDIS_NODE_NOADDR) ||  
  86.             (this->link == NULL && this->numslots == 0))  
  87.         {  
  88.             freshnodes--; /* Tecnically not correct, but saves CPU. */  
  89.             continue;  
  90.         }  
  91.   
  92.         /* Check if we already added this node */  
  93.         for (j = 0; j < gossipcount; j++) {  
  94.             if (memcmp(hdr->data.ping.gossip[j].nodename,this->name,  
  95.                     REDIS_CLUSTER_NAMELEN) == 0) break;  
  96.         }  
  97.         if (j != gossipcount) continue;  
  98.   
  99.         /* Add it */  
  100.         freshnodes--;  
  101.         gossip = &(hdr->data.ping.gossip[gossipcount]);  
  102.         memcpy(gossip->nodename,this->name,REDIS_CLUSTER_NAMELEN);  
  103.         gossip->ping_sent = htonl(this->ping_sent);  
  104.         gossip->pong_received = htonl(this->pong_received);  
  105.         memcpy(gossip->ip,this->ip,sizeof(this->ip));  
  106.         gossip->port = htons(this->port);  
  107.         gossip->flags = htons(this->flags);  
  108.         gossip->notused1 = 0;  
  109.         gossip->notused2 = 0;  
  110.         gossipcount++;  
  111.     }  
  112.   
  113.     /* Ready to send... fix the totlen fiend and queue the message in the 
  114.      * output buffer. */  
  115.     totlen = sizeof(clusterMsg)-sizeof(union clusterMsgData);  
  116.     totlen += (sizeof(clusterMsgDataGossip)*gossipcount);  
  117.     hdr->count = htons(gossipcount);  
  118.     hdr->totlen = htonl(totlen);  
  119.     clusterSendMessage(link,buf,totlen);  
  120.     zfree(buf);  
  121. }  


以上函数定义了发送PING包的逻辑，重点是wanted变量的计算方式，也就是每次PING包内要携带多少个其他节点信息发送。可以看到，wanted最小3个，最大不超过集群总实例数-2个，一般情况是集群实例数的1/10个。

再来看看每个gossip包的大小：
C代码

 收藏代码

  1. typedef struct {  
  2.     /* REDIS_CLUSTER_NAMELEN是常量40 */  
  3.     char nodename[REDIS_CLUSTER_NAMELEN];  
  4.     uint32_t ping_sent;  
  5.     uint32_t pong_received;  
  6.     char ip[REDIS_IP_STR_LEN];  /* IP address last time it was seen */  
  7.     uint16_t port;              /* port last time it was seen */  
  8.     uint16_t flags;             /* node->flags copy */  
  9.     uint16_t notused1;          /* Some room for future improvements. */  
  10.     uint32_t notused2;  
  11. } clusterMsgDataGossip;  



看到这里就明白了，总线传播的数据量wanted是一个变量，会随着集群实例数的增多而增多。当集群节点数不多时不会造成影响，但随着节点数变多，每次wanted要携带的节点信息也就随之变多，会导致对网卡的消耗越来越大。我压测时每台Redis服务器8主8从共16个节点，四台服务器共64个节点，每个节点每秒钟PING包都要携带6个gossip包的信息（64/10）。如果扩大到十台，就是每个节点每秒钟PING包要携带16个gossip包的信息（160/10）。

 

 



解决了网卡中断问题后，Redis实例的CPU不会再被中断抢走，QPS基本可以线性增长。在6台12coreCPU的Redis服务器上，总QPS可以到达200w/s以上，单机QPS在30w以上。

ps：
1. 推荐一篇有关软中断的文章：http://huoding.com/2013/10/30/296

2. 给一个查询当前网卡中断所在的cpu核的脚本（只在CentOS系统的多队列网卡模式下测试通过）：
Java代码

 收藏代码

  1. netarr=(`grep eth /proc/interrupts | awk '{print $1}' |awk -F':' '{print $1}'`) && for netid in ${netarr[*]}; do cat /proc/irq/$netid/smp_affinity_list; done  
  • redis cluster百万QPS的挑战_第4张图片
  • 大小: 96.1 KB
  • redis cluster百万QPS的挑战_第5张图片
  • 大小: 151.6 KB
  • redis cluster百万QPS的挑战_第6张图片
  • 大小: 330 KB

===========================================================================================================================================================================================================================================================================

 

linux CPU SI软中断比较占用率比较大（网络解决方案）

2017年06月22日 13:36:10 achejq 阅读数：3620

https://my.oschina.net/323148/blog/724408

 

 

irq 默认linux自动启动的，但是往往它自己控制不是很好（CPU SI经常某个CPU占用大）

 

通常碰到大流量的，通常我们会把自动启动的irqblance关闭，然后手动指定一下IRQ进行优化：(IRQ全称为Interrupt Request，即是“中断请求”的意思，)

 

  1. 看CPU的 si利用率：

    redis cluster百万QPS的挑战_第7张图片

  2. 看设备的ID号:

    wKiom1edcbXg8dX1AAAaG2yYEjs090.png

  3. 配置指定的CPU: (1表示第1个，2表示第2个，4表示第4个，8表示第4个，这是16进制化2进制，显示的数值是16进制的）

wKioL1edccrz9gzvAAAbvcTPcS4871.png

 

例子：我本机是8核心的。。。。我的操作是。。。。

/etc/init.d/irqbalance stop
echo 1 > /proc/irq/59/smp_affinity
echo 2 > /proc/irq/60/smp_affinity
echo 4 > /proc/irq/61/smp_affinity
echo 8 > /proc/irq/62/smp_affinity
echo 10 > /proc/irq/63/smp_affinity
echo 20 > /proc/irq/64/smp_affinity
echo 40 > /proc/irq/65/smp_affinity
echo 80 > /proc/irq/66/smp_affinity

 

====================================================================================================================================================================================================================================================================================================================================================================

 

Redis Cluster集群

Redis Cluster集群

一、redis-cluster设计

Redis集群搭建的方式有多种，例如使用zookeeper等，但从redis 3.0之后版本支持redis-cluster集群，Redis-Cluster采用无中心结构，每个节点保存数据和整个集群状态,每个节点都和其他所有 节点连接。其redis-cluster架构图如下：

其结构特点：

     1、所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。
     2、节点的fail是通过集群中超过半数的节点检测失效时才生效。
     3、客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。
     4、redis-cluster把所有的物理节点映射到[0-16383]slot上（不一定是平均分配）,cluster 负责维护node<->slot<->value。

     5、Redis集群预分好16384个桶，当需要在 Redis 集群中放置一个 key-value 时，根据 CRC16(key) mod 16384的值，决定将一个key放到哪个桶中。

 

   1、redis cluster节点分配

 

 

   现在我们是三个主节点分别是：A, B, C 三个节点，它们可以是一台机器上的三个端口，也可以是三台不同的服务器。那么，采用哈希槽 (hash slot)的方式来分配16384个slot 的话，它们三个节点分别承担的slot 区间是：

 



      节点A覆盖0－5460;
      节点B覆盖5461－10922;
      节点C覆盖10923－16383.

 

 

 

  

     获取数据：

      如果存入一个值，按照redis cluster哈希槽的算法： CRC16('key')%16384 = 6782。 那么就会把这个key 的存储分配到 B 上了。同样，当我连接(A,B,C)任何一个节点想获取'key'这个key时，也会这样的算法，然后内部跳转到B节点上获取数据 

    

     新增一个主节点：

      新增一个节点D，redis cluster的这种做法是从各个节点的前面各拿取一部分slot到D上，我会在接下来的实践中实验。大致就会变成这样：
  

    节点A覆盖1365-5460
    节点B覆盖6827-10922
    节点C覆盖12288-16383
    节点D覆盖0-1364,5461-6826,10923-12287


     同样删除一个节点也是类似，移动完成后就可以删除这个节点了。

 

     2、Redis Cluster主从模式

          redis cluster 为了保证数据的高可用性，加入了主从模式，一个主节点对应一个或多个从节点，主节点提供数据存取，从节点则是从主节点拉取数据备份，当这个主节点挂掉后，就会有这个从节点选取一个来充当主节点，从而保证集群不会挂掉。

      上面那个例子里, 集群有ABC三个主节点, 如果这3个节点都没有加入从节点，如果B挂掉了，我们就无法访问整个集群了。A和C的slot也无法访问。

     所以我们在集群建立的时候，一定要为每个主节点都添加了从节点, 比如像这样, 集群包含主节点A、B、C, 以及从节点A1、B1、C1, 那么即使B挂掉系统也可以继续正确工作。

     B1节点替代了B节点，所以Redis集群将会选择B1节点作为新的主节点，集群将会继续正确地提供服务。 当B重新开启后，它就会变成B1的从节点。

    不过需要注意，如果节点B和B1同时挂了，Redis集群就无法继续正确地提供服务了。

 

二、redis集群的搭建

    集群中至少应该有奇数个节点，所以至少有三个节点，每个节点至少有一个备份节点，所以下面使用6节点（主节点、备份节点由redis-cluster集群确定）。

   

     下面使用redis-3.2.0安装，下载地址   

     1、安装redis节点指定端口

         解压redis压缩包，编译安装

         

[plain] view plain copy

  1. [root@localhost redis-3.2.0]# tar xzf redis-3.2.0.tar.gz  
  2. [root@localhost redis-3.2.0]# cd redis-3.2.0  
  3. [root@localhost redis-3.2.0]# make  
  4. [root@localhost redis01]# make install PREFIX=/usr/andy/redis-cluster  

 

        在redis-cluster下 修改bin文件夹为redis01,复制redis.conf配置文件

       

     配置redis的配置文件redis.conf

 

         daemonize yes #后台启动

        port 7001 #修改端口号，从7001到7006

        cluster-enabled yes #开启cluster，去掉注释

        cluster-config-file nodes.conf

        cluster-node-timeout 15000

        appendonly yes

 

 

        复制六份，修改对应的端口号

        

 

     2、安装redis-trib所需的 ruby脚本

          复制redis解压文件src下的redis-trib.rb文件到redis-cluster目录

          

[plain] view plain copy

  1. [root@localhost redis-cluster]# cp /usr/andy/redis/redis-3.2.0/src/redis-trib.rb ./  

 

         安装ruby环境：

          

[plain] view plain copy

  1. [root@localhost redis-cluster]# yum install ruby  
  2. [root@localhost redis-cluster]# yum install rubygems  

 

        安装redis-trib.rb运行依赖的ruby的包redis-3.2.2.gem，下载

        

[plain] view plain copy

  1. [root@localhost redis-cluster]# gem install redis-3.2.2.gem  

 

     3、启动所有的redis节点

       可以写一个命令脚本start-all.sh

       

[plain] view plain copy

  1. cd redis01  
  2. ./redis-server redis.conf  
  3. cd ..  
  4. cd redis02  
  5. ./redis-server redis.conf  
  6. cd ..  
  7. cd redis03  
  8. ./redis-server redis.conf  
  9. cd ..  
  10. cd redis04  
  11. ./redis-server redis.conf  
  12. cd ..  
  13. cd redis05  
  14. ./redis-server redis.conf  
  15. cd ..  
  16. cd redis06  
  17. ./redis-server redis.conf  
  18. cd ..  

 

     设置权限启动

     

[plain] view plain copy

  1. [root@localhost redis-cluster]# chmod 777 start-all.sh   
  2. [root@localhost redis-cluster]# ./start-all.sh   

 

       查看redis进程启动状态

 

[plain] view plain copy

  1. [root@localhost redis-cluster]# ps -ef | grep redis  
  2.   
  3. root       4547      1  0 23:12 ?        00:00:00 ./redis-server 127.0.0.1:7001 [cluster]  
  4. root       4551      1  0 23:12 ?        00:00:00 ./redis-server 127.0.0.1:7002 [cluster]  
  5. root       4555      1  0 23:12 ?        00:00:00 ./redis-server 127.0.0.1:7003 [cluster]  
  6. root       4559      1  0 23:12 ?        00:00:00 ./redis-server 127.0.0.1:7004 [cluster]  
  7. root       4563      1  0 23:12 ?        00:00:00 ./redis-server 127.0.0.1:7005 [cluster]  
  8. root       4567      1  0 23:12 ?        00:00:00 ./redis-server 127.0.0.1:7006 [cluster]  
  9. root       4840   4421  0 23:26 pts/1    00:00:00 grep --color=auto redis  

   

  可以看到redis的6个节点已经启动成功

   

    杀死全部的几点：

     

[plain] view plain copy

  1. [root@localhost redis-cluster]# pkill -9 redis  

 

     4、使用redis-trib.rb创建集群

      

[plain] view plain copy

  1. ./redis-trib.rb create --replicas 1 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006  

 

       使用create命令 --replicas 1 参数表示为每个主节点创建一个从节点，其他参数是实例的地址集合。

      

       

[plain] view plain copy

  1. [root@localhost redis-cluster]# ./redis-trib.rb create --replicas 1 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006  
  2. >>> Creating cluster  
  3. >>> Performing hash slots allocation on 6 nodes...  
  4. Using 3 masters:  
  5. 127.0.0.1:7001  
  6. 127.0.0.1:7002  
  7. 127.0.0.1:7003  
  8. Adding replica 127.0.0.1:7004 to 127.0.0.1:7001  
  9. Adding replica 127.0.0.1:7005 to 127.0.0.1:7002  
  10. Adding replica 127.0.0.1:7006 to 127.0.0.1:7003  
  11. M: dfd510594da614469a93a0a70767ec9145aefb1a 127.0.0.1:7001  
  12.    slots:0-5460 (5461 slots) master  
  13. M: e02eac35110bbf44c61ff90175e04d55cca097ff 127.0.0.1:7002  
  14.    slots:5461-10922 (5462 slots) master  
  15. M: 4385809e6f4952ecb122dbfedbee29109d6bb234 127.0.0.1:7003  
  16.    slots:10923-16383 (5461 slots) master  
  17. S: ec02c9ef3acee069e8849f143a492db18d4bb06c 127.0.0.1:7004  
  18.    replicates dfd510594da614469a93a0a70767ec9145aefb1a  
  19. S: 83e5a8bb94fb5aaa892cd2f6216604e03e4a6c75 127.0.0.1:7005  
  20.    replicates e02eac35110bbf44c61ff90175e04d55cca097ff  
  21. S: 10c097c429ca24f8720986c6b66f0688bfb901ee 127.0.0.1:7006  
  22.    replicates 4385809e6f4952ecb122dbfedbee29109d6bb234  
  23. Can I set the above configuration? (type 'yes' to accept): yes  
  24. >>> Nodes configuration updated  
  25. >>> Assign a different config epoch to each node  
  26. >>> Sending CLUSTER MEET messages to join the cluster  
  27. Waiting for the cluster to join......  
  28. >>> Performing Cluster Check (using node 127.0.0.1:7001)  
  29. M: dfd510594da614469a93a0a70767ec9145aefb1a 127.0.0.1:7001  
  30.    slots:0-5460 (5461 slots) master  
  31. M: e02eac35110bbf44c61ff90175e04d55cca097ff 127.0.0.1:7002  
  32.    slots:5461-10922 (5462 slots) master  
  33. M: 4385809e6f4952ecb122dbfedbee29109d6bb234 127.0.0.1:7003  
  34.    slots:10923-16383 (5461 slots) master  
  35. M: ec02c9ef3acee069e8849f143a492db18d4bb06c 127.0.0.1:7004  
  36.    slots: (0 slots) master  
  37.    replicates dfd510594da614469a93a0a70767ec9145aefb1a  
  38. M: 83e5a8bb94fb5aaa892cd2f6216604e03e4a6c75 127.0.0.1:7005  
  39.    slots: (0 slots) master  
  40.    replicates e02eac35110bbf44c61ff90175e04d55cca097ff  
  41. M: 10c097c429ca24f8720986c6b66f0688bfb901ee 127.0.0.1:7006  
  42.    slots: (0 slots) master  
  43.    replicates 4385809e6f4952ecb122dbfedbee29109d6bb234  
  44. [OK] All nodes agree about slots configuration.  
  45. >>> Check for open slots...  
  46. >>> Check slots coverage...  
  47. [OK] All 16384 slots covered.  

 

       上面显示创建成功，有3个主节点，3个从节点，每个节点都是成功连接状态。

 

       3个主节点[M]以及分配的哈希卡槽如下：

  M: dfd510594da614469a93a0a70767ec9145aefb1a 127.0.0.1:7001
       slots:0-5460 (5461 slots) master
  M: e02eac35110bbf44c61ff90175e04d55cca097ff 127.0.0.1:7002
       slots:5461-10922 (5462 slots) master
  M: 4385809e6f4952ecb122dbfedbee29109d6bb234 127.0.0.1:7003
       slots:10923-16383 (5461 slots) master

      

          3个从节点[S]以及附属的主节点如下：

          S: ec02c9ef3acee069e8849f143a492db18d4bb06c 127.0.0.1:7004
             replicates dfd510594da614469a93a0a70767ec9145aefb1a
          S: 83e5a8bb94fb5aaa892cd2f6216604e03e4a6c75 127.0.0.1:7005
             replicates e02eac35110bbf44c61ff90175e04d55cca097ff
          S: 10c097c429ca24f8720986c6b66f0688bfb901ee 127.0.0.1:7006
             replicates 4385809e6f4952ecb122dbfedbee29109d6bb234

 

        以上集群安装成功了，如果安装未成功报如下错误
       >>> Creating cluster
       [ERR] Sorry, can't connect to node  ....

          需要安装最新的ruby源码，下载

           

[plain] view plain copy

  1. [root@localhost redis-cluster]# tar -zxvf ruby-2.3.1.tar.gz   
  2. [root@localhost redis-cluster]# cd    
  3. [root@localhost redis-cluster]# ./configure --prefix=/usr/local/ruby-2.3.1    
  4. [root@localhost redis-cluster]# make && make install       
  5. [root@localhost redis-cluster]#gem install redis    

         还有一种情况是，在VMware做测试的时间（都在一台服务器时），ip应该使用127.0.0.1，如果使用局域网ip，也会报节点创建失败。

        

三、redis集群的测试

     1、测试存取值

         客户端连接集群redis-cli需要带上 -c ，redis-cli -c -p 端口号

     

[plain] view plain copy

  1. [root@localhost redis01]# ./redis-cli -c -p 7001  
  2. 127.0.0.1:7001> set name andy  
  3. -> Redirected to slot [5798] located at 127.0.0.1:7002  
  4. OK  
  5. 127.0.0.1:7002> get name  
  6. "andy"  
  7. 127.0.0.1:7002>   

 

        根据redis-cluster的key值分配，name应该分配到节点7002[5461-10922]上，上面显示redis cluster自动从7001跳转到了7002节点。

       我们可以测试一下7006从节点获取name值

 

[plain] view plain copy

  1. [root@localhost redis06]# ./redis-cli -c -p 7006  
  2. 127.0.0.1:7006> get name  
  3. -> Redirected to slot [5798] located at 127.0.0.1:7002  
  4. "andy"  
  5. 127.0.0.1:7002>   


 

        7006位7003的从节点，从上面也是自动跳转至7002获取值，这也是redis cluster的特点，它是去中心化，每个节点都是对等的，连接哪个节点都可以获取和设置数据。

 

 

四、集群节点选举

         现在模拟将7002节点挂掉，按照redis-cluster原理会选举会将 7002的从节点7005选举为主节点。

        

[plain] view plain copy

  1. [root@localhost redis-cluster]# ps -ef | grep redis  
  2. root       7950      1  0 12:50 ?        00:00:28 ./redis-server 127.0.0.1:7001 [cluster]  
  3. root       7952      1  0 12:50 ?        00:00:29 ./redis-server 127.0.0.1:7002 [cluster]  
  4. root       7956      1  0 12:50 ?        00:00:29 ./redis-server 127.0.0.1:7003 [cluster]  
  5. root       7960      1  0 12:50 ?        00:00:29 ./redis-server 127.0.0.1:7004 [cluster]  
  6. root       7964      1  0 12:50 ?        00:00:29 ./redis-server 127.0.0.1:7005 [cluster]  
  7. root       7966      1  0 12:50 ?        00:00:29 ./redis-server 127.0.0.1:7006 [cluster]  
  8. root      11346  10581  0 14:57 pts/2    00:00:00 grep --color=auto redis  
  9. [root@localhost redis-cluster]# kill 7952  

 

        在查看集群中的7002节点

 

[plain] view plain copy

  1. [root@localhost redis-cluster]#   
  2. [root@localhost redis-cluster]# ./redis-trib.rb check 127.0.0.1:7002  
  3. [ERR] Sorry, can't connect to node 127.0.0.1:7002  
  4. [root@localhost redis-cluster]# ./redis-trib.rb check 127.0.0.1:7005  
  5. >>> Performing Cluster Check (using node 127.0.0.1:7005)  
  6. M: a5db243087d8bd423b9285fa8513eddee9bb59a6 127.0.0.1:7005  
  7.    slots:5461-10922 (5462 slots) master  
  8.    0 additional replica(s)  
  9. S: 50ce1ea59106b4c2c6bc502593a6a7a7dabf5041 127.0.0.1:7004  
  10.    slots: (0 slots) slave  
  11.    replicates dd19221c404fb2fc4da37229de56bab755c76f2b  
  12. M: f9886c71e98a53270f7fda961e1c5f730382d48f 127.0.0.1:7003  
  13.    slots:10923-16383 (5461 slots) master  
  14.    1 additional replica(s)  
  15. M: dd19221c404fb2fc4da37229de56bab755c76f2b 127.0.0.1:7001  
  16.    slots:0-5460 (5461 slots) master  
  17.    1 additional replica(s)  
  18. S: 8bb3ede48319b46d0015440a91ab277da9353c8b 127.0.0.1:7006  
  19.    slots: (0 slots) slave  
  20.    replicates f9886c71e98a53270f7fda961e1c5f730382d48f  
  21. [OK] All nodes agree about slots configuration.  
  22. >>> Check for open slots...  
  23. >>> Check slots coverage...  
  24. [OK] All 16384 slots covered.  
  25. [root@localhost redis-cluster]#   


      可以看到集群连接不了7002节点，而7005有原来的S转换为M节点，代替了原来的7002节点。我们可以获取name值：

 

[plain] view plain copy

  1. [root@localhost redis01]# ./redis-cli -c -p 7001  
  2. 127.0.0.1:7001> get name  
  3. -> Redirected to slot [5798] located at 127.0.0.1:7005  
  4. "andy"  
  5. 127.0.0.1:7005>   
  6. 127.0.0.1:7005>   


   从7001节点连入，自动跳转到7005节点，并且获取name值。

 

    现在我们将7002节点恢复，看是否会自动加入集群中以及充当的M还是S节点。

      

[plain] view plain copy

  1. [root@localhost redis-cluster]# cd redis02  
  2. [root@localhost redis02]# ./redis-server redis.conf   
  3. [root@localhost redis02]#   

 

     在check一下7002节点

 

[plain] view plain copy

  1. [root@localhost redis-cluster]# ./redis-trib.rb check 127.0.0.1:7002  
  2. >>> Performing Cluster Check (using node 127.0.0.1:7002)  
  3. S: 1f07d76585bfab35f91ec711ac53ab4bc00f2d3a 127.0.0.1:7002  
  4.    slots: (0 slots) slave  
  5.    replicates a5db243087d8bd423b9285fa8513eddee9bb59a6  
  6. M: f9886c71e98a53270f7fda961e1c5f730382d48f 127.0.0.1:7003  
  7.    slots:10923-16383 (5461 slots) master  
  8.    1 additional replica(s)  
  9. M: a5db243087d8bd423b9285fa8513eddee9bb59a6 127.0.0.1:7005  
  10.    slots:5461-10922 (5462 slots) master  
  11.    1 additional replica(s)  
  12. S: 50ce1ea59106b4c2c6bc502593a6a7a7dabf5041 127.0.0.1:7004  
  13.    slots: (0 slots) slave  
  14.    replicates dd19221c404fb2fc4da37229de56bab755c76f2b  
  15. S: 8bb3ede48319b46d0015440a91ab277da9353c8b 127.0.0.1:7006  
  16.    slots: (0 slots) slave  
  17.    replicates f9886c71e98a53270f7fda961e1c5f730382d48f  
  18. M: dd19221c404fb2fc4da37229de56bab755c76f2b 127.0.0.1:7001  
  19.    slots:0-5460 (5461 slots) master  
  20.    1 additional replica(s)  
  21. [OK] All nodes agree about slots configuration.  
  22. >>> Check for open slots...  
  23. >>> Check slots coverage...  
  24. [OK] All 16384 slots covered.  
  25. [root@localhost redis-cluster]#   

 

    可以看到7002节点变成了a5db243087d8bd423b9285fa8513eddee9bb59a6 7005的从节点。

 

五、集群节点添加

   节点新增包括新增主节点、从节点两种情况。以下分别做一下测试：

    1、新增主节点

       新增一个节点7007作为主节点修改配置文件

       

[plain] view plain copy

  1. [root@localhost redis-cluster]# cp -r  redis01 redis07  
  2. [root@localhost redis-cluster]# cd redis07/  
  3. [root@localhost redis07]# sed -i "s/7001/7007/g" ./redis.conf   

 

      启动7007redis服务

 

 

[plain] view plain copy

  1. [root@localhost redis07]# ./redis-server redis.conf   
  2. [root@localhost redis07]# netstat -anp | grep 7007  
  3. tcp        0      0 127.0.0.1:17007         0.0.0.0:*               LISTEN      13441/./redis-serve   
  4. tcp        0      0 127.0.0.1:7007          0.0.0.0:*               LISTEN      13441/./redis-serve   
  5. [root@localhost redis07]#   


  上面可以看到，7007已经启动，现在加入集群中。添加使用redis-trib.rb的add-node命令

 

 

[plain] view plain copy

  1. ./redis-trib.rb add-node 127.0.0.1:7007 127.0.0.1:7002  


    add-node是加入集群节点，127.0.0.1:7007为要加入的节点，127.0.0.1:7002 表示加入的集群的一个节点，用来辨识是哪个集群，理论上那个集群的节点都可以。

    执行以下add-node

      

[plain] view plain copy

  1. [root@localhost redis-cluster]# ./redis-trib.rb add-node 127.0.0.1:7007 127.0.0.1:7002  
  2. >>> Adding node 127.0.0.1:7007 to cluster 127.0.0.1:7002  
  3. >>> Performing Cluster Check (using node 127.0.0.1:7002)  
  4. S: 1f07d76585bfab35f91ec711ac53ab4bc00f2d3a 127.0.0.1:7002  
  5.    slots: (0 slots) slave  
  6.    replicates a5db243087d8bd423b9285fa8513eddee9bb59a6  
  7. M: f9886c71e98a53270f7fda961e1c5f730382d48f 127.0.0.1:7003  
  8.    slots:10923-16383 (5461 slots) master  
  9.    1 additional replica(s)  
  10. M: a5db243087d8bd423b9285fa8513eddee9bb59a6 127.0.0.1:7005  
  11.    slots:5461-10922 (5462 slots) master  
  12.    1 additional replica(s)  
  13. S: 50ce1ea59106b4c2c6bc502593a6a7a7dabf5041 127.0.0.1:7004  
  14.    slots: (0 slots) slave  
  15.    replicates dd19221c404fb2fc4da37229de56bab755c76f2b  
  16. S: 8bb3ede48319b46d0015440a91ab277da9353c8b 127.0.0.1:7006  
  17.    slots: (0 slots) slave  
  18.    replicates f9886c71e98a53270f7fda961e1c5f730382d48f  
  19. M: dd19221c404fb2fc4da37229de56bab755c76f2b 127.0.0.1:7001  
  20.    slots:0-5460 (5461 slots) master  
  21.    1 additional replica(s)  
  22. [OK] All nodes agree about slots configuration.  
  23. >>> Check for open slots...  
  24. >>> Check slots coverage...  
  25. [OK] All 16384 slots covered.  
  26. >>> Send CLUSTER MEET to node 127.0.0.1:7007 to make it join the cluster.  
  27. [OK] New node added correctly.  
  28. [root@localhost redis-cluster]#   

 

     可以看到7007加入这个Cluster，并成为一个新的节点。

     可以check以下7007节点状态

      

[plain] view plain copy

  1. [root@localhost redis-cluster]# ./redis-trib.rb check 127.0.0.1:7007  
  2. >>> Performing Cluster Check (using node 127.0.0.1:7007)  
  3. M: ee3efb90e5ac0725f15238a64fc60a18a71205d7 127.0.0.1:7007  
  4.    slots: (0 slots) master  
  5.    0 additional replica(s)  
  6. S: 8bb3ede48319b46d0015440a91ab277da9353c8b 127.0.0.1:7006  
  7.    slots: (0 slots) slave  
  8.    replicates f9886c71e98a53270f7fda961e1c5f730382d48f  
  9. M: dd19221c404fb2fc4da37229de56bab755c76f2b 127.0.0.1:7001  
  10.    slots:0-5460 (5461 slots) master  
  11.    1 additional replica(s)  
  12. M: f9886c71e98a53270f7fda961e1c5f730382d48f 127.0.0.1:7003  
  13.    slots:10923-16383 (5461 slots) master  
  14.    1 additional replica(s)  
  15. S: 1f07d76585bfab35f91ec711ac53ab4bc00f2d3a 127.0.0.1:7002  
  16.    slots: (0 slots) slave  
  17.    replicates a5db243087d8bd423b9285fa8513eddee9bb59a6  
  18. M: a5db243087d8bd423b9285fa8513eddee9bb59a6 127.0.0.1:7005  
  19.    slots:5461-10922 (5462 slots) master  
  20.    1 additional replica(s)  
  21. S: 50ce1ea59106b4c2c6bc502593a6a7a7dabf5041 127.0.0.1:7004  
  22.    slots: (0 slots) slave  
  23.    replicates dd19221c404fb2fc4da37229de56bab755c76f2b  
  24. [OK] All nodes agree about slots configuration.  
  25. >>> Check for open slots...  
  26. >>> Check slots coverage...  
  27. [OK] All 16384 slots covered.  
  28. [root@localhost redis-cluster]#   

 

  M: ee3efb90e5ac0725f15238a64fc60a18a71205d7 127.0.0.1:7007
   slots: (0 slots) master
   0 additional replica(s)

  上面信息可以看到有4个M节点，3个S节点，7007成为了M主节点，它没有附属的从节点，而且Cluster并未给7007分配哈希卡槽（0 slots）。

    

   可以从客户端连接集群查看一下，集群节点的连接情况

 

[plain] view plain copy

  1. [root@localhost redis-cluster]# cd redis07/  
  2. [root@localhost redis07]# ./redis-cli -c -p 7007  
  3. 127.0.0.1:7007> cluster nodes  
  4. 8bb3ede48319b46d0015440a91ab277da9353c8b 127.0.0.1:7006 slave f9886c71e98a53270f7fda961e1c5f730382d48f 0 1462955393326 3 connected  
  5. dd19221c404fb2fc4da37229de56bab755c76f2b 127.0.0.1:7001 master - 0 1462955388247 1 connected 0-5460  
  6. ee3efb90e5ac0725f15238a64fc60a18a71205d7 127.0.0.1:7007 myself,master - 0 0 0 connected  
  7. f9886c71e98a53270f7fda961e1c5f730382d48f 127.0.0.1:7003 master - 0 1462955390270 3 connected 10923-16383  
  8. 1f07d76585bfab35f91ec711ac53ab4bc00f2d3a 127.0.0.1:7002 slave a5db243087d8bd423b9285fa8513eddee9bb59a6 0 1462955394334 7 connected  
  9. a5db243087d8bd423b9285fa8513eddee9bb59a6 127.0.0.1:7005 master - 0 1462955392309 7 connected 5461-10922  
  10. 50ce1ea59106b4c2c6bc502593a6a7a7dabf5041 127.0.0.1:7004 slave dd19221c404fb2fc4da37229de56bab755c76f2b 0 1462955389663 1 connected  
  11. 127.0.0.1:7007>   

 

     redis-cluster在新增节点时并未分配卡槽，需要我们手动对集群进行重新分片迁移数据，需要重新分片命令 reshard

    

              redis-trib.rb reshard 127.0.0.1:7005

 

     这个命令是用来迁移slot节点的，后面的127.0.0.1:7005是表示是哪个集群，端口填［7000-7007］都可以，执行结果如下：

    

[plain] view plain copy

  1. [root@localhost redis-cluster]# ./redis-trib.rb reshard 127.0.0.1:7005  
  2. >>> Performing Cluster Check (using node 127.0.0.1:7005)  
  3. M: a5db243087d8bd423b9285fa8513eddee9bb59a6 127.0.0.1:7005  
  4.    slots:5461-10922 (5462 slots) master  
  5.    1 additional replica(s)  
  6. S: 50ce1ea59106b4c2c6bc502593a6a7a7dabf5041 127.0.0.1:7004  
  7.    slots: (0 slots) slave  
  8.    replicates dd19221c404fb2fc4da37229de56bab755c76f2b  
  9. M: f9886c71e98a53270f7fda961e1c5f730382d48f 127.0.0.1:7003  
  10.    slots:10923-16383 (5461 slots) master  
  11.    1 additional replica(s)  
  12. S: 1f07d76585bfab35f91ec711ac53ab4bc00f2d3a 127.0.0.1:7002  
  13.    slots: (0 slots) slave  
  14.    replicates a5db243087d8bd423b9285fa8513eddee9bb59a6  
  15. M: ee3efb90e5ac0725f15238a64fc60a18a71205d7 127.0.0.1:7007  
  16.    slots: (0 slots) master  
  17.    0 additional replica(s)  
  18. M: dd19221c404fb2fc4da37229de56bab755c76f2b 127.0.0.1:7001  
  19.    slots:0-5460 (5461 slots) master  
  20.    1 additional replica(s)  
  21. S: 8bb3ede48319b46d0015440a91ab277da9353c8b 127.0.0.1:7006  
  22.    slots: (0 slots) slave  
  23.    replicates f9886c71e98a53270f7fda961e1c5f730382d48f  
  24. [OK] All nodes agree about slots configuration.  
  25. >>> Check for open slots...  
  26. >>> Check slots coverage...  
  27. [OK] All 16384 slots covered.  
  28. How many slots do you want to move (from 1 to 16384)?   

 

      它提示我们需要迁移多少slot到7007上，我们平分16384个哈希槽给4个节点：16384/4 = 4096，我们需要移动4096个槽点到7007上。

 

[plain] view plain copy

  1. [OK] All 16384 slots covered.  
  2. How many slots do you want to move (from 1 to 16384)? 4096  
  3. What is the receiving node ID?   

 

     需要输入7007的节点id，ee3efb90e5ac0725f15238a64fc60a18a71205d7
 

 

[plain] view plain copy

  1. Please enter all the source node IDs.  
  2.   Type 'all' to use all the nodes as source nodes for the hash slots.  
  3.   Type 'done' once you entered all the source nodes IDs.  
  4. Source node #1:  

 

      redis-trib 会向你询问重新分片的源节点（source node），即，要从特点的哪个节点中取出 4096 个哈希槽，还是从全部节点提取4096个哈希槽， 并将这些槽移动到7007节点上面。

     如果我们不打算从特定的节点上取出指定数量的哈希槽，那么可以向redis-trib输入 all，这样的话， 集群中的所有主节点都会成为源节点，redis-trib从各个源节点中各取出一部分哈希槽，凑够4096个，然后移动到7007节点上：

     

[plain] view plain copy

  1. Source node #1:all  

 

    然后开始从别的主节点迁移哈希槽，并且确认。

 

[plain] view plain copy

  1.     Moving slot 1343 from dd19221c404fb2fc4da37229de56bab755c76f2b  
  2.     Moving slot 1344 from dd19221c404fb2fc4da37229de56bab755c76f2b  
  3.     Moving slot 1345 from dd19221c404fb2fc4da37229de56bab755c76f2b  
  4.     Moving slot 1346 from dd19221c404fb2fc4da37229de56bab755c76f2b  
  5.     Moving slot 1347 from dd19221c404fb2fc4da37229de56bab755c76f2b  
  6.     Moving slot 1348 from dd19221c404fb2fc4da37229de56bab755c76f2b  
  7.     Moving slot 1349 from dd19221c404fb2fc4da37229de56bab755c76f2b  
  8.     Moving slot 1350 from dd19221c404fb2fc4da37229de56bab755c76f2b  
  9.     Moving slot 1351 from dd19221c404fb2fc4da37229de56bab755c76f2b  
  10.     Moving slot 1352 from dd19221c404fb2fc4da37229de56bab755c76f2b  
  11.     Moving slot 1353 from dd19221c404fb2fc4da37229de56bab755c76f2b  
  12.     Moving slot 1354 from dd19221c404fb2fc4da37229de56bab755c76f2b  
  13.     Moving slot 1355 from dd19221c404fb2fc4da37229de56bab755c76f2b  
  14.     Moving slot 1356 from dd19221c404fb2fc4da37229de56bab755c76f2b  
  15.     Moving slot 1357 from dd19221c404fb2fc4da37229de56bab755c76f2b  
  16.     Moving slot 1358 from dd19221c404fb2fc4da37229de56bab755c76f2b  
  17.     Moving slot 1359 from dd19221c404fb2fc4da37229de56bab755c76f2b  
  18.     Moving slot 1360 from dd19221c404fb2fc4da37229de56bab755c76f2b  
  19.     Moving slot 1361 from dd19221c404fb2fc4da37229de56bab755c76f2b  
  20.     Moving slot 1362 from dd19221c404fb2fc4da37229de56bab755c76f2b  
  21.     Moving slot 1363 from dd19221c404fb2fc4da37229de56bab755c76f2b  
  22.     Moving slot 1364 from dd19221c404fb2fc4da37229de56bab755c76f2b  
  23. Do you want to proceed with the proposed reshard plan (yes/no)? yes  


     确认之后，redis-trib就开始执行分片操作，将哈希槽一个一个从源主节点移动到7007目标主节点。

     重新分片结束后我们可以check以下节点的分配情况。

     

[plain] view plain copy

  1. [root@localhost redis-cluster]# ./redis-trib.rb check 127.0.0.1:7001  
  2. >>> Performing Cluster Check (using node 127.0.0.1:7001)  
  3. M: dd19221c404fb2fc4da37229de56bab755c76f2b 127.0.0.1:7001  
  4.    slots:1365-5460 (4096 slots) master  
  5.    1 additional replica(s)  
  6. M: ee3efb90e5ac0725f15238a64fc60a18a71205d7 127.0.0.1:7007  
  7.    slots:0-1364,5461-6826,10923-12287 (4096 slots) master  
  8.    0 additional replica(s)  
  9. M: a5db243087d8bd423b9285fa8513eddee9bb59a6 127.0.0.1:7005  
  10.    slots:6827-10922 (4096 slots) master  
  11.    1 additional replica(s)  
  12. S: 8bb3ede48319b46d0015440a91ab277da9353c8b 127.0.0.1:7006  
  13.    slots: (0 slots) slave  
  14.    replicates f9886c71e98a53270f7fda961e1c5f730382d48f  
  15. M: f9886c71e98a53270f7fda961e1c5f730382d48f 127.0.0.1:7003  
  16.    slots:12288-16383 (4096 slots) master  
  17.    1 additional replica(s)  
  18. S: 1f07d76585bfab35f91ec711ac53ab4bc00f2d3a 127.0.0.1:7002  
  19.    slots: (0 slots) slave  
  20.    replicates a5db243087d8bd423b9285fa8513eddee9bb59a6  
  21. S: 50ce1ea59106b4c2c6bc502593a6a7a7dabf5041 127.0.0.1:7004  
  22.    slots: (0 slots) slave  
  23.    replicates dd19221c404fb2fc4da37229de56bab755c76f2b  
  24. [OK] All nodes agree about slots configuration.  
  25. >>> Check for open slots...  
  26. >>> Check slots coverage...  
  27. [OK] All 16384 slots covered.  
  28. [root@localhost redis-cluster]#   

 

   slots:0-1364,5461-6826,10923-12287 (4096 slots) master

   可以看到7007节点分片的哈希槽片不是连续的，间隔的移动。

   

[plain] view plain copy

  1. [root@localhost redis-cluster]# cd redis07/  
  2. [root@localhost redis07]# ./redis-cli -c 7007  
  3. Could not connect to Redis at 127.0.0.1:6379: Connection refused  
  4. [root@localhost redis07]# ./redis-cli -c -p 7007  
  5. 127.0.0.1:7007> keys *  
  6. 1) "name"  
  7. 2) "age"  
  8. 127.0.0.1:7007>   
  9. 127.0.0.1:7007>   

 

    可以看到将7001的age[741]和name[5798]移动到7007节点上，

    主节点7007添加成功。

 

    2、新增从节点

       新增一个节点7008节点，使用add-node --slave命令。

       

[plain] view plain copy

  1. [root@localhost redis-cluster]# cp -r redis01/ redis08  
  2. [root@localhost redis-cluster]# cd redis08/  
  3. [root@localhost redis08]# sed -i "s/7001/7008/g" ./redis.conf  
  4. [root@localhost redis08]# ./redis-server redis.conf   


   redis-trib增加从节点的命令为：

[plain] view plain copy

  1. ./redis-trib.rb add-node --slave --master-id $[nodeid] 127.0.0.1:7008 127.0.0.1:7000  

 

    nodeid为要加到master主节点的node id，127.0.0.1:7008为新增的从节点，127.0.0.1:7000为集群的一个节点（集群的任意节点都行），用来辨识是哪个集群；如果没有给定那个主节点--master-id的话，redis-trib将会将新增的从节点随机到从节点较少的主节点上。

 

    现在我们添加一下7008，看是否会自动加到没有从节点的7007主节点上。

 

[plain] view plain copy

  1. [root@localhost redis-cluster]# ./redis-trib.rb add-node --slave 127.0.0.1:7008 127.0.0.1:7001>>> Adding node 127.0.0.1:7008 to cluster 127.0.0.1:7001  
  2. >>> Performing Cluster Check (using node 127.0.0.1:7001)  
  3. M: dd19221c404fb2fc4da37229de56bab755c76f2b 127.0.0.1:7001  
  4.    slots:1365-5460 (4096 slots) master  
  5.    1 additional replica(s)  
  6. M: ee3efb90e5ac0725f15238a64fc60a18a71205d7 127.0.0.1:7007  
  7.    slots:0-1364,5461-6826,10923-12287 (4096 slots) master  
  8.    0 additional replica(s)  
  9. M: a5db243087d8bd423b9285fa8513eddee9bb59a6 127.0.0.1:7005  
  10.    slots:6827-10922 (4096 slots) master  
  11.    1 additional replica(s)  
  12. S: 8bb3ede48319b46d0015440a91ab277da9353c8b 127.0.0.1:7006  
  13.    slots: (0 slots) slave  
  14.    replicates f9886c71e98a53270f7fda961e1c5f730382d48f  
  15. M: f9886c71e98a53270f7fda961e1c5f730382d48f 127.0.0.1:7003  
  16.    slots:12288-16383 (4096 slots) master  
  17.    1 additional replica(s)  
  18. S: 1f07d76585bfab35f91ec711ac53ab4bc00f2d3a 127.0.0.1:7002  
  19.    slots: (0 slots) slave  
  20.    replicates a5db243087d8bd423b9285fa8513eddee9bb59a6  
  21. S: 50ce1ea59106b4c2c6bc502593a6a7a7dabf5041 127.0.0.1:7004  
  22.    slots: (0 slots) slave  
  23.    replicates dd19221c404fb2fc4da37229de56bab755c76f2b  
  24. [OK] All nodes agree about slots configuration.  
  25. >>> Check for open slots...  
  26. >>> Check slots coverage...  
  27. [OK] All 16384 slots covered.  
  28. Automatically selected master 127.0.0.1:7007  
  29. >>> Send CLUSTER MEET to node 127.0.0.1:7008 to make it join the cluster.  
  30. Waiting for the cluster to join.  
  31. >>> Configure node as replica of 127.0.0.1:7007.  
  32. [OK] New node added correctly.  
  33. [root@localhost redis-cluster]#   


     可以看到自动选择了127.0.0.1:7007为master主节点，并且添加成功。

     可以check一下7008：

      

[plain] view plain copy

  1. [root@localhost redis-cluster]# ./redis-trib.rb check 127.0.0.1:7008  
  2. >>> Performing Cluster Check (using node 127.0.0.1:7008)  
  3. S: 2ab1b061c36f30ae35604e9a171ae3afdc3c87e5 127.0.0.1:7008  
  4.    slots: (0 slots) slave  
  5.    replicates ee3efb90e5ac0725f15238a64fc60a18a71205d7  
  6. M: a5db243087d8bd423b9285fa8513eddee9bb59a6 127.0.0.1:7005  
  7.    slots:6827-10922 (4096 slots) master  
  8.    1 additional replica(s)  
  9. M: dd19221c404fb2fc4da37229de56bab755c76f2b 127.0.0.1:7001  
  10.    slots:1365-5460 (4096 slots) master  
  11.    1 additional replica(s)  
  12. S: 8bb3ede48319b46d0015440a91ab277da9353c8b 127.0.0.1:7006  
  13.    slots: (0 slots) slave  
  14.    replicates f9886c71e98a53270f7fda961e1c5f730382d48f  
  15. M: ee3efb90e5ac0725f15238a64fc60a18a71205d7 127.0.0.1:7007  
  16.    slots:0-1364,5461-6826,10923-12287 (4096 slots) master  
  17.    1 additional replica(s)  
  18. S: 50ce1ea59106b4c2c6bc502593a6a7a7dabf5041 127.0.0.1:7004  
  19.    slots: (0 slots) slave  
  20.    replicates dd19221c404fb2fc4da37229de56bab755c76f2b  
  21. M: f9886c71e98a53270f7fda961e1c5f730382d48f 127.0.0.1:7003  
  22.    slots:12288-16383 (4096 slots) master  
  23.    1 additional replica(s)  
  24. S: 1f07d76585bfab35f91ec711ac53ab4bc00f2d3a 127.0.0.1:7002  
  25.    slots: (0 slots) slave  
  26.    replicates a5db243087d8bd423b9285fa8513eddee9bb59a6  
  27. [OK] All nodes agree about slots configuration.  
  28. >>> Check for open slots...  
  29. >>> Check slots coverage...  
  30. [OK] All 16384 slots covered.  
  31. [root@localhost redis-cluster]#   

 

       可以看到7008作为了7007的从节点。

        

       再测试一下指定主节点添加从节点，给7007增加7009从节点。

        

[plain] view plain copy

  1. [root@localhost redis-cluster]# cp -r redis01/ redis09  
  2. [root@localhost redis-cluster]# cd redis09  
  3. [root@localhost redis09]# sed -i "s/7001/7009/g" ./redis.conf  
  4. [root@localhost redis09]# ./redis-server redis.conf   

 

       添加7007主节点上

       

[plain] view plain copy

  1. [root@localhost redis-cluster]# ./redis-trib.rb add-node --slave --master-id ee3efb90e5ac0725f15238a64fc60a18a71205d7 127.0.0.1:7009 127.0.0.1:7001  
  2. >>> Adding node 127.0.0.1:7009 to cluster 127.0.0.1:7001  
  3. >>> Performing Cluster Check (using node 127.0.0.1:7001)  
  4. M: dd19221c404fb2fc4da37229de56bab755c76f2b 127.0.0.1:7001  
  5.    slots:1365-5460 (4096 slots) master  
  6.    1 additional replica(s)  
  7. S: 2ab1b061c36f30ae35604e9a171ae3afdc3c87e5 127.0.0.1:7008  
  8.    slots: (0 slots) slave  
  9.    replicates ee3efb90e5ac0725f15238a64fc60a18a71205d7  
  10. M: ee3efb90e5ac0725f15238a64fc60a18a71205d7 127.0.0.1:7007  
  11.    slots:0-1364,5461-6826,10923-12287 (4096 slots) master  
  12.    1 additional replica(s)  
  13. M: a5db243087d8bd423b9285fa8513eddee9bb59a6 127.0.0.1:7005  
  14.    slots:6827-10922 (4096 slots) master  
  15.    1 additional replica(s)  
  16. S: 8bb3ede48319b46d0015440a91ab277da9353c8b 127.0.0.1:7006  
  17.    slots: (0 slots) slave  
  18.    replicates f9886c71e98a53270f7fda961e1c5f730382d48f  
  19. M: f9886c71e98a53270f7fda961e1c5f730382d48f 127.0.0.1:7003  
  20.    slots:12288-16383 (4096 slots) master  
  21.    1 additional replica(s)  
  22. S: 1f07d76585bfab35f91ec711ac53ab4bc00f2d3a 127.0.0.1:7002  
  23.    slots: (0 slots) slave  
  24.    replicates a5db243087d8bd423b9285fa8513eddee9bb59a6  
  25. S: 50ce1ea59106b4c2c6bc502593a6a7a7dabf5041 127.0.0.1:7004  
  26.    slots: (0 slots) slave  
  27.    replicates dd19221c404fb2fc4da37229de56bab755c76f2b  
  28. [OK] All nodes agree about slots configuration.  
  29. >>> Check for open slots...  
  30. >>> Check slots coverage...  
  31. [OK] All 16384 slots covered.  
  32. >>> Send CLUSTER MEET to node 127.0.0.1:7009 to make it join the cluster.  
  33. Waiting for the cluster to join.  
  34. >>> Configure node as replica of 127.0.0.1:7007.  
  35. [OK] New node added correctly.  
  36. [root@localhost redis-cluster]#   

 

     显示从节点7009节点添加到7007主节点，可以看一下7007的从节点，如下：

 

[plain] view plain copy

  1. [root@localhost redis-cluster]# cd ./redis07  
  2. [root@localhost redis07]# ./redis-cli -c -p 7007 cluster nodes | grep ee3efb90e5ac0725f15238a64fc60a18a71205d7   
  3. 1f51443ede952b98724fea2a12f61fe710ab6cb1 127.0.0.1:7009 slave ee3efb90e5ac0725f15238a64fc60a18a71205d7 0 1462962710266 8 connected  
  4. ee3efb90e5ac0725f15238a64fc60a18a71205d7 127.0.0.1:7007 myself,master - 0 0 8 connected 0-1364 5461-6826 10923-12287  
  5. 2ab1b061c36f30ae35604e9a171ae3afdc3c87e5 127.0.0.1:7008 slave ee3efb90e5ac0725f15238a64fc60a18a71205d7 0 1462962711607 8 connected  
  6. [root@localhost redis07]#   


     maser 7007有2个slave 7008,7009。

 

     我们测试一下7007节点挂掉，看7008和7009那个成为主节点。

   

[plain] view plain copy

  1. [root@localhost redis-cluster]# ps -ef | grep redis  
  2. root       7950      1  0 12:50 ?        00:02:05 ./redis-server 127.0.0.1:7001 [cluster]  
  3. root       7956      1  0 12:50 ?        00:02:11 ./redis-server 127.0.0.1:7003 [cluster]  
  4. root       7960      1  0 12:50 ?        00:01:47 ./redis-server 127.0.0.1:7004 [cluster]  
  5. root       7964      1  0 12:50 ?        00:02:07 ./redis-server 127.0.0.1:7005 [cluster]  
  6. root       7966      1  0 12:50 ?        00:01:46 ./redis-server 127.0.0.1:7006 [cluster]  
  7. root      12070      1  0 15:14 ?        00:01:08 ./redis-server 127.0.0.1:7002 [cluster]  
  8. root      13441      1  0 16:09 ?        00:01:25 ./redis-server 127.0.0.1:7007 [cluster]  
  9. root      15939      1  0 17:41 ?        00:00:20 ./redis-server 127.0.0.1:7008 [cluster]  
  10. root      16623      1  0 18:07 ?        00:00:10 ./redis-server 127.0.0.1:7009 [cluster]  
  11. root      17295  10581  0 18:37 pts/2    00:00:00 grep --color=auto redis  
  12. [root@localhost redis-cluster]# kill -9 13441  
  13. [root@localhost redis-cluster]# cd ./redis08  
  14. [root@localhost redis08]# ./redis-cli -c -p 7008  
  15. 127.0.0.1:7008> get name  
  16. -> Redirected to slot [5798] located at 127.0.0.1:7009  
  17. "andy"  
  18. 127.0.0.1:7009> cluster nodes  
  19. ee3efb90e5ac0725f15238a64fc60a18a71205d7 127.0.0.1:7007 master,fail - 1462963082317 1462963080194 8 disconnected  
  20. 50ce1ea59106b4c2c6bc502593a6a7a7dabf5041 127.0.0.1:7004 slave dd19221c404fb2fc4da37229de56bab755c76f2b 0 1462963170968 1 connected  
  21. f9886c71e98a53270f7fda961e1c5f730382d48f 127.0.0.1:7003 master - 0 1462963168525 3 connected 12288-16383  
  22. dd19221c404fb2fc4da37229de56bab755c76f2b 127.0.0.1:7001 master - 0 1462963164466 1 connected 1365-5460  
  23. 2ab1b061c36f30ae35604e9a171ae3afdc3c87e5 127.0.0.1:7008 slave 1f51443ede952b98724fea2a12f61fe710ab6cb1 0 1462963167508 9 connected  
  24. 1f51443ede952b98724fea2a12f61fe710ab6cb1 127.0.0.1:7009 myself,master - 0 0 9 connected 0-1364 5461-6826 10923-12287  
  25. 1f07d76585bfab35f91ec711ac53ab4bc00f2d3a 127.0.0.1:7002 slave a5db243087d8bd423b9285fa8513eddee9bb59a6 0 1462963170564 7 connected  
  26. 8bb3ede48319b46d0015440a91ab277da9353c8b 127.0.0.1:7006 slave f9886c71e98a53270f7fda961e1c5f730382d48f 0 1462963167915 3 connected  
  27. a5db243087d8bd423b9285fa8513eddee9bb59a6 127.0.0.1:7005 master - 0 1462963169538 7 connected 6827-10922  
  28. 127.0.0.1:7009>   

 

      可以看到7009代替7007成了主节点。

       重启7007之后，会自动变成7009的从节点。

       

[plain] view plain copy

  1. [root@localhost redis-cluster]# cd redis07  
  2. [root@localhost redis07]# ./redis-server redis.conf   
  3. [root@localhost redis07]# cd ../  
  4. [root@localhost redis-cluster]# ./redis-trib.rb check 127.0.0.1:7007  
  5. >>> Performing Cluster Check (using node 127.0.0.1:7007)  
  6. S: ee3efb90e5ac0725f15238a64fc60a18a71205d7 127.0.0.1:7007  
  7.    slots: (0 slots) slave  
  8.    replicates 1f51443ede952b98724fea2a12f61fe710ab6cb1  
  9. S: 50ce1ea59106b4c2c6bc502593a6a7a7dabf5041 127.0.0.1:7004  
  10.    slots: (0 slots) slave  
  11.    replicates dd19221c404fb2fc4da37229de56bab755c76f2b  
  12. M: 1f51443ede952b98724fea2a12f61fe710ab6cb1 127.0.0.1:7009  
  13.    slots:0-1364,5461-6826,10923-12287 (4096 slots) master  
  14.    2 additional replica(s)  
  15. S: 8bb3ede48319b46d0015440a91ab277da9353c8b 127.0.0.1:7006  
  16.    slots: (0 slots) slave  
  17.    replicates f9886c71e98a53270f7fda961e1c5f730382d48f  
  18. M: dd19221c404fb2fc4da37229de56bab755c76f2b 127.0.0.1:7001  
  19.    slots:1365-5460 (4096 slots) master  
  20.    1 additional replica(s)  
  21. M: a5db243087d8bd423b9285fa8513eddee9bb59a6 127.0.0.1:7005  
  22.    slots:6827-10922 (4096 slots) master  
  23.    1 additional replica(s)  
  24. S: 1f07d76585bfab35f91ec711ac53ab4bc00f2d3a 127.0.0.1:7002  
  25.    slots: (0 slots) slave  
  26.    replicates a5db243087d8bd423b9285fa8513eddee9bb59a6  
  27. M: f9886c71e98a53270f7fda961e1c5f730382d48f 127.0.0.1:7003  
  28.    slots:12288-16383 (4096 slots) master  
  29.    1 additional replica(s)  
  30. S: 2ab1b061c36f30ae35604e9a171ae3afdc3c87e5 127.0.0.1:7008  
  31.    slots: (0 slots) slave  
  32.    replicates 1f51443ede952b98724fea2a12f61fe710ab6cb1  
  33. [OK] All nodes agree about slots configuration.  
  34. >>> Check for open slots...  
  35. >>> Check slots coverage...  
  36. [OK] All 16384 slots covered.  
  37. [root@localhost redis-cluster]#   

 

    验证了之前的测试。

 

六、节点的移除

   和节点添加一样，移除节点也有移除主节点，从节点。

   1、移除主节点

       移除节点使用redis-trib的del-node命令，

        

[plain] view plain copy

  1. redis-trib del-node 127.0.0.1:7002  ${node-id}  

 

    127.0.0.1:7002位集群节点，node-id为要删除的主节点。 和添加节点不同，移除节点node-id是必需的，测试删除7001主节点：

   

[plain] view plain copy

  1. [root@localhost redis-cluster]# ./redis-trib.rb del-node 127.0.0.1:7001 dd19221c404fb2fc4da37229de56bab755c76f2b  
  2. >>> Removing node dd19221c404fb2fc4da37229de56bab755c76f2b from cluster 127.0.0.1:7002  
  3. [ERR] Node 127.0.0.1:7001 is not empty! Reshard data away and try again.  
  4. [root@localhost redis-cluster]#   

 

  redis cluster提示7001已经有数据了，不能够被删除，需要将他的数据转移出去，也就是和新增主节点一样需重新分片。

        

[plain] view plain copy

  1. [root@localhost redis-cluster]# ./redis-trib.rb reshard 127.0.0.1:7002  

 

  执行以后会提示我们移除的大小，因为7001占用了4096个槽点

[plain] view plain copy

  1. >>> Check for open slots...  
  2. >>> Check slots coverage...  
  3. [OK] All 16384 slots covered.  
  4. How many slots do you want to move (from 1 to 16384)?   


  输入4096

  提示移动的node id，填写7009的node id。

[plain] view plain copy

  1. How many slots do you want to move (from 1 to 16384)? 4096  
  2. What is the receiving node ID?   

   

   需要移动到全部主节点上还是单个主节点

[plain] view plain copy

  1. Please enter all the source node IDs.  
  2.   Type 'all' to use all the nodes as source nodes for the hash slots.  
  3.   Type 'done' once you entered all the source nodes IDs.  
  4. Source node #1:  


   将4096个槽点移动到7009上，填写7001的node id ：dd19221c404fb2fc4da37229de56bab755c76f2b

[plain] view plain copy

  1. Source node #1:dd19221c404fb2fc4da37229de56bab755c76f2b  
  2. Source node #2:done  
  3. Do you want to proceed with the proposed reshard plan (yes/no)? yes  

 

   确认之后会一个一个将7001的卡槽移到到7009上。

   

[plain] view plain copy

  1. [root@localhost redis-cluster]# ./redis-trib.rb check 127.0.0.1:7009  
  2. >>> Performing Cluster Check (using node 127.0.0.1:7009)  
  3. M: 1f51443ede952b98724fea2a12f61fe710ab6cb1 127.0.0.1:7009  
  4.    slots:0-6826,10923-12287 (8192 slots) master  
  5.    3 additional replica(s)  
  6. S: ee3efb90e5ac0725f15238a64fc60a18a71205d7 127.0.0.1:7007  
  7.    slots: (0 slots) slave  
  8.    replicates 1f51443ede952b98724fea2a12f61fe710ab6cb1  
  9. S: 50ce1ea59106b4c2c6bc502593a6a7a7dabf5041 127.0.0.1:7004  
  10.    slots: (0 slots) slave  
  11.    replicates 1f51443ede952b98724fea2a12f61fe710ab6cb1  
  12. M: f9886c71e98a53270f7fda961e1c5f730382d48f 127.0.0.1:7003  
  13.    slots:12288-16383 (4096 slots) master  
  14.    1 additional replica(s)  
  15. M: dd19221c404fb2fc4da37229de56bab755c76f2b 127.0.0.1:7001  
  16.    slots: (0 slots) master  
  17.    0 additional replica(s)  
  18. S: 2ab1b061c36f30ae35604e9a171ae3afdc3c87e5 127.0.0.1:7008  
  19.    slots: (0 slots) slave  
  20.    replicates 1f51443ede952b98724fea2a12f61fe710ab6cb1  
  21. S: 1f07d76585bfab35f91ec711ac53ab4bc00f2d3a 127.0.0.1:7002  
  22.    slots: (0 slots) slave  
  23.    replicates a5db243087d8bd423b9285fa8513eddee9bb59a6  
  24. S: 8bb3ede48319b46d0015440a91ab277da9353c8b 127.0.0.1:7006  
  25.    slots: (0 slots) slave  
  26.    replicates f9886c71e98a53270f7fda961e1c5f730382d48f  
  27. M: a5db243087d8bd423b9285fa8513eddee9bb59a6 127.0.0.1:7005  
  28.    slots:6827-10922 (4096 slots) master  
  29.    1 additional replica(s)  
  30. [OK] All nodes agree about slots configuration.  
  31. >>> Check for open slots...  
  32. >>> Check slots coverage...  
  33. [OK] All 16384 slots covered.  
  34. [root@localhost redis-cluster]#   


     可以看到7001有0个卡槽，而7009有8192个卡槽。

 

     在执行移除操作

     

[plain] view plain copy

  1. [root@localhost redis-cluster]# ./redis-trib.rb del-node 127.0.0.1:7002 dd19221c404fb2fc4da37229de56bab755c76f2b  
  2. >>> Removing node dd19221c404fb2fc4da37229de56bab755c76f2b from cluster 127.0.0.1:7002  
  3. >>> Sending CLUSTER FORGET messages to the cluster...  
  4. >>> SHUTDOWN the node.  
  5. [root@localhost redis-cluster]#   


    已经删除了7001节点。

  

[plain] view plain copy

  1. [root@localhost redis-cluster]# ./redis-trib.rb check 127.0.0.1:7001  
  2. [ERR] Sorry, can't connect to node 127.0.0.1:7001  
  3. [root@localhost redis-cluster]# ./redis-trib.rb check 127.0.0.1:7009  
  4. >>> Performing Cluster Check (using node 127.0.0.1:7009)  
  5. M: 1f51443ede952b98724fea2a12f61fe710ab6cb1 127.0.0.1:7009  
  6.    slots:0-6826,10923-12287 (8192 slots) master  
  7.    3 additional replica(s)  
  8. S: ee3efb90e5ac0725f15238a64fc60a18a71205d7 127.0.0.1:7007  
  9.    slots: (0 slots) slave  
  10.    replicates 1f51443ede952b98724fea2a12f61fe710ab6cb1  
  11. S: 50ce1ea59106b4c2c6bc502593a6a7a7dabf5041 127.0.0.1:7004  
  12.    slots: (0 slots) slave  
  13.    replicates 1f51443ede952b98724fea2a12f61fe710ab6cb1  
  14. M: f9886c71e98a53270f7fda961e1c5f730382d48f 127.0.0.1:7003  
  15.    slots:12288-16383 (4096 slots) master  
  16.    1 additional replica(s)  
  17. S: 2ab1b061c36f30ae35604e9a171ae3afdc3c87e5 127.0.0.1:7008  
  18.    slots: (0 slots) slave  
  19.    replicates 1f51443ede952b98724fea2a12f61fe710ab6cb1  
  20. S: 1f07d76585bfab35f91ec711ac53ab4bc00f2d3a 127.0.0.1:7002  
  21.    slots: (0 slots) slave  
  22.    replicates a5db243087d8bd423b9285fa8513eddee9bb59a6  
  23. S: 8bb3ede48319b46d0015440a91ab277da9353c8b 127.0.0.1:7006  
  24.    slots: (0 slots) slave  
  25.    replicates f9886c71e98a53270f7fda961e1c5f730382d48f  
  26. M: a5db243087d8bd423b9285fa8513eddee9bb59a6 127.0.0.1:7005  
  27.    slots:6827-10922 (4096 slots) master  
  28.    1 additional replica(s)  
  29. [OK] All nodes agree about slots configuration.  
  30. >>> Check for open slots...  
  31. >>> Check slots coverage...  
  32. [OK] All 16384 slots covered.  
  33. [root@localhost redis-cluster]#   


  可以看到7001已经连接不了；而7001的从节点7004自动分配到了7009主节点中，7009现在3个从节点。

 

 2、移除从节点

     比如删除7009的7008节点：

      

[plain] view plain copy

  1. [root@localhost redis-cluster]# ./redis-trib.rb del-node 127.0.0.1:7009 2ab1b061c36f30ae35604e9a171ae3afdc3c87e5  
  2. >>> Removing node 2ab1b061c36f30ae35604e9a171ae3afdc3c87e5 from cluster 127.0.0.1:7009  
  3. >>> Sending CLUSTER FORGET messages to the cluster...  
  4. >>> SHUTDOWN the node.  
  5. [root@localhost redis-cluster]# ./redis-trib.rb check 127.0.0.1:7008  
  6. [ERR] Sorry, can't connect to node 127.0.0.1:7008  
  7. [root@localhost redis-cluster]#   

 

     删除从节点比较方便，现在redis-cluster中有3个主节点，4个从节点，如下：

[plain] view plain copy

  1. [root@localhost redis-cluster]# ./redis-trib.rb check 127.0.0.1:7009  
  2. >>> Performing Cluster Check (using node 127.0.0.1:7009)  
  3. M: 1f51443ede952b98724fea2a12f61fe710ab6cb1 127.0.0.1:7009  
  4.    slots:0-6826,10923-12287 (8192 slots) master  
  5.    2 additional replica(s)  
  6. S: ee3efb90e5ac0725f15238a64fc60a18a71205d7 127.0.0.1:7007  
  7.    slots: (0 slots) slave  
  8.    replicates 1f51443ede952b98724fea2a12f61fe710ab6cb1  
  9. S: 50ce1ea59106b4c2c6bc502593a6a7a7dabf5041 127.0.0.1:7004  
  10.    slots: (0 slots) slave  
  11.    replicates 1f51443ede952b98724fea2a12f61fe710ab6cb1  
  12. M: f9886c71e98a53270f7fda961e1c5f730382d48f 127.0.0.1:7003  
  13.    slots:12288-16383 (4096 slots) master  
  14.    1 additional replica(s)  
  15. S: 1f07d76585bfab35f91ec711ac53ab4bc00f2d3a 127.0.0.1:7002  
  16.    slots: (0 slots) slave  
  17.    replicates a5db243087d8bd423b9285fa8513eddee9bb59a6  
  18. S: 8bb3ede48319b46d0015440a91ab277da9353c8b 127.0.0.1:7006  
  19.    slots: (0 slots) slave  
  20.    replicates f9886c71e98a53270f7fda961e1c5f730382d48f  
  21. M: a5db243087d8bd423b9285fa8513eddee9bb59a6 127.0.0.1:7005  
  22.    slots:6827-10922 (4096 slots) master  
  23.    1 additional replica(s)  
  24. [OK] All nodes agree about slots configuration.  
  25. >>> Check for open slots...  
  26. >>> Check slots coverage...  
  27. [OK] All 16384 slots covered.  
  28. [root@localhost redis-cluster]#   


   ok，测试到这儿吧。

 

====================================================================================================================================================================================================================================================================================================================================================================

如何理解Redis集群的Slot映射

2017年08月17日 13:47:45 derekzhuo 阅读数：4686

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/hjjomiqpl/article/details/77324168

Redis在单机模式时，使用数据结构dict来实现数据库。
Redis在集群模式时，也是使用数据结构dict来实现数据库，但是集群模式对于数据库有其他需求，包括数据的节点无关性、内部操作对客户端需要屏蔽、冗余备份等，并且在一定的情况，数据还需要在不同的节点间实现迁移。
在所有模式下，Redis的节点数据的备份都是使用备份来实现的。这个暂时不深入。

Redis引入的slot来解决如何实现集群模式下部分需求的问题。
事实下，节点并不是存储在slot里面，slot只是用于管理数据与节点相联的手段而已。在处理相关逻辑问题时，redis使用slot作为索引来管理数据下的所有数据。

举一个例子，集群模式下，使用redis-cli连接服务器节点A（指派了slot[2000-3000]）并issue如下指令set name derekzhuo。
-node A计算name的slot为1000，发现slot 1000不在本节点上，向redis-cli返回该slot的节点信息；
-redis-cli连接新的node，并且重新issue该指令。

以上流程就是cluster模式下如何处理一个键的流程，也可以很清楚地看出slot的作用其实就是用于做key索引而已。

 

===========================================================================================================================================================================================================================================================================

 

Raft算法和Gossip协议

发表于 2017-11-12 | 分类于 NFV

简单介绍下集群数据同步，集群监控用到的两种常见算法。

Raft算法

raft 集群中的每个节点都可以根据集群运行的情况在三种状态间切换：follower, candidate 与 leader。leader 向 follower 同步日志，follower 只从 leader 处获取日志。在节点初始启动时，节点的 raft 状态机将处于 follower 状态并被设定一个 election timeout，如果在这一时间周期内没有收到来自 leader 的 heartbeat，节点将发起选举：节点在将自己的状态切换为 candidate 之后，向集群中其它 follower 节点发送请求，询问其是否选举自己成为 leader。当收到来自集群中过半数节点的接受投票后，节点即成为 leader，开始接收保存 client 的数据并向其它的 follower 节点同步日志。leader 节点依靠定时向 follower 发送 heartbeat 来保持其地位。任何时候如果其它 follower 在 election timeout 期间都没有收到来自 leader 的 heartbeat，同样会将自己的状态切换为 candidate 并发起选举。每成功选举一次，新 leader 的步进数都会比之前 leader 的步进数大1。

Raft一致性算法处理日志复制以保证强一致性。

follower 节点不可用

follower 节点不可用的情况相对容易解决。因为集群中的日志内容始终是从 leader 节点同步的，只要这一节点再次加入集群时重新从 leader 节点处复制日志即可。

leader 不可用

一般情况下，leader 节点定时发送 heartbeat 到 follower 节点。

redis cluster百万QPS的挑战_第8张图片

由于某些异常导致 leader 不再发送 heartbeat ，或 follower 无法收到 heartbeat 。

redis cluster百万QPS的挑战_第9张图片

当某一 follower 发生 election timeout 时，其状态变更为 candidate，并向其他 follower 发起投票。

redis cluster百万QPS的挑战_第10张图片

当超过半数的 follower 接受投票后，这一节点将成为新的 leader，leader 的步进数加1并开始向 follower 同步日志。

redis cluster百万QPS的挑战_第11张图片

当一段时间之后，如果之前的 leader 再次加入集群，则两个 leader 比较彼此的步进数，步进数低的 leader 将切换自己的状态为 follower。

redis cluster百万QPS的挑战_第12张图片

较早前 leader 中不一致的日志将被清除，并与现有 leader 中的日志保持一致。

redis cluster百万QPS的挑战_第13张图片

Gossip协议

传统的监控，如ceilometer，由于每个节点都会向server报告状态，随着节点数量的增加server的压力随之增大。分布式健康检查可以解决这类性能瓶颈，降节点数量从数百台扩至数千台，甚至更多。

Agent在每台节点上运行，可以在每个Agent上添加一些健康检查的动作，Agent会周期性的运行这些动作。用户可以添加脚本或者请求一个URL链接。一旦有健康检查报告失败，Agent就把这个事件上报给服务器节点。用户可以在服务器节点上订阅健康检查事件，并处理这些报错消息。

在所有的Agent之间（包括服务器模式和普通模式）运行着Gossip协议。服务器节点和普通Agent都会加入这个Gossip集群，收发Gossip消息。每隔一段时间，每个节点都会随机选择几个节点发送Gossip消息，其他节点会再次随机选择其他几个节点接力发送消息。这样一段时间过后，整个集群都能收到这条消息。示意图如下。

redis cluster百万QPS的挑战_第14张图片

Gossip协议已经是P2P网络中比较成熟的协议了。Gossip协议的最大的好处是，即使集群节点的数量增加，每个节点的负载也不会增加很多，几乎是恒定的。这就允许Consul管理的集群规模能横向扩展到数千个节点。

Consul的每个Agent会利用Gossip协议互相检查在线状态，本质上是节点之间互Ping，分担了服务器节点的心跳压力。如果有节点掉线，不用服务器节点检查，其他普通节点会发现，然后用Gossip广播给整个集群。

Gossip算法又被称为反熵（Anti-Entropy），熵是物理学上的一个概念，代表杂乱无章，而反熵就是在杂乱无章中寻求一致，这充分说明了Gossip的特点：在一个有界网络中，每个节点都随机地与其他节点通信，经过一番杂乱无章的通信，最终所有节点的状态都会达成一致。每个节点可能知道所有其他节点，也可能仅知道几个邻居节点，只要这些节可以通过网络连通，最终他们的状态都是一致的，当然这也是疫情传播的特点。

要注意到的一点是，即使有的节点因宕机而重启，有新节点加入，但经过一段时间后，这些节点的状态也会与其他节点达成一致，也就是说，Gossip天然具有分布式容错的优点。

你可能感兴趣的:(redis cluster百万QPS的挑战)

  • 斤斤计较的婚姻到底有多难？ 白心之岂必有为
    很多人私聊我会问到在哪个人群当中斤斤计较的人最多？我都会回答他，一般婚姻出现问题的斤斤计较的人士会非常多，以我多年经验，在婚姻落的一塌糊涂的人当中，斤斤计较的人数占比在20～30%以上，也就是说10个婚姻出现问题的斤斤计较的人有2-3个有多不减。在婚姻出问题当中，有大量的心理不平衡的、尖酸刻薄的怨妇。在婚姻中仅斤斤计较有两种类型：第一种是物质上的，另一种是精神上的。在物质与精神上抠门已经严重的影响
  • 情绪觉察日记第37天 露露_e800
    今天是家庭关系规划师的第二阶最后一天，慧萍老师帮我做了个案，帮我处理了埋在心底好多年的一份恐惧，并给了我深深的力量！这几天出来学习，爸妈过来婆家帮我带小孩，妈妈出于爱帮我收拾东西，并跟我先生和婆婆产生矛盾，妈妈觉得他们没有照顾好我…。今晚回家见到妈妈，我很欣赏她并赞扬她，妈妈说今晚要跟我睡我说好，当我们俩躺在床上准备睡觉的时候，我握着妈妈的手对她说:妈妈这几天辛苦你了，你看你多利害把我们的家收拾得
  • 芦花鞋一四 许叶晗
    又是在一个寒冷的夏日里，青铜和葵花决定今天一起去卖芦花鞋，奶奶亲手给他们做了一碗热乎乎的粥对他们说:“就靠你们两挣生活费了这碗粥赶紧趁热喝了吧！”于是青铜和葵花喝完了奶奶给她们做的粥，就准备去镇上卖卢花鞋，这回青铜和葵花穿着新的芦花鞋来到了镇上。青铜这回看到了很多人都在卖，用手势表达对葵花说:“这回有好多人在抢我们生意呢！我们必须得吆喝起来。”葵花点了点头。可是谁知他们也大声的叫，卖芦花喽！卖芦花
  • QQ群采集助手，精准引流必备神器 2401_87347160 其他经验分享
    功能概述微信群查找与筛选工具是一款专为微信用户设计的辅助工具，它通过关键词搜索功能，帮助用户快速找到相关的微信群，并提供筛选是否需要验证的群组的功能。主要功能关键词搜索：用户可以输入关键词，工具将自动查找包含该关键词的微信群。筛选功能：工具提供筛选机制，用户可以选择是否只显示需要验证或不需要验证的群组。精准引流：通过上述功能，用户可以更精准地找到目标群组，进行有效的引流操作。3.设备需求该工具可以
  • 关于沟通这件事，项目经理不需要每次都面对面进行 流程大师兄
    很多项目经理都会遇到这样的问题，项目中由于事情太多，根本没有足够的时间去召开会议，那在这种情况下如何去有效地管理项目中的利益相关者？当然，不建议电子邮件也不需要开会的话，建议可以采取下面几种方式来形成有效的沟通，这几种方式可以帮助你努力的通过各种办法来保持和各方面的联系。项目经理首先要问自己几个问题，项目中哪些利益相关者是必须要进行沟通的？可以列出项目中所有的利益相关者清单，同时也整理出项目中哪些
  • 机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习python
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
  • 铭刻于星（四十二） 随风至
    69夜晚，绍敏同学做完功课后，看了眼房外，没听到动静才敢从书包的夹层里拿出那个心形纸团。折痕压得很深，都有些旧了，想来是已经写好很久了。绍敏同学慢慢地、轻轻地捏开折叠处，待到全部拆开后，又反复抚平纸张，然后仔细地一字字默看。只是开头的三个字是第一次看到，让她心漏跳了几拍。“亲爱的绍敏：从四年级的时候，我就喜欢你了，但是我一直不敢说，怕影响你学习。六年级的时候听说有人跟你表白，你接受了，我很难过，但
  • 底层逆袭到底有多难，不甘平凡的你准备好了吗？让吴起给你说说 造命者说
    底层逆袭到底有多难，不甘平凡的你准备好了吗？让吴起给你说说我叫吴起，生于公元前440年的战国初期，正是群雄并起、天下纷争不断的时候。后人说我是军事家、政治家、改革家，是兵家代表人物。评价我一生历仕鲁、魏、楚三国，通晓兵家、法家、儒家三家思想，在内政军事上都有极高的成就。周安王二十一年（公元前381年），因变法得罪守旧贵族，被人乱箭射死。我出生在卫国一个“家累万金”的富有家庭，从年轻时候起就不甘平凡
  • 2020-01-25 晴岚85
    郑海燕坚持分享590天2020.1.24在生活中只存在两个问题。一个问题是：你知道想要达成的目标是什么，但却不知道如何才能达成；另一个问题是：你不知道你的目标是什么。前一个是行动的问题，后一个是结果的问题。通过制定具体的下一步行动，可以解决不知道如何开始行动的问题。而通过去想象结果，对结果做预估，可以解决找不着目标的问题。对于所有吸引我们注意力，想要完成的任务，你可以先想象一下，预期的结果究竟是什
  • 随笔 | 仙一般的灵气 海思沧海
    仙岛今天，我看了你全部，似乎已经进入你的世界我不知道，这是否是梦幻，还是你仙一般的灵气吸引了我也许每一个人都要有一份属于自己的追求，这样才能够符合人生的梦想，生活才能够充满着阳光与快乐我不知道，我为什么会这样的感叹，是在感叹自己的人生，还是感叹自己一直没有孜孜不倦的追求只感觉虚度了光阴，每天活在自己的梦中，活在一个不真实的世界是在逃避自己，还是在逃避周围的一切有时候我嘲笑自己，嘲笑自己如此的虚无，
  • 想家 爆米花机
    也许不同于大家对家乡的思念，我对家乡甚至是疯狂的不舍。还未踏出车站就感觉到幸福，我享受这里的夕阳、这里的浓烈柴火味、这里每一口家常菜。我是宅女，我贪恋家的安逸。刚刚踏出大学校门，初出茅庐，无法适应每年只能国庆和春节回家。我焦虑、失眠、无端发脾气，是无法适应工作的节奏，是无法接受我将一步步离开家乡的事实。我不想承认自己胸无大志，选择再次踏上征程。图片发自App
  • 【iOS】MVC设计模式 Magnetic_h iosmvc设计模式objective-c学习ui
    MVC前言如何设计一个程序的结构，这是一门专门的学问，叫做"架构模式"（architecturalpattern），属于编程的方法论。MVC模式就是架构模式的一种。它是Apple官方推荐的App开发架构，也是一般开发者最先遇到、最经典的架构。MVC各层controller层Controller/ViewController/VC（控制器）负责协调Model和View，处理大部分逻辑它将数据从Mod
  • OC语言多界面传值五大方式 Magnetic_h iosui学习objective-c开发语言
    前言在完成暑假仿写项目时，遇到了许多需要用到多界面传值的地方，这篇博客来总结一下比较常用的五种多界面传值的方式。属性传值属性传值一般用前一个界面向后一个界面传值，简单地说就是通过访问后一个视图控制器的属性来为它赋值，通过这个属性来做到从前一个界面向后一个界面传值。首先在后一个界面中定义属性@interfaceBViewController:UIViewController@propertyNSSt
  • 一百九十四章. 自相矛盾 巨木擎天
    唉！就这么一夜，林子感觉就像过了很多天似的，先是回了阳间家里，遇到了那么多不可思议的事情儿。特别是小伙伴们，第二次与自己见面时，僵硬的表情和恐怖的气氛，让自己如坐针毡，打从心眼里难受！还有东子，他现在还好吗？有没有被人欺负？护城河里的小鱼小虾们，还都在吗？水不会真的干枯了吧？那对相亲相爱漂亮的太平鸟儿，还好吧！春天了，到了做窝、下蛋、喂养小鸟宝宝的时候了，希望它们都能够平安啊！虽然没有看见家人，也
  • UI学习——cell的复用和自定义cell Magnetic_h ui学习
    目录cell的复用手动（非注册）自动（注册）自定义cellcell的复用在iOS开发中，单元格复用是一种提高表格（UITableView）和集合视图（UICollectionView）滚动性能的技术。当一个UITableViewCell或UICollectionViewCell首次需要显示时，如果没有可复用的单元格，则视图会创建一个新的单元格。一旦这个单元格滚动出屏幕，它就不会被销毁。相反，它被添
  • element实现动态路由+面包屑 软件技术NINI vue案例vue.js前端
    el-breadcrumb是ElementUI组件库中的一个面包屑导航组件，它用于显示当前页面的路径，帮助用户快速理解和导航到应用的各个部分。在Vue.js项目中，如果你已经安装了ElementUI，就可以很方便地使用el-breadcrumb组件。以下是一个基本的使用示例：安装ElementUI（如果你还没有安装的话）:你可以通过npm或yarn来安装ElementUI。bash复制代码npmi
  • 10月|愿你的青春不负梦想-读书笔记-01 Tracy的小书斋
    本书的作者是俞敏洪，大家都很熟悉他了吧。俞敏洪老师是我行业的领头羊吧，也是我事业上的偶像。本日摘录他书中第一章中的金句：『一个人如果什么目标都没有，就会浑浑噩噩，感觉生命中缺少能量。能给我们能量的，是对未来的期待。第一件事，我始终为了进步而努力。与其追寻全世界的骏马，不如种植丰美的草原，到时骏马自然会来。第二件事，我始终有阶段性的目标。什么东西能给我能量？答案是对未来的期待。』读到这里的时候，我便
  • C语言宏函数 南林yan C语言c语言
    一、什么是宏函数？通过宏定义的函数是宏函数。如下，编译器在预处理阶段会将Add(x,y)替换为((x)*(y))#defineAdd(x,y)((x)*(y))#defineAdd(x,y)((x)*(y))intmain(){inta=10;intb=20;intd=10;intc=Add(a+d,b)*2;cout<
  • 地推话术，如何应对地推过程中家长的拒绝 校师学
    相信校长们在做地推的时候经常遇到这种情况：市场专员反馈家长不接单，咨询师反馈难以邀约这些家长上门，校区地推疲软，招生难。为什么？仅从地推层面分析，一方面因为家长受到的信息轰炸越来越多，对信息越来越“免疫”；而另一方面地推人员的专业能力和营销话术没有提高，无法应对家长的拒绝，对有意向的家长也不知如何跟进，眼睁睁看着家长走远；对于家长的疑问，更不知道如何有技巧地回答，机会白白流失。由于回答没技巧和专业
  • 谢谢你们，爱你们！ 鹿游儿
    昨天家人去泡温泉，二个孩子也带着去，出发前一晚，匆匆下班，赶回家和孩子一起收拾。饭后，我拿出笔和本子（上次去澳门时做手帐的本子）写下了1\2\3\4\5\6\7\8\9,让后让小壹去思考，带什么出发去旅游呢？她在对应的数字旁边画上了，泳衣、泳圈、肖恩、内衣内裤、tapuy、拖鞋……画完后，就让她自己对着这个本子，将要带的，一一带上，没想到这次带的书还是这本《便便工厂》(晚上姑婆发照片过来，妹妹累得
  • C语言如何定义宏函数？ 小九格物 c语言
    在C语言中，宏函数是通过预处理器定义的，它在编译之前替换代码中的宏调用。宏函数可以模拟函数的行为，但它们不是真正的函数，因为它们在编译时不会进行类型检查，也不会分配存储空间。宏函数的定义通常使用#define指令，后面跟着宏的名称和参数列表，以及宏展开后的代码。宏函数的定义方式：1.基本宏函数：这是最简单的宏函数形式，它直接定义一个表达式。#defineSQUARE(x)((x)*(x))2.带参
  • 微服务下功能权限与数据权限的设计与实现 nbsaas-boot 微服务java架构
    在微服务架构下，系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加，如何保证不同用户和服务之间的访问权限准确、细粒度地控制，成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限：指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作，比如查看订单、创建订单、修改用户资料等。数据权限：
  • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
  • 小丽成长记（四十三） 玲玲54321
    小丽发现，即使她好不容易调整好自己的心态下一秒总会有不确定的伤脑筋的事出现，一个接一个的问题，人生就没有停下的时候，小问题不断出现。不过她今天看的书，她接受了人生就是不确定的，厉害的人就是不断创造确定性，在Ta的领域比别人多的确定性就能让自己脱颖而出，显示价值从而获得的比别人多的利益。正是这样的原因，因为从前修炼自己太少，使得她现在在人生道路上打怪起来困难重重，她似乎永远摆脱不了那种无力感，有种习
  • 学点心理知识，呵护孩子健康 静候花开_7090
    昨天听了华中师范大学教育管理学系副教授张玲老师的《哪里才是学生心理健康的最后庇护所，超越教育与技术的思考》的讲座。今天又重新学习了一遍，收获匪浅。张玲博士也注意到了当今社会上的孩子由于心理问题导致的自残、自杀及伤害他人等恶性事件。她向我们普及了一个重要的命题，她说心理健康的一些基本命题，我们与我们通常的一些教育命题是不同的，她还举了几个例子，让我们明白我们原来以为的健康并非心理学上的健康。比如如果
  • 2021年12月19日，春蕾教育集团团建活动感受——黄晓丹 黄错错加油
    感受:1.从陌生到熟悉的过程。游戏环节让我们在轻松的氛围中得到了锻炼，也增长了不少知识。2.游戏过程中，我们贡献的是个人力量，展现的是团队的力量。它磨合的往往不止是工作的熟悉，更是观念上契合度的贴近。3.这和工作是一样的道理。在各自的岗位上，每个人摆正自己的位置、各司其职充分发挥才能，并团结一致劲往一处使，才能实现最大的成功。新知:1.团队精神需要不断地创新。过去，人们把创新看作是冒风险，现在人们
  • Cell Insight | 单细胞测序技术又一新发现，可用于HIV-1和Mtb共感染个体诊断 尐尐呅
    结核病是艾滋病合并其他疾病中导致患者死亡的主要原因。其中结核病由结核分枝杆菌（Mycobacteriumtuberculosis,Mtb）感染引起，获得性免疫缺陷综合症（艾滋病）由人免疫缺陷病毒（Humanimmunodeficiencyvirustype1,HIV-1）感染引起。国家感染性疾病临床医学研究中心/深圳市第三人民医院张国良团队携手深圳华大生命科学研究院吴靓团队，共同研究得出单细胞测序
  • c++ 的iostream 和 c++的stdio的区别和联系 黄卷青灯77 c++算法开发语言iostreamstdio
    在C++中，iostream和C语言的stdio.h都是用于处理输入输出的库，但它们在设计、用法和功能上有许多不同。以下是两者的区别和联系：区别1.编程风格iostream（C++风格）：C++标准库中的输入输出流类库，支持面向对象的输入输出操作。典型用法是cin（输入）和cout（输出），使用>操作符来处理数据。更加类型安全，支持用户自定义类型的输入输出。#includeintmain(){in
  • 瑶池防线 谜影梦蝶
    冥华虽然逃过了影梦的军队，但他是一个忠臣，他选择上报战况。败给影梦后成逃兵，高层亡尔还活着，七重天失守......随便一条，即可处死冥华。冥华自然是知道以仙界高层的习性此信一发自己必死无疑，但他还选择上报实情，因为责任。同样此信送到仙宫后，知道此事的人，大多数人都认定冥华要完了，所以上到仙界高层，下到扫大街的，包括冥华自己，全都准备好迎接冥华之死。如果仙界现在还属于两方之争的话，冥华必死无疑。然而
  • 爬山后遗症 璃绛
    爬山，攀登，一步一步走向制高点，是一种挑战。成功抵达是一种无法言语的快乐，在山顶吹吹风，看看风景，这是从未有过的体验。然而，爬山一时爽，下山腿打颤，颠簸的路，一路向下走，腿部力量不够，走起来抖到不行，停不下来了！第二天必定腿疼，浑身酸痛，坐立难安！
  • 对股票分析时要注意哪些主要因素？ 会飞的奇葩猪 股票 分析 云掌股吧
    　　众所周知，对散户投资者来说，股票技术分析是应战股市的核心武器，想学好股票的技术分析一定要知道哪些是重点学习的，其实非常简单，我们只要记住三个要素：成交量、价格趋势、振荡指标。     一、成交量 　　大盘的成交量状态。成交量大说明市场的获利机会较多，成交量小说明市场的获利机会较少。当沪市的成交量超过150亿时是强市市场状态，运用技术找综合买点较准；
  • 【Scala十八】视图界定与上下文界定 bit1129 scala
    Context Bound，上下文界定，是Scala为隐式参数引入的一种语法糖，使得隐式转换的编码更加简洁。   隐式参数 首先引入一个泛型函数max，用于取a和b的最大值 def max[T](a: T, b: T) = { if (a > b) a else b }  因为T是未知类型，只有运行时才会代入真正的类型，因此调用a >
  • C语言的分支——Object-C程序设计阅读有感 darkblue086 applec框架cocoa
    自从1972年贝尔实验室Dennis Ritchie开发了C语言，C语言已经有了很多版本和实现，从Borland到microsoft还是GNU、Apple都提供了不同时代的多种选择，我们知道C语言是基于Thompson开发的B语言的，Object-C是以SmallTalk-80为基础的。和C++不同的是，Object C并不是C的超集，因为有很多特性与C是不同的。 Object-C程序设计这本书
  • 去除浏览器对表单值的记忆 周凡杨 html记忆autocompleteform浏览
                                       &n
  • java的树形通讯录 g21121 java
    最近用到企业通讯录，虽然以前也开发过，但是用的是jsf，拼成的树形，及其笨重和难维护。后来就想到直接生成json格式字符串，页面上也好展现。 // 首先取出每个部门的联系人 for (int i = 0; i < depList.size(); i++) { List<Contacts> list = getContactList(depList.get(i
  • Nginx安装部署 510888780 nginxlinux
    Nginx ("engine x") 是一个高性能的 HTTP 和 反向代理 服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源
  • java servelet异步处理请求 墙头上一根草 ｊａｖａ异步返回ｓｅｒｖｌｅｔ
    servlet3.0以后支持异步处理请求，具体是使用AsyncContext ，包装httpservletRequest以及httpservletResponse具有异步的功能，        final AsyncContext ac = request.startAsync(request, response);   ac.s
  • 我的spring学习笔记8-Spring中Bean的实例化 aijuans Spring 3
    在Spring中要实例化一个Bean有几种方法： 1、最常用的（普通方法） <bean id="myBean" class="www.6e6.org.MyBean" /> 使用这样方法，按Spring就会使用Bean的默认构造方法，也就是把没有参数的构造方法来建立Bean实例。 （有构造方法的下个文细说） 2、还
  • 为Mysql创建最优的索引 annan211 mysql索引
    索引对于良好的性能非常关键，尤其是当数据规模越来越大的时候，索引的对性能的影响越发重要。 索引经常会被误解甚至忽略，而且经常被糟糕的设计。 索引优化应该是对查询性能优化最有效的手段了，索引能够轻易将查询性能提高几个数量级，最优的索引会比 较好的索引性能要好2个数量级。 1 索引的类型 (1) B-Tree 不出意外，这里提到的索引都是指 B-
  • 日期函数 百合不是茶 oraclesql日期函数查询
      ORACLE日期时间函数大全 TO_DATE格式(以时间:2007-11-02 13:45:25为例) Year: yy two digits 两位年 显示值:07 yyy three digits 三位年 显示值:007
  • 线程优先级 bijian1013 javathread多线程java多线程
    多线程运行时需要定义线程运行的先后顺序。 线程优先级是用数字表示，数字越大线程优先级越高，取值在1到10，默认优先级为5。 实例： package com.bijian.study; /** * 因为在代码段当中把线程B的优先级设置高于线程A,所以运行结果先执行线程B的run()方法后再执行线程A的run()方法 * 但在实际中，JAVA的优先级不准，强烈不建议用此方法来控制执
  • 适配器模式和代理模式的区别 bijian1013 java设计模式
    一.简介        适配器模式：适配器模式（英语：adapter pattern）有时候也称包装样式或者包装。将一个类的接口转接成用户所期待的。一个适配使得因接口不兼容而不能在一起工作的类工作在一起，做法是将类别自己的接口包裹在一个已存在的类中。      &nbs
  • 【持久化框架MyBatis3三】MyBatis3 SQL映射配置文件 bit1129 Mybatis3
     SQL映射配置文件一方面类似于Hibernate的映射配置文件，通过定义实体与关系表的列之间的对应关系。另一方面使用<select>,<insert>,<delete>，<update>元素定义增删改查的SQL语句， 这些元素包含三方面内容 1. 要执行的SQL语句 2. SQL语句的入参，比如查询条件 3. SQL语句的返回结果
  • oracle大数据表复制备份个人经验 bitcarter oracle大表备份大表数据复制
    前提：    数据库仓库A（就拿oracle11g为例）中有两个用户user1和user2,现在有user1中有表ldm_table1,且表ldm_table1有数据5千万以上，ldm_table1中的数据是从其他库B（数据源）中抽取过来的，前期业务理解不够或者需求有变，数据有变动需要重新从B中抽取数据到A库表ldm_table1中。    
  • HTTP加速器varnish安装小记 ronin47 http varnish 加速
    上午共享的那个varnish安装手册，个人看了下，有点不知所云，好吧~看来还是先安装玩玩！ 苦逼公司服务器没法连外网，不能用什么wget或yum命令直接下载安装，每每看到别人博客贴出的在线安装代码时，总有一股羡慕嫉妒“恨”冒了出来。。。好吧，既然没法上外网，那只能麻烦点通过下载源码来编译安装了！ Varnish 3.0.4下载地址： http://repo.varnish-cache.org/
  • java-73-输入一个字符串，输出该字符串中对称的子字符串的最大长度 bylijinnan java
    public class LongestSymmtricalLength { /* * Q75题目：输入一个字符串，输出该字符串中对称的子字符串的最大长度。 * 比如输入字符串“google”，由于该字符串里最长的对称子字符串是“goog”，因此输出4。 */ public static void main(String[] args) { Str
  • 学习编程的一点感想 Cb123456 编程感想Gis
           写点感想，总结一些，也顺便激励一些自己.现在就是复习阶段，也做做项目.      本专业是GIS专业，当初觉得本专业太水，靠这个会活不下去的，所以就报了培训班。学习的时候，进入状态很慢，而且当初进去的时候，已经上到Java高级阶段了，所以.....，呵呵，之后有点感觉了，不过，还是不好好写代码，还眼高手低的，有
  • [能源与安全]美国与中国 comsci 能源
         现在有一个局面：地球上的石油只剩下N桶，这些油只够让中国和美国这两个国家中的一个顺利过渡到宇宙时代，但是如果这两个国家为争夺这些石油而发生战争，其结果是两个国家都无法平稳过渡到宇宙时代。。。。而且在战争中，剩下的石油也会被快速消耗在战争中，结果是两败俱伤。。。       在这个大
  • SEMI-JOIN执行计划突然变成HASH JOIN了 的原因分析 cwqcwqmax9 oracle
    甲说： A B两个表总数据量都很大，在百万以上。 idx1  idx2字段表示是索引字段 A B 两表上都有 col1字段表示普通字段 select xxx from A where A.idx1 between mmm and nnn      and exists (select 1 from B where B.idx2 =
  • SpringMVC-ajax返回值乱码解决方案 dashuaifu AjaxspringMVCresponse中文乱码
      SpringMVC-ajax返回值乱码解决方案   一：（自己总结，测试过可行） ajax返回如果含有中文汉字，则使用：（如下例：） @RequestMapping(value="/xxx.do")       public @ResponseBody void getPunishReasonB
  • Linux系统中查看日志的常用命令 dcj3sjt126com OS
    因为在日常的工作中，出问题的时候查看日志是每个管理员的习惯，作为初学者，为了以后的需要，我今天将下面这些查看命令共享给各位 cat tail -f 日 志 文 件 说 明 /var/log/message 系统启动后的信息和错误日志，是Red Hat Linux中最常用的日志之一 /var/log/secure 与安全相关的日志信息 /var/log/maillog 与邮件相关的日志信
  • [应用结构]应用 dcj3sjt126com PHPyii2
    应用主体 应用主体是管理 Yii 应用系统整体结构和生命周期的对象。 每个Yii应用系统只能包含一个应用主体，应用主体在 入口脚本中创建并能通过表达式 \Yii::$app 全局范围内访问。 补充: 当我们说"一个应用"，它可能是一个应用主体对象，也可能是一个应用系统，是根据上下文来决定[译：中文为避免歧义，Application翻译为应
  • assertThat用法 eksliang JUnitassertThat
    junit4.0  assertThat用法 一般匹配符1、assertThat( testedNumber, allOf( greaterThan(8), lessThan(16) ) ); 注释： allOf匹配符表明如果接下来的所有条件必须都成立测试才通过，相当于“与”（&&） 2、assertThat( testedNumber, anyOf( g
  • android点滴2 gundumw100 应用服务器android网络应用OSHTC
    如何让Drawable绕着中心旋转？ Animation a = new RotateAnimation(0.0f, 360.0f, Animation.RELATIVE_TO_SELF, 0.5f, Animation.RELATIVE_TO_SELF,0.5f); a.setRepeatCount(-1); a.setDuration(1000); 如何控制Andro
  • 超简洁的CSS下拉菜单 ini htmlWeb工作html5css
    效果体验：http://hovertree.com/texiao/css/3.htmHTML文件： <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <title>简洁的HTML+CSS下拉菜单-HoverTree</title>
  • kafka consumer防止数据丢失 kane_xie kafkaoffset commit
    kafka最初是被LinkedIn设计用来处理log的分布式消息系统，因此它的着眼点不在数据的安全性（log偶尔丢几条无所谓），换句话说kafka并不能完全保证数据不丢失。   尽管kafka官网声称能够保证at-least-once，但如果consumer进程数小于partition_num，这个结论不一定成立。   考虑这样一个case，partiton_num=2
  • @Repository、@Service、@Controller 和 @Component mhtbbx DAOspringbeanprototype
    @Repository、@Service、@Controller 和 @Component 将类标识为Bean Spring 自 2.0 版本开始，陆续引入了一些注解用于简化 Spring 的开发。@Repository注解便属于最先引入的一批，它用于将数据访问层 (DAO 层 ) 的类标识为 Spring Bean。具体只需将该注解标注在 DAO类上即可。同时，为了让 Spring 能够扫描类
  • java 多线程高并发读写控制 误区 qifeifei java thread
    先看一下下面的错误代码，对写加了synchronized控制，保证了写的安全，但是问题在哪里呢？ public class testTh7 { private String data; public String read(){ System.out.println(Thread.currentThread().getName() + "read data "
  • mongodb replica set(副本集)设置步骤 tcrct javamongodb
    网上已经有一大堆的设置步骤的了，根据我遇到的问题，整理一下，如下： 首先先去下载一个mongodb最新版，目前最新版应该是2.6 cd /usr/local/bin wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.6.0.tgz tar -zxvf mongodb-linux-x86_64-2.6.0.t
  • rust学习笔记 wudixiaotie 学习笔记
    1.rust里绑定变量是let，默认绑定了的变量是不可更改的，所以如果想让变量可变就要加上mut。 let x = 1; let mut y = 2; 2.match 相当于erlang中的case，但是case的每一项后都是分号，但是rust的match却是逗号。 3.match 的每一项最后都要加逗号，但是最后一项不加也不会报错，所有结尾加逗号的用法都是类似。 4.每个语句结尾都要加分
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他