Redis Cluster在redis3.0版本以上开始支持,以ruby环境运行。他可以把多个redis实例整合在一起,形成一个集群,集群内分配slot(分片槽),实现数据的分片存放。客户端只要以集群的模式连接上集群内任意一个节点,就可以操作整个集群。
集群角色有Master和Slave。Master之间分配slots,一共16384个slot。Slave向它指定的Master同步数据,实现备份。当其中的一个Master无法提供服务时,该Master的Slave讲提升为Master,保证集群间slot的完整性。一旦其中的某一个Master和它的Slave都失效,导致了slot不完整,集群失效。
环境准备:
Redis节点:
192.168.189.144:9000
192.168.189.144:9001
192.168.189.145:8000
192.168.189.145:8001
192.168.189.146:7000
192.168.189.146:7001
在上述节点安装3.0以上的redis版本,安装完成后有redis-trib.rb文件,这个文件用于操作管理reids cluster。
选择192.168.189.144为Cluster操作机器,安装ruby环境,ruby环境要在1.8.5以上。
#rpm -ivh http://yum.puppetlabs.com/el/5/products/x86_64/puppetlabs-release-5-6.noarch.rpm #yum install ruby.x86_64 ruby-devel.x86_64 rubygems.noarch #gem install redis ---安装ruby的redis接口
集群配置:
开启每个redis的redis cluster功能,配置如下,根据实例分配端口:
#grep -v ^# redis.conf | grep -v ^$ daemonize yes pidfile /usr/local/redis_cluster/9000/var/redis.pid port 9000 tcp-backlog 511 timeout 0 tcp-keepalive 0 loglevel notice logfile "/usr/local/redis_cluster/9000/redis.log" databases 16 stop-writes-on-bgsave-error yes rdbcompression yes rdbchecksum yes dbfilename dump.rdb dir /usr/local/redis_cluster/9000/data slave-serve-stale-data yes slave-read-only yes repl-diskless-sync no repl-diskless-sync-delay 5 repl-disable-tcp-nodelay no slave-priority 100 appendonly no appendfilename "appendonly.aof" appendfsync everysec no-appendfsync-on-rewrite no auto-aof-rewrite-percentage 100 auto-aof-rewrite-min-size 64mb aof-load-truncated yes lua-time-limit 5000 cluster-enabled yes -----开启cluster cluster-config-file nodes.conf cluster-node-timeout 5000 slowlog-log-slower-than 10000 slowlog-max-len 128 latency-monitor-threshold 0 notify-keyspace-events "" hash-max-ziplist-entries 512 hash-max-ziplist-value 64 list-max-ziplist-entries 512 list-max-ziplist-value 64 set-max-intset-entries 512 zset-max-ziplist-entries 128 zset-max-ziplist-value 64 hll-sparse-max-bytes 3000 activerehashing yes client-output-buffer-limit normal 0 0 0 client-output-buffer-limit slave 256mb 64mb 60 client-output-buffer-limit pubsub 32mb 8mb 60 hz 10 aof-rewrite-incremental-fsync yes
启动所有的redis节点:
192.168.189.144:
#/usr/local/redis_cluster/9000/bin/redis-server /usr/local/redis_cluster/9000/etc/redis.conf #/usr/local/redis_cluster/9001/bin/redis-server /usr/local/redis_cluster/9001/etc/redis.conf
192.168.189.145:
#/usr/local/redis_cluster/8000/bin/redis-server /usr/local/redis_cluster/8000/etc/redis.conf #/usr/local/redis_cluster/8001/bin/redis-server /usr/local/redis_cluster/8001/etc/redis.conf
192.168.189.146:
#/usr/local/redis_cluster/7000/bin/redis-server /usr/local/redis_cluster/7000/etc/redis.conf #/usr/local/redis_cluster/7001/bin/redis-server /usr/local/redis_cluster/7001/etc/redis.conf
启动完所有节点后,查看日志,显示如下:
找不到集群配置,这是因为还没有初始化集群。
在192.168.189.144上使用redis-trib.rb工具,创建集群:
#bin/redis-trib.rb create --replicas 1 192.168.189.144:9000 192.168.189.145:8000 192.168.189.146:7000 192.168.189.144:9001 192.168.189.145:8001 192.168.189.146:7001
(--replicas 1为每个Master指定了1个Slave,Master和Slave的角色,由输入的顺序决定)
从以上创建信息可以看到,集群自动分配出了Master和各自的Slave,并在Master之间分配了slot。集群就创建成功了。
查看集群信息(随意指定集群中的一个节点):
#bin/redis-trib.rb check 192.168.189.144:9000
#bin/redis-cli -c -h 192.168.189.144 -p 9000 cluster nodes
以上方法都可以看到集群的状态和各节点的信息。
Cluster测试:
以集群的模式,使用redis客户端连上一个Master节点,插入一些数据:
可以看到,插入数据时,数据会自动插入到不同Master节点上的slot。说明实现了分片的目的,形成了集群。
这时可以连接到集群中的另一个结点去查看之前插入的数据:
可以发现集群会自动定位到key值的位置,并跳到该redis实例去取到需要的数据。
节点的增减:
在192.168.189.144新增两个6000,6001的空实例。新增6000为集群的新的Master,6001为6000的slave。
启动新增实例:
#/usr/local/redis_cluster/6000/bin/redis-server /usr/local/redis_cluster/6000/etc/redis.conf #/usr/local/redis_cluster/6001/bin/redis-server /usr/local/redis_cluster/6001/etc/redis.conf
添加6000为Master节点:
#bin/redis-trib.rb add-node 192.168.189.144:6000 192.168.189.144:9000 (前面为新增的节点,后面为集群里已有的随意节点)
使用check命令查看集群状态,可以看到192.168.189.144:6000已经加入集群,角色为Master,没有分配slot,所以没有数据。
所以,需要给144:6000分配slot,使它能够存放数据。
#bin/redis-trib.rb reshard 192.168.189.144:6000
这里为新的节点分配了1000个slot。此命令可也可用于在线reshard。
在查看144:6000的信息,就可以看到它已有的slot了,因为试验中我选择了all当作source node,所以slot是从其他的各个Master分配过来的。一共分配了1000个。
为144:6000新增slave节点:
首先,先把144:6001节点加入集群:
#bin/redis-trib.rb add-node 192.168.189.144:6001 192.168.189.144:9000
看到新增的节点,默认的角色都是Master,若想改变它的角色,需连接到该实例,为它指定Master。
(后面加上的为144:6000的node ID)
可以看到144:6001已经变成144:6000的Slave。
删除Slave节点:
#bin/redis-trib.rb del-node 192.168.189.144:6001 '39dba7707191d350dab2ef3c47e21e21d3eaf13c'
slave节点,144:6001删除完成。
删除Master节点:
#bin/redis-trib.rb del-node 192.168.189.144:6000 '53f3ff88141bde0fcf1bb1d9cf044ea79b423f7d'
删除144:6000节点时,发现删除失败,提示说该实例不是空的。因为144:6000上还分配有slot,若删除,会导致集群slot的不完整,所以需先移除该节点上的所有slot,才能进行删除。
用reshard命令移除slot到另一个Master节点。
这时再执行删除,删除成功。
集群冗余测试:
Redis Cluster的正常状态前提是slot的完整,换句话说,只要集群的slot是完整的16384,则集群就能正常工作。
关闭一个Master:
#bin/redis-cli -h 192.168.189.146 -p 7000 shutdown
查看集群状态:
可以看到146:7000节点已经下线,它的Slave145:8001提升为Master,集群正常工作,因为slot还保持完整。
关闭145:8001:
#bin/redis-cli -h 192.168.189.145 -p 8001 shutdown
可以看到145:8001已经无法连接,且它已经没有备份了。这时集群的slot发生了不完整的情况,集群失效。
这时再尝试往集群里写数据,提示说cluster is down,即集群失效了。