redis分布式集群
搭建一个redis 分布式集群，机器有限，采用不同端口，使用版本 redis-5.0.8
服务器
模拟了7台服器，3个主节点4个从节点。6台服务器比较好，3主3从，多建了一台。
| ip |
|---|
| 127.0.0.1:6390 |
| 127.0.0.1:6391 |
| 127.0.0.1:6392 |
| 127.0.0.1:6393 |
| 127.0.0.1:6394 |
| 127.0.0.1:6395 |
| 127.0.0.1:63906 |
3个主从节点构成分布式，单个主从节点内部高可用，每个单节点数据只有一部分，整个集群数据是完整的
环境搭建
- 配置
redis.conf配置如下
# 修改为yes
daemonize yes
#数据存储目录
dir /root/redis-cluster/6390/data
# 修改为 0.0.0.0
bind 127.0.0.1
# 密码配置，可忽略
requirepass ikamg
masterauth ikang
port 6390
pidfile /var/run/redis_6390.pid
# 开启集群模式
cluster-enabled yes
# 每个集群节点都需要一个配置文件，每个节点处于集群中的角色要告知其他所有节点，这个文件是由redis自己维护的，只需要进行配置即可
cluster-config-file nodes-6390.conf
# 超时时间，超时则认为master宕机，随后进行主备切换
cluster-node-timeout 5000
# 开启AOF
appendonly yes
配置6份配置文件
- 启动脚本
start-redis.sh
redis-server /root/redis-cluster/6390/redis.conf
redis-server /root/redis-cluster/6391/redis.conf
redis-server /root/redis-cluster/6392/redis.conf
redis-server /root/redis-cluster/6393/redis.conf
redis-server /root/redis-cluster/6394/redis.conf
redis-server /root/redis-cluster/6395/redis.conf
redis-server /root/redis-cluster/6396/redis.conf
- 启动
./start-redis.sh
启动成功
- 创建集群
Redis 3.x创建分布式集群需要在一个ruby的环境下，在Redis的src目录下执行：redis-trib.rbn， 此处使用 Redis 5.0,不需要ruby 环境，使用
redis-cli cluster即可
redis-cli --cluster create 127.0.0.1:6390 127.0.0.1:6391 127.0.0.1:6392 127.0.0.1:6393 127.0.0.1:6394 127.0.0.1:6395 127.0.0.1:6396 --cluster-replicas 1
创建成功，槽位全部分配，平均分配，主从关系已确定
redis 槽位
- 槽位一共16384个，用来存储集群中所有数据，数据存储位置是由
hash(key)%16384计算结果就是存储的槽位- 槽位必须保证完整，副本没有槽位的，当主挂点后副本变为从，主槽位归副本所有
- 如果主挂掉，且没有可用副本，此时槽位不完整，集群不可用
- 超过半数以上主挂掉，不管副本是否完整，集群不可用
- 槽位分布
M: c6a0f6579d032c3655977adbbe155cf2c35501ee 127.0.0.1:6390
slots:[0-16383] (5461 slots) master
M: 8f1b48b38e31072db126c18385638b088b21fcf2 127.0.0.1:6391
slots:[5461-10922] (5462 slots) master
M: 277b33cdad19aebd54c789dbe00f1037f111fa07 127.0.0.1:6392
slots:[10923-16383] (5461 slots) master
S: d331b6fff4b31901b6d865d9115c762cee195db7 127.0.0.1:6393
replicates 277b33cdad19aebd54c789dbe00f1037f111fa07
S: 36c40c11bc07994eb522311050fdea8351135e11 127.0.0.1:6394
replicates c6a0f6579d032c3655977adbbe155cf2c35501ee
S: 7948767ef8358d9f1e7094936e7f33e5201d5a48 127.0.0.1:6395
replicates c6a0f6579d032c3655977adbbe155cf2c35501ee
S: 4dec11e45d58d9533b5ab2af7f3a3ff295290cd0 127.0.0.1:6396
replicates 8f1b48b38e31072db126c18385638b088b21fcf2
- 数据存取
127.0.0.1:6390> set a 1
-> Redirected to slot [15495] located at 127.0.0.1:6392
OK
127.0.0.1:6392> set b 2
-> Redirected to slot [3300] located at 127.0.0.1:6390
OK
127.0.0.1:6390> set c 3
-> Redirected to slot [7365] located at 127.0.0.1:6391
OK
127.0.0.1:6391>
127.0.0.1:6391> get a
-> Redirected to slot [15495] located at 127.0.0.1:6392
"1"
127.0.0.1:6392> get b
-> Redirected to slot [3300] located at 127.0.0.1:6390
"2"
127.0.0.1:6390> get c
-> Redirected to slot [7365] located at 127.0.0.1:6391
"3"
127.0.0.1:6391>
- 写入a=1时：被存储到第 15495槽位，127.0.0.1:6392 slots:[10923-16383]， 被存储在 6392上，查询时也是从6392 查询
- 集群没有数据库概念，select 失效，keys * 只能查看登陆节点信息
节点扩容
新增 6380、6381 两个节点，6380为主节点，6381为从
- 新建主节点
- 分配槽位
- 配置主节点
- 新增节点
# 127.0.0.1:6380 任意一个新增节点
# 127.0.0.1:6390 任意一个可用节点
redis-cli --cluster add-node 127.0.0.1:6380 127.0.0.1:6390 cluster nodes
- 分配槽位
#按照节点分配，从那些节点分出一部分槽点给新建节点
redis-cli --cluster reshard 127.0.0.1:6390 --cluster-from c6a0f6579d032c3655977adbbe155cf2c35501ee, 277b33cdad19aebd54c789dbe00f1037f111fa07, 8f1b48b38e31072db126c18385638b088b21fcf2 --cluster-to 99f55dfe4bd4e621760efa79089b51519ae4474d --cluster-slots 4096 --cluster-yes
# 另一种分配方式， 将原有的所有slot进行总量分配
redis-cli --cluster reshard 127.0.0.1:6390 --cluster-from all --cluster-to ac9a38f82c78b7c6f283e1f05c08c8c32726d7dd --cluster-slots 4096 --cluster-yes
- 新增节点分配主节点
redis-cli --cluster add-node 127.0.0.1:6381 127.0.0.1:6390 --cluster-slave --cluster-master-id 99f55dfe4bd4e621760efa79089b51519ae4474d
分配成功
节点缩容
集群新增了 6380，6381 两个节点，把两个节点删除，
- 先删除从节点6381
- 转移主节点槽位
- 删除主节点6380
- 删除从节点
# 登陆任意节点 127.0.0.1:6390
redis-cli --cluster del-node 127.0.0.1:6390 e1b0e6fdd23a0ef776cc0893d9bc44adeb1fe5f7
- 转移槽位
# 转移到其他节点--cluster-from 从哪里转，--cluster-to 到哪 --cluster-slots 槽位个数
redis-cli --cluster reshard 127.0.0.1:6390 --cluster-from 99f55dfe4bd4e621760efa79089b51519ae4474d --cluster-to 277b33cdad19aebd54c789dbe00f1037f111fa07 --cluster-slots 1365 --cluster-yes
redis-cli --cluster reshard 127.0.0.1:6390 --cluster-from 99f55dfe4bd4e621760efa79089b51519ae4474d --cluster-to c6a0f6579d032c3655977adbbe155cf2c35501ee --cluster-slots 1365 --cluster-yes
redis-cli --cluster reshard 127.0.0.1:6390 --cluster-from 99f55dfe4bd4e621760efa79089b51519ae4474d --cluster-to 8f1b48b38e31072db126c18385638b088b21fcf2 --cluster-slots 1365 --cluster-yes
- 删除主节点
redis-cli --cluster del-node 127.0.0.1:6390 99f55dfe4bd4e621760efa79089b51519ae4474d
删除成功
集群写操作
- 客户端向主节点6390写入数据
- 主节点6390 写入成功后向客户端返回写入成功
- 主节点6390 先从节点同步数据
从上面过程得知，redis集群，保证了AP，数据是弱一致性，强调最终一致性，可能会导致数据丢失。集群内部出现脑裂时，导致数据丢失。
总结
- 每个主节点必须要有一个从节点，槽位分布在主节点的，如果一旦启动一个主节点崩溃，槽位丢失，数据不完整，导致服务不可用
- 数据存储，根据key 的哈希值与槽位取模存储到不同槽位
- 集群创建后，自动分配槽位。