Redis集群环境搭建

Redis集群环境搭建

Redis主从复制

概念

主从复制是指将一台Redis服务器的数据，复制到其他的Redis服务器，前者称为主节点(master/leader)，后者称为从节点(slave/followe)；数据的复制是单向的，只能从主节点到从节点，以Master写为主，Slave以读为主。

默认情况下，每台Redis服务器都是主节点，且一个主节点可以有多个从节点，但是一个从节点只能有一个主节点。主从复制的作用主要包括：

1. 数据冗余：主从复制实现了数据的热备份，是持久化之外的一种数据冗余方式。
2. 故障恢复：当主节点出现问题时。可以由从节点提供服务，实现故障的快速恢复，实际上是一种服务的冗余
3. 负载均衡：在主从复制的基础上，配合读写分离，可以由主节点提供写服务，由从节点提供读服务，分担服务器的负载，尤其是在写多读少的情况下，通过多个节点分担负载，可以大大提高Redis服务器的并发量
4. 高可用：除了上述作用外，主从复制还是哨兵和集群能够实施的基础，因此说主从复制是Redis高可用的基础

一般来说，要将Redis运用于工程项目中，只使用一台Redis是万万不能的，原因如下：

1. 从结构上，单个Redis服务器发生单点故障，并且一台服务器需要处理所有的请求负载，压力较大
2. 从容量上，单个Redis服务器内存容量有限，就算一台Redis服务器内存容量256G，也不能将所有内存用做Redis的存储服务，一般来说，单台Redis最大使用内存不应该超过20G

一般类似于电商网站上的商品，都是一次上传，无数次浏览的，也就是读多写少。对于这种场景可以使用以下架构设计：

环境配置

# 只配置从库，不用配置主库，因为redis默认每个节点都是master
127.0.0.1:6379> info replication	#查看当前库的信息
# Replication
role:master	#角色master
connected_slaves:0	#从库数量为0
master_replid:d4486b0339829fff1d75d3b082083753834e3c55
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

复制三个配置文件，然后修改对应的信息

# 79 80 81 对应的是端口号(6379 6380 6381)
[root@VM-4-17-centos redisconfig]# cp redis.conf redis79.conf
[root@VM-4-17-centos redisconfig]# cp redis.conf redis80.conf
[root@VM-4-17-centos redisconfig]# cp redis.conf redis81.conf
[root@VM-4-17-centos redisconfig]# vim redis79.conf

#修改这些东西即可
dbfilename dump6381.rdb	#RDB文件名字
logfile "6381.log"	日志文件名
pidfile /var/run/redis_6381.pid pid文件名
port 6381	端口

# 依次启动三个服务后查看redis进程
[root@VM-4-17-centos bin]# redis-server redisconfig/redis81.conf
[root@VM-4-17-centos bin]# ps -ef | grep redis
root     29572     1  0 09:57 ?        00:00:00 redis-server 127.0.0.1:6379
root     29597     1  0 09:57 ?        00:00:00 redis-server 127.0.0.1:6380
root     29630     1  0 09:58 ?        00:00:00 redis-server 127.0.0.1:6381
root     29654 28611  0 09:58 pts/3    00:00:00 grep --color=auto redis

一主二从

默认情 况下，每台Redis服务器都是主节点，一般只要配置从节点即可

# 连接80客户端
[root@VM-4-17-centos bin]# redis-cli -p 6380
127.0.0.1:6380> ping
PONG
127.0.0.1:6380> info replication
# Replication
role:master	#主节点
connected_slaves:0
master_replid:115cb18c414d42087891ba03ae8cb29f55c4af7a
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

# 用slaveof命令进行配置
127.0.0.1:6380> SLAVEOF 127.0.0.1 6379
OK
127.0.0.1:6380> info replication
# Replication
role:slave	#从节点
master_host:127.0.0.1
master_port:6379	#主节点端口
master_link_status:up
master_last_io_seconds_ago:3
master_sync_in_progress:0
slave_repl_offset:14
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:1aa4607c8f616befc56059c548b59921c34b8eba
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:14
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:14


# 在主节点中可以查看到从节点
127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:1
slave0:ip=127.0.0.1,port=6380,state=online,offset=98,lag=0	#从节点的信息
master_replid:1aa4607c8f616befc56059c548b59921c34b8eba
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:98
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:98

这里的修改是通过命令进行主从节点的配置，服务器重启之后就会失效，一般在实际开发环境都是通过配置文件进行修改。

# 主机可以写，从机只能读不能写，主机中的所有信息和数据都会自动同步到从机
# 主机设置一个key
127.0.0.1:6379> set k1 v1
OK
# 在两个从机都能读到
127.0.0.1:6380> get k1
"v1"
127.0.0.1:6381> get k1
"v1"

# 尝试在从机设置一个key
127.0.0.1:6380> set k2 v2
(error) READONLY You can't write against a read only replica.

# 我们现在将主机断掉
127.0.0.1:6379> shutdown
not connected> exit

#然后再查看从机的信息
127.0.0.1:6380> info replication
# Replication
role:slave	#还是一个从节点(后面更新哨兵模式的时候会说到)
master_host:127.0.0.1
master_port:6379
master_link_status:down
master_last_io_seconds_ago:-1
master_sync_in_progress:0
slave_repl_offset:1172
master_link_down_since_seconds:95
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:1aa4607c8f616befc56059c548b59921c34b8eba
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:1172
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:1172

# 将一个从机断掉再重启
127.0.0.1:6380> shutdown
not connected> exit
[root@VM-4-17-centos bin]# redis-server redisconfig/redis80.conf 
[root@VM-4-17-centos bin]# redis-cli -p 6380
127.0.0.1:6380> ping
PONG
127.0.0.1:6380> info replication
# Replication
role:master	#又变成了主机，这个是因为我们没有走配置文件
connected_slaves:0
master_replid:b70f9cbf316e5b4ab8e465794538f9051d6d8c56
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

# 这个时候我们在79这个台机器上设置一个key
127.0.0.1:6379> set k2 v2
OK
# 80上拿不到，因为这时候它已不是79的从机
127.0.0.1:6380> get k2
(nil)

# 再将80设置为79的从机
127.0.0.1:6380> SLAVEOF 127.0.0.1 6379
OK
127.0.0.1:6380> info replication
# Replication
role:slave
master_host:127.0.0.1
master_port:6379
master_link_status:up
master_last_io_seconds_ago:1
master_sync_in_progress:0
slave_repl_offset:192
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:fce6232ffa0779d9479f4b13d6ce60e1cb3bd46c
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:192
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:179
repl_backlog_histlen:14
127.0.0.1:6380> get k2	#顺利拿到k2的值
"v2"

复制原理

1. Slave启动成功连接到Master后会发送一个sync命令
2. Master接到命令，后台启动存盘进程，同时收集所有收到的用于修改数据集命令，在后台进程执行完毕之后，Master将传送整个数据文件到Slave，并完成一次全量同步

这里有个复制的概念，全量复制和增量复制

全量复制：slave重启之后将master发送的数据文件加载到内存中

增量复制：Master将新的所有收集到的修改命令依次传给slave(连接到master之后进行的命令传递)

只要是重新连接master，就会进行一次全量复制