Redis主从复制原理

Redis主从复制

一、什么是主从复制

主从复制是指用户可以搭建多个服务器，其中几个服务器当做主服务器，提供写功能。其余的服务器当做从服务器，提供读功能。每当主服务器收到写请求时，同时需要把数据发送给从服务器。保证主从服务器的数据保持最终一致性。利用这个机制，可以利用廉价的服务器搭建高可用，高并发集群。主从复制是搭建高可用集群的必备利器。

二、Redis怎么实现主从复制

2.1 slaveof

在Redis中可以使用slaveof命令让一个Redis实例去复制另一个Redis实例的内容。这里需要注意当A实例执行该命令去复制B实例的内容后，以前A实例的内容都将被B实例的内容覆盖。同时在从服务器将被设置为只读，向从服务器发送写命令时，将被拒绝。（也可以在redis.conf中配置该命令，启动时就发起主从同步）

2.2 主从复制的原理V1

当从服务器发起slaveof命令后，主从服务器之间通过TCP长连接进行通信，主要是以下步骤：

image-redis-master-slave-slaveof.png

第一次完整的主从同步就完成了。然后主从之间会维持TCP连接，每次master收到新的写命令后，都会发给从服务器。

如果期间连接断了，当从服务器重新连上主服务器后，上述的步骤会重新来一遍。可以发现这是很低效的，因为主服务器只需要把断连期间的写入命令发给从服务器就可以了，不需要重新生成RDB文件。（生成RDB文件是一个耗时操作，设计磁盘的读写）。

注意：从服务器在加载RDB文件过程中是阻塞的，无法处理客户端的请求。

2.3 主从复制的原理V2

基于上述原因（特别是断线时间特别短时），Redis推出了新的同步命令psync。

psync将同步过程分为了两块：1、完整同步；2、部分同步。

完整同步也叫初次同步，也就是第一次主从同步。步骤跟v1上述是一致的。

部分同步主要用户断线重连后的同步，它可以将断线期间的写入命令发送给从服务器，而不需要整个RDB文件，极大的节约了资源。当从服务器重新连接了主服务器后，会发送psync命令，然后主服务器回复continue命名，并且发送缺少的写入命令到从服务器。

2.3.1 部分同步原理

redis完成部分同步功能主要依赖于以下部分：

1、主服务器的复制偏移量

2、从服务器的复制偏移量

3、命令缓存区（FIFO队列，默认大小1MB）

4、服务器运行Id

每次主服务器向从服务器传递N个字节命令后，就在把自己的偏移量+N。从服务器同理。同时主服务器还会将命令写入到命令缓存区里。当从服务器重连是发生如下步骤：

image-psync命令.png

每个Redis都有自己的唯一标识Id。在启动时自动生成，由40个随机的十六进制字符组成。当发送第一次主从同步时，master会将自己的id发送会从服务器，从服务器会将其保存起来。断线重连时，从服务器请求同步时还会将这个id发送给主服务器，主服务器判断该id与自己的id是否一致，如果一致则继续执行部分同步的剩余步骤。否则执行完整同步。

2.4 心跳检测

主从服务器建立连接后，默认每隔1秒，从服务器会想主服务器发送REPLCONF_ACK 报告自己的状态。

主服务器可以从这个命令中检测出几个问题：

1、主从之间的网络连接状态

​ 如果主服务器在规则时间内没有收到从服务器的心跳命令，就可以认为主从之间出现了问题。这个时候如果配置了

min-slaves-to-write 3
min-slaves-max-lag 10

//如果从服务器数小于3或者3个服务器的心跳检测延迟值都大于等于10秒，主服务器将拒绝写命令

2、检测新的写命令是否丢失

​ 每次主服务器收到从服务器心跳命令里的offset时，都会与自己的offset进行比较，如果小于自己的。那么可以知道某次传递的写命令在网络上丢失或者从服务器加载失败，这个时候主服务器会主动将这部分缺少的命令发送给从服务器（需要缺失命令还在缓存区，如果不在猜测应该是发起一次完整同步，未验证过）。

3、辅助实现min-slaves

2.5 备注

主从服务器建立套接字连接后，从服务器首先会发起Ping命令检测套接字的读写是否正常。收到主服务器的Pong命令后证明正常。然后在判断主服务器是否需要身份认证，发起密码。然后进行复制流程。