redis哨兵主备切换的数据丢失问题:异步复制、集群脑裂

redis哨兵主备切换提高redis高可用性,但是在某些情况下会出现数据丢失问题,主要是异步复制及集群脑裂导致。
异步复制导致的数据丢失:
因为master->slave的复制是异步的,所以可能有部分数据还没复制到slave,master就宕机了,此时这些部分数据就丢失了。
脑裂导致的数据丢失
脑裂,也就是说某个master所在机器突然脱离了正常的网络,跟其他slave机器不能连接,但是实际上master还运行着。此时哨兵可能认为master宕机了,然后开始选举,将其他slave切换成了master。这时候集群中就会有两个master,此为脑裂。此时虽然某个slave被切换成了master,但是可能client还没来得及切换到新的master,还继续写向旧的master的数据可能也就丢失了,因此旧master再次恢复的时候,会被作为一个slave挂到新的master上去,自己的数据会清空,重新从新的master上复制数据。
解决异步复制和脑裂导致的数据丢失
min-slaves-to-write 1
min-slaves-max-lag 10
要求至少有1个slave,数据复制和同步的延迟不能超过10秒,如果说一旦所有的slave数据复制和同步的延迟都超过了10秒,那么这个时候,master就不会再接收任何请求了。
上面两个配置可以减少异步复制和脑裂导致的数据丢失。

  1. 减少异步复制的数据丢失

有了min-slaves-max-lag这个配置,就可以确保说,一旦slave复制数据和ack延时太长,就认为可能master宕机后损失的数据太多了,那么就拒绝写请求,这样可以把master宕机时由于部分数据未同步到slave导致的数据丢失降低到可控范围内。

  1. 减少脑裂的数据丢失

如果一个master出现了脑裂,跟其他slave丢了链接,那么上面两个配置可以确保,如果不能继续给指定数量的slave发送数据,而且slave超过10秒没有给ack信息,那么就直接拒绝客户端的写请求,这样脑裂后旧master就不会接受client的新数据,也就避免了数据丢失。
上面的配置确保了如果任何一个slave丢了连接,在10秒后发现没有slave给自己ack,那么就拒绝新的写请求。因此,脑裂情况下最多丢失10秒的数据。

你可能感兴趣的:(redis,redis)