百度BDRP 分布式 redis 集群

背景简介
BDRP(baidu distributed redis platform)是包含twemproxy,redis,redis-sentinel 等多个模块开发的分布式 redis 平台。bdrp 已经在 github 上进行了开源,bdrp 的 github 项目点这里
系统架构

bdrp1

目前 redis 集群架构主要有以下几个组件: twemproxy:redis 的代理系统,可以选择多种数据分片算法 redis:集群的 redis 存储节点 sentinel:redis 官方的集群高可用组件,可以监控 redis 主节点故障,并进行主备切换
对比开源版本 twemproxy 解决方案,我们为集群添加了每个 redis 数据分片的主从架构,并且添加了 sentinel 模块,基于这些架构的拓展,我们实现了集群的高可用,数据高可靠的解决方案,集群数据读写请求分离方案。另外,针对线上的复杂应用环境,我们还未 twemproxy 增加了权限管理,流量控制(开发中)两个功能。 下面我们就分别简单介绍下这四个新添加的功能。
功能介绍
1,高可用切换
由于 twemproxy 开源版本对于集群的高可用方案只提供了自动弹出数据分片功能,因此如果应用方如果需要高可用集群的话,需要打开自动弹出功能。但是,即便是对于一致性哈希分片算法,弹出一个分片也是会造成一个分片的数据丢失的。对于数据可靠性的要求比较高的服务来说,如果丢失整个分片的数据是无法接受的。 我们基于 redis 官方的 sentinel 模块,实现了 redis 集群的节点高可用,数据高可靠方案。如上面的架构图所示,redis 集群的所有 redis 分片,都配置了对应的从库,通过 redis 主从传输进行元数据复制。同时,每个 redis 分片都会用 sentinel 进行监控,当分片的主 redis 节点故障时,sentinel 会将该分片的从节点切换成主节点。 twemproxy 和 sentinel 之前维护一个长连接,并订阅 sentinel 的主从切换事件频道。一旦 sentinel 上发生了 redis 的主从切换,twemproxy 马上就能感知到,然后调整自己的分片拓扑图,将后续的请求发送到新的主库上。 twemproxy 在每次和 sentinel 建立连接后,都会从 sentinel 拉取全量的数据分片地址信息,避免启动时的配置错误,或者运行中连接重建,丢失主从切换信息。
2,读写分离
bdrp2

对于数据量不是很大,但是请求量很大的服务来说,数据分片拆分并不是很好的解决方案,产品线通常会给数据分片配置多个只读从库,分担读请求。为了支持这种需求,我们给 twemproxy 增加了读写分离功能。 如上架构图,展示了一个 server pool 下面挂接两个数据分片,每个数据分片挂接两个只读从库的情景下的架构图。通过 redis 主从复制,给每个数据分片配置多个只读从库。Proxy 从配置中加载到分片从库信息后,在每次转发请求时,判断请求的类型,然后根据请求是否修改 redis 元数据,来决定转发到主库或者从库。对于配置了多个从库的情况,我们会对这几个从库进行 round-robin 轮询 同样的,当一个从库发生故障,proxy 会自动剔除这个从库,当全部从库都故障,proxy 会将只读请求发送到主库上。剔除故障从库之后,proxy 会定期对故障从库进行健康检查,如果从库恢复,proxy 会自动将该从库加回读请求轮询列表当中。
3,权限验证白名单
对于线上服务来说,完善的权限管理是必不可少的。但是 twemproxy 并没有提供权限验证相关的功能。我们添加了基于 IP 白名单的权限验证功能。用户可以配置某些 IP 可以拥有的权限(读 / 写),在 client 连接上来之后,proxy 会去判断 client ip 是否在白名单之内,如果在的话,会将对应权限赋予该 client 连接,否则将会强行断掉连接。当连接上的 client 发送命令过来后,会验证该 client 是否有该命令对应的权限(读 / 写),如果没有的话,该连接将会被强行关闭。
4,流量控制
twemproxy 本身支持开启多个 server_pool,后端挂接不同的 redis 数据分片。这样,单个 proxy 实例可以服务多个应用方。但是对于这种多个服务混用 proxy 的情况,twemproxy 并没有对各个应用方做流量控制。这样造成的一个问题是,可能一个应用方的请求异常突增,占用了过多的 proxy 资源,从而影响了其他的应用方的正常服务请求。 针对这种情况,我们决定开发一个基于 proxy 的 server pool 的流控。简单来说就是给每个 server pool 一定的配额,当某个应用方请求异常突增将其配额耗尽后,我们将会拒绝这个应用方的请求,从而避免该异常应用方请求影响到其他应用方。 流控功能还在设计开发当中,因而本次开源版本中并不包括这个功能。
5,其他说明
github 上面的开源方案使用的 redis 版本是 2.6.16,这个版本是没有主从数据增量重传(partial synchronization)功能的,从库宕机需要进行全量重传,造成性能抖动。因此我们 merge 了 2.8 的增量重传代码以规避此问题。
应用范围
bdrp 在百度检索系统,百度商业产品体系,LBS 产品体系等在线业务广泛应用。

你可能感兴趣的:(百度BDRP 分布式 redis 集群)