唯品会多线程Redis设计与实现

声明：本文来自京东张开涛的微信公众号（kaitao-1234567），授权CSDN转载，如需转载请联系作者。
作者：申政，开源爱好者，唯品会高级DBA，主要负责Redis相关领域的源码研究和研发工作。
责编：钱曙光，关注架构和算法领域，寻求报道或者投稿请发邮件[email protected]，另有「CSDN 高级架构师群」，内有诸多知名互联网公司的大牛架构师，欢迎架构师加微信qshuguang2008申请入群，备注姓名+公司+职位。

本文将向大家分享下我们正在开发的多线程Redis。在我们的Redis使用中，发现了一些痛点问题，涉及到了Redis框架的设计。

我们线上有大量的Redis实例在运行，规模比较庞大，有些Redis集群实例规模超过100+，我们开始对Redis进行了多线程版本的改造，就是我们现在正在开发的产品Vire。

这是Vire的一个现状，分几个阶段进行开发，现在是0.1.0版本。

以上是Vire 0.1.0的一些设计思路。下面说说具体实现：

这是Vire的多线程模型，借鉴于memcached，master+worker线程模型。

这个图比较直观的反映了线程模型的工作原理，多线程不可避免会用到锁，以下是Vire的锁机制：

这里有个逻辑DB的概念，其实就是把多个Redis DB伪装成一个DB提供给用户。DB级别的锁，会不会性能很差呢？后续会有测试报告给出。

用户使用的所有key，是通过key的Hash值被分散到了各个物理DB上，目的就是降低DB锁的竞争提升QPS，可以通过info命令看到物理db中key的分布：

下面来看下成功执行一个Redis命令要走的流程：

我们的DB锁是在哪一步使用呢？

有可能用到DB锁的步骤就是红框中的两步，但像ping这样命令，在整个过程中是用不到DB锁的，可以看出，Worker线程在一部分时间是完全并行执行的，关于Vire中的后台线程：

Worker线程专注于处理客户端的请求，杂活累活有backend线程来做，backend线程在Vire后续版本中，会发挥更重要的作用。

这里是Vire代码内部对object的处理，这里会有些性能退化。

这是Vire对多key命令的一些特殊处理，死锁的问题，导致个别Redis命令在Vire中暂时无法实现。

Vire中增加了一些权限管理，Vire增加了管理员的角色，保证了一些危险命令不被开发执行。

下面说说Vire的测试：

这里着重说说abtest和性能测试，为了保证Vire的命令执行起来与Redis一模一样，我们开发了abtest测试框架。详细说说abtest框架中各模块的作用：

这个测试框架有效的帮我们发现了一些bug，以下是性能测试：

我们的目标就是性能接近或跟mc一样，以下是hotkey测试：

hotkey的效果还不错。

Q&A

1. Q：客户端需要换吗？
   A：客户端兼容，无需更换，使用起来跟原生redis一样

2. Q：Worker和DB的关系是什么？
   A：Worker和DB没有关系, client是数据Worker线程的, DB是完全独立的

3. Q：后期主备会支持吗？
   A：以后会支持主备，集群和脚本等高级功能

4. Q：有没有想过把锁降低至key级别?
   A：没必要key级别的锁

5. Q：死锁问题为何不通过顺序锁定相关DB来解决呢，我们的Redis是分布式锁，通过按统一的顺序锁定，就可以避免死锁
   A：锁的数量会太多，你说的这个死锁问题很好，有这样的想法，但还没有时间去验证可不可行，以后可以尝试。

6. Q：Vire和Redis-cluster比起来哪个性能更好？
   A：Redis-cluster是集群模式，Vire是单实例，没办法比较性能，Vire最后一个版本希望能支持到集群

7. Q：给我的理解Vire的多个逻辑DB的设计原理和Redis-cluster里多个分片原理是一样吧？
   A：非常类似, 只不过Redis-cluster里的slot是海量的，16384

8. Q：现在Redis-cluster的解决方案是客户端自己计算slot的位置，可以通过根据操作的读写类型，实现负载均衡，Vire采取的多DB+多Worker的方案，他这样的优势在哪里？
   A：主要是提升单个实例的QPS能力

9. Q：现在的设计是全部基于内存上的？服务器宕机是不是数据全都会消失
   A：Vire0.1.0版本数据全部在内存，只适合于做缓存, Vire后续版本会做持久化和复制，甚至是集群

---

2016年9月22日-23日，[SDCC 2016大数据技术&架构实战峰会](http://bss.csdn.net/m/topic/sdcc_invite/hangzhou /)将在杭州举行，两场峰会大牛讲师来自阿里、京东、苏宁、唯品会、美团点评、游族、饿了么、有赞、Echo等知名互联网公司，共同探讨海量数据下的应用监控系统建设、异常检测的算法和实现、大数据基础架构实践、敏捷型数据平台的构建及应用、音频分析的机器学习算法应用，以及高可用/高并发/高性能系统架构设计、电商架构、分布式架构等话题与技术。
9月5日~18日是八折优惠票价阶段，5人以上团购或者购买两场峰会通票更有特惠，限时折扣，预购从速。（票务详情链接）。