Redis之大key问题

前言

Redis 中的大 key 是一种常见的问题，本文将就这一问题进行系统的分析及解决方案。

什么是大 key

1. string 多大（默认超过 10 k）
2. 非 string 元素过多（哈希 / 列表 / 集合 / 有序集合 且包含大量元素）

大 key 可能引发的问题

1. 超时阻塞。由于 Redis 是单线程，如果操作某个 key 用时较长，则会造成后面的请求阻塞。
2. 内存空间不均匀。例如在 Redis cluster 或者 codis 中，会造成节点的内存使用不均匀。
3. 网络拥塞。读取 bigkey 产生的网络流量较大造成网络拥塞。

如何解决

1. 设计上避免大 key 产生。最小化原则，例如 ZSet 存储榜单时只存储 Top 数据，Hash 存储结构化数据时只存储需要用到的结构等。
2. 大 key 产分为若干 sub key。大 string 拆分成若干 sub string，大拉链拆分为若干子拉链。垃圾回收和错误处理比较麻烦，需要视业务场景决定是否选用该方案。
3. 压缩。对于 string，可以直接压缩后存储；对于复杂数据结构，可以先序列化（JSON、Protobuf 等）成字节序列，再存储为 string