Redis的大key简介与问题与解决

什么是 redis 的大 key

• redis 的大 key 不是指存储在 redis 中的某个 key 的大小超过一定的阈值，而是该 key 所对应的value 过大
• 对于 string 类型来说，一般情况下超过 10KB 则认为是大 key；对于set、zset、hash 等类型来说，一般数据超过5000条即认为是大 key

redis 大 key 的场景

• 在抖音直播中，某个头部主播当前有很多正在观看的用户，假如有这样的数据结构：
  • 直播间和观看用户之间的映射关系采用 redis 存储
  • redis 的 key 是直播间id，长度可控且很小
  • redis 的 value 是个 list，list 包含直播间里面所有用户
  • 用户可能很多，就导致 list 长度不可控

大 key 带来的问题

• redis 内存不断变大引发 OOM，或达到 maxmemory 设置值引发写阻塞或重要 key 被逐出
• redis cluster 中的某个 node 内存远超其余 node，但因 redis cluster 的数据迁移最小粒度为 key 而无法将 node 上的内存均衡化
• 大 key 上的读请求使 redis 占用服务器全部带宽，自身变慢的同时影响到该服务器上的其它服务
• 删除一个大 key 造成主库较长时间的阻塞并引发同步中断或主从切换

如何查找大 key

• 使用命令 bigkeys

  • bigkeys 是 redis 自带的命令，对整个 key 进行扫描，统计 string，list，set，zset，hash 这几个常见数据类型中每种类型里的最大的 key，会造成线程阻塞
  • string 类型统计的是 value 的字节数
  • 另外 4 种复杂结构的类型统计的是元素个数，不能直观的看出 value 占用字节数
  • bigkeys 对分析 string 类型的大 key 是有用的，复杂结构的类型还需要一些第三方工具
    .

• 使用 memory 命令查看 key 的大小(仅支持 redis 4.0 以后的版本)

  • memory usage keyname
    .

• 使用 rdb tools 工具包

  • rdbtools 是 python写的 一个第三方开源工具，用来解析 redis 快照文件
  • 除了解析 rdb 文件，还提供了统计单个 key 大小的工具
  • https://github.com/sripathikrishnan/redis-rdb-tools
    .

如何解决大 key

如何存储大 key

• 数据结构优化
  优化 redis 的数据结构，使用合适的数据结构来存储数据，避免出现 redis 大 key 的情况

• 数据分片
  将大量数据分片存储到多个 key 中，避免单个 key 的数据量过大

• 压缩数据
  对于存储的大数据，可以采用压缩算法来减少数据的大小，redis支持多种压缩算法，如 LZF、Snappy 等

• 分布式存储
  将数据分散到多个 redis 实例中，避免单个 redis 实例存储过多数据导致 redis 大 key 的问题

• 清理过期数据
  及时清理过期数据，避免数据堆积，导致 redis 大 key 的问题

如何删除大 key

• 在系统低峰期，直接使用 del 命令删除 (会造成线程阻塞)
• 使用 scan 命令删除 (会造成线程阻塞)
• 使用 unlink 异步删除