Redis的大key简介与问题与解决

Redis的大key简介与问题与解决_第1张图片

什么是 redis 的大 key

  • redis 的大 key 不是指存储在 redis 中的某个 key 的大小超过一定的阈值,而是该 key 所对应的value 过大
  • 对于 string 类型来说,一般情况下超过 10KB 则认为是大 key;对于set、zset、hash 等类型来说,一般数据超过5000条即认为是大 key

redis 大 key 的场景

  • 在抖音直播中,某个头部主播当前有很多正在观看的用户,假如有这样的数据结构:
    • 直播间和观看用户之间的映射关系采用 redis 存储
    • redis 的 key 是直播间id,长度可控且很小
    • redis 的 value 是个 list,list 包含直播间里面所有用户
    • 用户可能很多,就导致 list 长度不可控

大 key 带来的问题

  • redis 内存不断变大引发 OOM,或达到 maxmemory 设置值引发写阻塞或重要 key 被逐出
  • redis cluster 中的某个 node 内存远超其余 node,但因 redis cluster 的数据迁移最小粒度为 key 而无法将 node 上的内存均衡化
  • 大 key 上的读请求使 redis 占用服务器全部带宽,自身变慢的同时影响到该服务器上的其它服务
  • 删除一个大 key 造成主库较长时间的阻塞并引发同步中断或主从切换

如何查找大 key

  • 使用命令 bigkeys

    • bigkeys 是 redis 自带的命令,对整个 key 进行扫描,统计 string,list,set,zset,hash 这几个常见数据类型中每种类型里的最大的 key,会造成线程阻塞
    • string 类型统计的是 value 的字节数
    • 另外 4 种复杂结构的类型统计的是元素个数,不能直观的看出 value 占用字节数
    • bigkeys 对分析 string 类型的大 key 是有用的,复杂结构的类型还需要一些第三方工具
      .
  • 使用 memory 命令查看 key 的大小(仅支持 redis 4.0 以后的版本)

    • memory usage keyname
      .
  • 使用 rdb tools 工具包

    • rdbtools 是 python写的 一个第三方开源工具,用来解析 redis 快照文件
    • 除了解析 rdb 文件,还提供了统计单个 key 大小的工具
    • https://github.com/sripathikrishnan/redis-rdb-tools
      .

如何解决大 key

如何存储大 key

  • 数据结构优化
    优化 redis 的数据结构,使用合适的数据结构来存储数据,避免出现 redis 大 key 的情况

  • 数据分片
    将大量数据分片存储到多个 key 中,避免单个 key 的数据量过大

  • 压缩数据
    对于存储的大数据,可以采用压缩算法来减少数据的大小,redis支持多种压缩算法,如 LZF、Snappy 等

  • 分布式存储
    将数据分散到多个 redis 实例中,避免单个 redis 实例存储过多数据导致 redis 大 key 的问题

  • 清理过期数据
    及时清理过期数据,避免数据堆积,导致 redis 大 key 的问题

如何删除大 key

  • 在系统低峰期,直接使用 del 命令删除 (会造成线程阻塞)
  • 使用 scan 命令删除 (会造成线程阻塞)
  • 使用 unlink 异步删除

你可能感兴趣的:(后端,数据库,Redis,redis,数据库,缓存)