Redis大key问题

Redis大key问题

什么是big key?

bigKey的危害:


大key不仅仅是占用内存而已,如果是仅仅内存的问题 那么扩大内存就好了。禁止大key是主要是因为你操作redis,比如说读/写等操作redis的时候 会有io操作,大key会导致io操作很慢,还有说还会占用网络带宽等原因。 所以不是仅仅说因为占用内存的原因

发现big key?

redis-cli --bigkeys  可以命令统计bigkey的分布 

怎么解决bigkey?

详情看以下这个链接:

https://www.cnblogs.com/xgqfrms/p/13601959.html

redis的大key拆分:

1.拆分多个key

  1.1.可以尝试将对象分拆成几个 key-value,
  使用 multiGet 获取值,这样分拆的意义在于分拆单次操作的压力,
  将操作压力平摊到多个实例中,降低对单个实例的IO影响。

  1.2.按filed拆分多个key:对于每次需要取部分 value 的 大 key, 
  同样可以拆成几个 key-value,也可以将这些存储在一个 hash 中,
  每个 field 代表具体属性,使用 hget,hmget 来获取部分 value,
  使用 hset,hmset 来更新部分属性;

  1.3.对于 value 中存储过多元素的 key, 同样可以将这部分元素拆分;

2.存到hash中 用hget 但删除会有性能问题

redis hash和桶的结构

用偏移量存桶里,

hash算法 可以定位桶的位置
需要区分用户来源的场景:
推送违约订单需要区分来源

例子:

1.比如电柜电量大key:
解决方法拆分成多个key。———以电柜编号最后一位分散到不同key。比如电柜编号为10位,那么,尾号为1的放入一个key中,2放入另一个key中…….0放入另外的key中,因此,就分散到不同的key中,以此来解决大key的问题

删除大key?

删除操作的本质是要释放键值对占用的内存空间,不要小瞧内存的释放过程释放内存只是第一步,为了更加高效地管理内存空间,在应用程序释放内存时,操作系统需要把释放掉的内存块插入一个空闲内存块的链表,以便后续进行管理和再分配。这个过程本身需要一定时间,而且阻塞当前释放内存的应用程序。

所以,如果一下子释放了大量内存,空闲内存块链表操作时间就会增加,相应地就会造成Redis主线程的阻塞,如果主线程发生了阻塞,其他所有请求可能都会超时,超时越来越多,会造成Redis连接耗尽,产生各种异常

因此,删除大key这一动作,要非常小心

删除key的正确方式:

  1. 分批次删除

    1)hash key:通过hscan命令,每次获取500个字段,再用hdel命令

    2)set key:使用sscan命令,每次扫描集合中500个元素,再用srem命令每次删除一个元素

    3)list key:删除大的List键,未使用scan命令; 通过ltrim命令每次删除少量元素

    4)sorted set key:删除大的有序集合键,和List类似,使用sortedset自带的zremrangebyrank命令,每次删除top 100个元素

  2. 异步删除:

    Redis 4.0版本以后可以使用 UNLINK 命令,后台线程执行,释放空间

  3. 不建议采用的方式:

    1)执行rename重命名—不推荐:

    newkey如果本就存在
    redis会用key的值覆盖掉newkey的值,而newkey原本的值会被redis隐式地删除(del)。我们知道大key的删除伴随着高延迟(redis是单进程服务,服务器会在删除大key期间block住接下来其他命令的执行),这就导致时间复杂度本为 O(1) 的rename也有可能卡住redis

    另外需要注意的是:

    集群模式下,key 和newkey 需要在同一个 hash slot。key 和newkey有相同的 hash tag 才能重命名

    2)过期key删除策略—不推荐

    可能大家会有这样的想法:既然在线删除大key会造成阻塞,那么就对这个key设置一个TTL,交给redis自己去删。

    但是,不管是定期删除、惰性删除、淘汰策略这三种方式哪个触发的删除,它都是**同步的。所以就算加个TTL,redis也是同步删除的,大key还是会造成阻塞**。

你可能感兴趣的:(Redis,redis,数据库,缓存)