Redis大key问题

Redis大key问题

什么是big key？

bigKey的危害：

大key不仅仅是占用内存而已，如果是仅仅内存的问题 那么扩大内存就好了。禁止大key是主要是因为你操作redis，比如说读/写等操作redis的时候 会有io操作，大key会导致io操作很慢，还有说还会占用网络带宽等原因。 所以不是仅仅说因为占用内存的原因

发现big key?

redis-cli --bigkeys  可以命令统计bigkey的分布 

怎么解决bigkey？

详情看以下这个链接：

https://www.cnblogs.com/xgqfrms/p/13601959.html

redis的大key拆分：

1.拆分多个key：

  1.1.可以尝试将对象分拆成几个 key-value，
  使用 multiGet 获取值，这样分拆的意义在于分拆单次操作的压力，
  将操作压力平摊到多个实例中，降低对单个实例的IO影响。

  1.2.按filed拆分多个key：对于每次需要取部分 value 的 大 key, 
  同样可以拆成几个 key-value，也可以将这些存储在一个 hash 中，
  每个 field 代表具体属性，使用 hget，hmget 来获取部分 value，
  使用 hset，hmset 来更新部分属性;

  1.3.对于 value 中存储过多元素的 key, 同样可以将这部分元素拆分;

2.存到hash中 用hget 但删除会有性能问题

redis hash和桶的结构

用偏移量存桶里，

hash算法 可以定位桶的位置
需要区分用户来源的场景：
推送违约订单需要区分来源

例子：

1.比如电柜电量大key：
解决方法：拆分成多个key。———以电柜编号最后一位分散到不同key。比如电柜编号为10位，那么，尾号为1的放入一个key中，2放入另一个key中…….0放入另外的key中，因此，就分散到不同的key中，以此来解决大key的问题。

删除大key？

删除操作的本质是要释放键值对占用的内存空间，不要小瞧内存的释放过程。释放内存只是第一步，为了更加高效地管理内存空间，在应用程序释放内存时，操作系统需要把释放掉的内存块插入一个空闲内存块的链表，以便后续进行管理和再分配。这个过程本身需要一定时间，而且阻塞当前释放内存的应用程序。

所以，如果一下子释放了大量内存，空闲内存块链表操作时间就会增加，相应地就会造成Redis主线程的阻塞，如果主线程发生了阻塞，其他所有请求可能都会超时，超时越来越多，会造成Redis连接耗尽，产生各种异常。

因此，删除大key这一动作，要非常小心。

删除key的正确方式：

1. 分批次删除：

   1）hash key:通过hscan命令，每次获取500个字段，再用hdel命令；

   2）set key:使用sscan命令，每次扫描集合中500个元素，再用srem命令每次删除一个元素；

   3）list key:删除大的List键，未使用scan命令； 通过ltrim命令每次删除少量元素。

   4）sorted set key:删除大的有序集合键，和List类似，使用sortedset自带的zremrangebyrank命令,每次删除top 100个元素。

2. 异步删除:

   Redis 4.0版本以后可以使用 UNLINK 命令，后台线程执行，释放空间

3. 不建议采用的方式:

   1）执行rename重命名—不推荐:

   newkey如果本就存在：
   redis会用key的值覆盖掉newkey的值，而newkey原本的值会被redis隐式地删除（del）。我们知道大key的删除伴随着高延迟（redis是单进程服务，服务器会在删除大key期间block住接下来其他命令的执行），这就导致时间复杂度本为 O(1) 的rename也有可能卡住redis。

   另外需要注意的是：

   在集群模式下，key 和newkey 需要在同一个 hash slot。key 和newkey有相同的 hash tag 才能重命名。

   2）过期key删除策略—不推荐

   可能大家会有这样的想法：既然在线删除大key会造成阻塞，那么就对这个key设置一个TTL，交给redis自己去删。

   但是，不管是定期删除、惰性删除、淘汰策略这三种方式哪个触发的删除，它都是**同步的。所以就算加个TTL，redis也是同步删除的，大key还是会造成阻塞**。