Redis 内存持续飙高，小心监控命令monitor 惹的祸

                                             记一次因redis发生的一次线上事故

备注：我们使用的Redis是云厂商的Redis主备服务

现象：线上Redis 内存持续升高，导致监控告警

 

处理步骤：

1.    看到redis内存告警，业务操作Redis不断报错，第一印象就是业务量不断增长，使用redis场景越来越多，购买的redis内存不够了(一开始我们购买的是4G)，所以第一操作就是扩大redis内存，当时我们直接扩大到了16G。 扩大到16G后，业务操作redis错误逐渐恢复，但是内存还是持续增高，过了半个小时错误又重新上演
2.    眼睁睁看着redis内存持续飙高，扩大内存是没用了，团队的人都在发慌了，紧张中又开始了继续的定位，当时怀疑是代码的bug，死循环操作redis， 开始使用Redis的操作监控命令打印redis操作日志，找到了操作最频繁的命令。开始把操作最频繁的命令的服务停掉，但是还是无济于事，应用继续报错。。。。。。。。。
3.   实在不行开始求救，我们找了云厂商，云厂商技术定位一段时间后发现无异常操作，也没有异常流量。当时很无语
4.   眼睁睁看着业务全部受影响，当时决定redis缓存全部清空重建，清理了一段时间后发现刚清理又增长上来了，最后只能redis重建，重建后一切正常，前前后后花了三四个小时。
5.   恢复了不能到此结束啊，还是要继续定位知道坑在哪里啊 ？所以还是继续找，实在看不出代码漏洞，就去度娘了一下，有困难找百度，果然找到了美团发的一篇帖子，同样的现象。  Monitor 命令惹的祸。
6. 究竟咋回事呢？看看美团发的帖子，真的是大坑啊