Redis Cluster机器内存充爆处理

机器配置

系统：CentOS6.7
配置：4C8G
应用：Redis Cluster，实例化

现象

1、无法启动redis，启动后系统OOM，直接杀死
2、Redis: OOM command not allowed when used memory > ‘maxmemory’

原因

内存已满，不允许数据在写入

注：
used_memory_human表示已用内存
used_memory_rss表示系统给redis分配的内存（即常驻内存）
mem_fragmentation_ratio=used_memory_rss/used_memory比例，一般情况下，used_memory_rss略高于used_memory，当内存碎片较多时，则mem_fragmentation_ratio会较大，可以反映内存碎片是否很多

解决过程

1、首先查看redis的内存使用，如上图。可以看到已用内存5G多，常驻内存3.8G多。而我们的机器内存只有8G可用。明显内存已经充爆。接下来想到的就应该是key的量太大了还是value的量太大了。
2、找出redis中的key。

  
  
  
  

   
   
   
   
###查看key的个数(最好是把key拿出来分析)
   
   
   
   
keys *
   
   
   
   
echo "keys *" |/usr/local/redis/bin/redis-cli -p 6381 > /tmp/6381.log
  
  
  
  

3、分析发现key中有650000的common:order:LogCacheKey这样的key，接下来我们需要确认下这些key的大小

  
  
  
  

   
   
   
   
###查看key大小的命令
   
   
   
   
debug object
   
   
   
   
echo 'debug object "common:order:LogCacheKey90bef863-dfc7-4739-8404-9b6624a70196"' |/usr/local/redis/bin/redis-cli -p 6381
  
  
  
  

4、分析发现common:order:LogCacheKey所占用的内存为3G左右。因此找到元凶为这个key所导致的。
5、清理key

  
  
  
  

   
   
   
   
for i in `grep common:order:Log 6381.log`;do echo "del $i" |/usr/local/redis/bin/redis-cli -p 6381; done
  
  
  
  

6、key已经找到删除，现在要查找是哪个应用产生的。
因为开发人员没在，那从运维角度，我是从网络流量来分析的，使用iftop

根据流量大小，找到对应的主机，联系到开发人员确认。

小技巧

如果key少的话，可以直接取出每个key对应的value的大小，按照从大到小的顺序排序

  
  
  
  

   
   
   
   
 for i in `cat /tmp/6379.log`;do echo -n "$i   "; echo "debug object $i"|/usr/local/redis/bin/redis-cli -p 6379|awk -F '[ |:]+' '{print $9}';done|sort -r -n -k2
  
  
  
  

总结

1、问题发生后，用最快最简单的方式先把问题解决。减少影响的时间。比如升级扩大内存。
2、此次遇到的问题是在测试环境，如果确认redis中数据可以清除，可以使用暴力的方式直接清空本地的实例化文件，将内存释放出来。但是生产环境切不可进行此操作。