30G 的redis 如何优化

突然发现我们的redis 已经用了30G了，好吧这是个很尴尬的数字因为我们的缓存机器的内存目前是32G的，内存已经告竭。幸好上上周公司采购了90G的机器，现在已经零时迁移到其中的一台机器上了。(跑题下，90G的内存太爽了是我除了koding.com 之外第二次用到90G的机器，koding 是个好网站，在线编程IDE。) 但是随着数据量越来越大单机始终无法承受的，改造势在必行。经过初步思考我们得出了很简单的方案 概括起来就是    "内外兼修"

1.内功修炼

先从我们的应用层说起 看看redis 使用情况 ，有没有办法回收一些key ，先进入redis 服务器执行 info ,有删减

   1:  redis 127.0.0.1:6391> info

   2:  used_memory_human:35.58G   

   3:  keyspace_hits:2580207188 

   4:  db0:keys=2706740,expires=1440700

目前我们只使用了1个DB 但是key 太多了 有270W个key,已经过期的有144W。第一个想到的就是我勒个去,怎么会有这么多key ,第二个想法就是可能存在过大的key

看看能不能针对过大的key 做优化？可是遗憾的是官方并没有命令显示db 的key 大小，我们只能自己想办法了

Google 一番，发现国外友人已经写好了shell

传送门: https://gist.github.com/epicserve/5699837

可以列出每个key 大小了。可是这并不适用我们，因为我们key 太大了 执行了9个小时都没跑完，无力吐槽了。 其实还有一个选择就是用另外一个工具

传送门:https://github.com/sripathikrishnan/redis-rdb-tools

可惜这个太重了 ，不想麻烦ops ，我们就只能撩起袖子，造轮子。

把shell 代码简单看了下发件DEBUG OBJECT 是个好东西啊 ，google 下发现官网 http://redis.io/commands/object

已经有简单的调试信息了，剩下的就好处理了

   1: #coding=utf-8

<!--CRLF-->

   2: import redis

<!--CRLF-->

   3:  

<!--CRLF-->

   4: COLOR_RED = "\033[31;49;1m %s \033[31;49;0m"

<!--CRLF-->

   5:  

<!--CRLF-->

   6: COLOR_GREED = "\033[32;49;1m %s \033[39;49;0m"

<!--CRLF-->

   7:  

<!--CRLF-->

   8: COLOR_YELLOW = "\033[33;49;1m %s \033[33;49;0m"

<!--CRLF-->

   9:  

<!--CRLF-->

  10: COLOR_BLUE = "\033[34;49;1m %s \033[34;49;0m"

<!--CRLF-->

  11:  

<!--CRLF-->

  12: COLOR_PINK = "\033[35;49;1m %s \033[35;49;0m"

<!--CRLF-->

  13:  

<!--CRLF-->

  14: COLOR_GREENBLUE = "\033[36;49;1m %s \033[36;49;0m"

<!--CRLF-->

  15:  

<!--CRLF-->

  16:  

<!--CRLF-->

  17: def getHumanSize(value):

<!--CRLF-->

  18:     gb = 1024 * 1024 * 1024.0

<!--CRLF-->

  19:     mb = 1024 * 1024.0

<!--CRLF-->

  20:     kb = 1024.0

<!--CRLF-->

  21:     if value >= gb:

<!--CRLF-->

  22:         return COLOR_RED % (str(round(value / gb, 2)) + " gb")

<!--CRLF-->

  23:     elif value >= mb:

<!--CRLF-->

  24:         return COLOR_YELLOW % (str(round(value / mb, 2)) + " mb")

<!--CRLF-->

  25:     elif value >= kb:

<!--CRLF-->

  26:         return COLOR_BLUE % (str(round(value / kb, 2)) + " kb")

<!--CRLF-->

  27:     else:

<!--CRLF-->

  28:         return COLOR_GREED % (str(value) + "b")

<!--CRLF-->

  29:  

<!--CRLF-->

  30:  

<!--CRLF-->

  31: month = 3600 * 24 * 30

<!--CRLF-->

  32: result = []

<!--CRLF-->

  33: client = redis.Redis(host="XXXXX", port=XXXX)

<!--CRLF--> <!--CRLF-->

<!--CRLF-->

  36: client.info()

<!--CRLF-->

  37:  

<!--CRLF-->

  38: count = 0

<!--CRLF-->

  39: for key in client.keys('*'):

<!--CRLF-->

  40:     try:

<!--CRLF-->

  41:         count += 1

<!--CRLF-->

  42:         idleTime = client.object('idletime', key)

<!--CRLF-->

  43:         refcount = client.object('refcount', key)

<!--CRLF-->

  44:         length = client.debug_object(key)['serializedlength']

<!--CRLF-->

  45:         value = idleTime * refcount

<!--CRLF-->

  46:         print "%s key :%s , idletime : %s,refcount :%s, length : %s , humSize  :%s" % (count, key, idleTime, refcount, length, getHumanSize(length))

<!--CRLF-->

  47:     except Exception:

<!--CRLF-->

  48:         pass

<!--CRLF-->

写了个简单的python 脚本输出每个key 的大小和idle time,和refer count 。有了这么多数据结合awk 就可以很好的统计每个key 的使用情况。有一点要注意的是这个size 是key 在redis 中的大小，并非实际的大小，这个是经过redis 压缩的。经过分析之后发现不存在过大的key ,但是存在有些key 半年都没有被访问过 Orz 。

接下来就很好处理了,我们为每个key 设置的过期时间,若key 被hit 上则更新这个expire time 。这样可以逐步淘汰冷数据，达到冷热分离

 

2. 外功修炼

我们对内清理了无效的key，对外我们要做到水平扩展，单机的承载始终有限，于是我们开始了传说中的分布式改造

分布式这东西看起来很唬人做起来更唬人，幸好我们是缓存服务 CAP约束有限。 缓存服务做分布式最好的当然是一致性hash 咯。其实当我们改造完成之后，才发现官方已经准备做这个分布式的缓存体系了（流口水啊） 只是现在还在开发中 给了个备用的响当当的  Twemproxy  奈何我们已经做好了，就先用着，坐等官方测试之后再说

传送门： http://redis.io/topics/cluster-spec

我们实现了数据的平滑迁移，而且对server 的修改实现了最小影响。 因为原来是用的是phpredis 所以就扩展了下，代码可以平滑过渡。

我们自己的实现：https://github.com/trigged/redis_con_hash

其实扯了这么多就是要把redis 的数据分散开，单机的承载始终是个瓶颈，但是redis 在这方面没有Memcached 完善，不过以后会越来越好