使用redis-rdb-tools解析reids dump.rdb文件及分析内存使用量

Oschina的编辑器依旧这么的蛋疼 ,哎写一篇文章改好多次格式问题。

redis文件中的dump.rdb文件是怎么生成的

   简而言之,dump.rdb是由Redis服务器自动生成的。
   默认情况下 每隔一段时间redis服务器程序会自动对数据库做一次遍历,把内存快照写在一个叫做“dump.rdb”的文件
里,这个持久化机制叫做SNAPSHOT。有了SNAPSHOT后,如果服务器宕机,重新启动redis服务器程序时redis会自动加载
dump.rdb,将数据库状态恢复到上一次做SNAPSHOT时的状态。
  至于多久做一次SNAPSHOT,SNAPSHOT文件的路径和文件名,你可以在redis的conf文件里指定。除了SNAPSHOT,
redis还支持AOF持久化。

ps:(自己备注)

查看方法一:使用string方法可以查看

查看方法二:如下

现在越来越多人开始使用Redis了,主要是因为它十分高效、性能强劲、扩展性好。

Rdbtools是一个解析dump.rdb文件,并生成内存报告的分析工具,对我们更好地使用Redis非常有帮助,是一个不可多得的利器。

下面,简单介绍一个使用情况:

1. 开始安装,使用pip,一个pythoner喜欢用的工具:

# /usr/local/python/bin/easy_install pip
# /usr/local/python/bin/pip install rdbtools 

注意pip的版本问题,pip为pip==1.5.6的时候,需要设置sudo easy_install requests==2.3.0,此时的python版本为2.7
后来看pip官方说在pip1.6的时候进行了修复,未测试(后续遇到了再说)

如果您想从源码安装,可以这样做,当前前提是您已有git客户端:

git clone https://github.com/sripathikrishnan/redis-rdb-tools
cd redis-rdb-tools 
sudo python setup.py install

    2. 好了,让我们来看一下如何转换dump.rdb文件为JSON格式,查看帮助:

    # /usr/local/python/bin/rdb --help 
    Usage: rdb [options] /path/to/dump.rdb
    Example : rdb --command json -k "user.*" /var/redis/6379/dump.rdb
    Options: 
    -h, --help show this help message and exit
    -c FILE, --command=FILE
    要执行的命令json 或 diff
    -f FILE, --file=FILE 输出文件名 
    -n DBS, --db=DBS 数据库ID。可以提供多个数据库。如果没有指定,包含所有数据库。 
    -k KEYS, --key=KEYS 导出键。可以是正则表达式。 
    -t TYPES, --type=TYPES 数据类型。可能的值有:string, hash, set, sortedset, list。 可以提供多个类型。如果没有指定,所有数据类型都返回。

    看了上面帮助,大概知道怎么操作了:

    # 解析并向屏幕打印输出json数据 
    rdb --command json /var/redis/6379/dump.rdb
     
    # 只输出匹配某个key的数据 
    rdb --command json --key "user.*" /var/redis/6379/dump.rdb
     
    # 只解析位于数据库ID为2且以“a”为开头的hash数据 
    rdb --command json --db 2 --type hash --key "a.*" /var/redis/6379/dump.rdb 

    3. 生成内存数据报告:

    rdb -c memory /var/redis/6379/dump.rdb > memory.csv 
    生成CSV格式的内存报告。
    包含的列有:数据库ID,数据类型,key,内存使用量(byte),编码。
    内存使用量包含key、value和其他值。
    注意:内存使用量是近似的。在一般情况下,略低于实际值。
    可以根据key或数据库ID或数据类型对报告的内容进行过滤。
    内存报告有助于检测是否是应用程序逻辑导致的内存泄露,也有助于优化reids内存使用情况。

    4. 查看某个key的内存使用情况:

    有时候,需要查询某个key所使用的内存,如果全部导出来在查找将是很愚蠢且耗时的,对于这种情景,可以使用redis-memory-for-key命令。

    redis-memory-for-key person:1 
    redis-memory-for-key -s localhost -p 6379 -a mypassword person:1 
     
    # 将会输出 : 
     
    Key "person:1" 
    Bytes 111 
    Type hash
    Encoding ziplist
    Number of Elements 2 
    Length of Largest Element 8 

    如果出现以下错误信息,请记得安装redis模块,因为redis-memory-for-key依赖redis-py包。

    Traceback (most recent call last): 
    File "/usr/local/python/bin/redis-memory-for-key", line 8, in <module> 
    load_entry_point('rdbtools==0.1.5', 'console_scripts', 'redis-memory-for-key')() 
    from redis import StrictRedis 
    ImportError: No module named redis 
    5. 比较两个dump.rdb文件:

    主要使用 --command diff 选项,并通过管道来排序。

    rdb --command diff /var/redis/6379/dump1.rdb | sort > dump1.txt
    rdb --command diff /var/redis/6379/dump2.rdb | sort > dump2.txt
    # 然后使用命令 diff 
    diff dump1.txt dump2.txt

    但如果想显示得更直观些,可以使用kdiff3,因为Kdiff3是图形化工具:

    kdiff3 dump1.txt dump2.txt 

    同样,按照官方介绍,你也可以使用解析器来分析,示例代码如下:

    import sys
    from rdbtools import RdbParser, RdbCallback 
     
    class MyCallback(RdbCallback) : 
    ''' Simple example to show how callback works.  
     See RdbCallback for all available callback methods. 
     See JsonCallback for a concrete example 
     ''' 
    def set(self, key, value, expiry): 
    print('%s = %s' % (str(key), str(value))) 
     
    def hset(self, key, field, value): 
    print('%s.%s = %s' % (str(key), str(field), str(value))) 
     
    def sadd(self, key, member): 
    print('%s has {%s}' % (str(key), str(member))) 
     
    def rpush(self, key, value) : 
    print('%s has [%s]' % (str(key), str(value))) 
     
    def zadd(self, key, score, member): 
    print('%s has {%s : %s}' % (str(key), str(member), str(score))) 
     
    callback = MyCallback() 
    parser = RdbParser(callback) 
    parser.parse('/var/redis/6379/dump.rdb') 

     参考来源

    使用redis-rdb-tools分析:http://space.wudiweb.com/phychion/blog/95
    redis-rdb-tools官方:https://github.com/sripathikrishnan/redis-rdb-tools
     
    

    redis的.rdb是什么:http://zhidao.baidu.com/link?url=PR5zyWATKdIwF2qPRtev-KheJdF_qxOtV8Dyyl0JTeCKScG4SVkFZEJm9ZhP68clDkLNiD6RdzhJ2r2tk4C_VftzzaPeGRUzM3qxNNA0Moe

你可能感兴趣的:(redis,redis-rdb-tools,rdb.rdbtools,dump.rdb)