redis参考文档

本文为之前整理的关于redis的文档，放到博客上一份，也方便我以后查阅。

redis简介

Redis是一个开源的、高性能的、基于键值对的缓存与存储系统， 通过提供多种键值数据类型来适应不同场景下的缓存与存储需求。 同时 Redis 的诸多高层级功能使其可以胜任消息队列、任务队列等不同的角色。

官方网站：http://redis.io/

开发语言：C

redis安装及配置

安装

wget http://download.redis.io/releases/redis-3.0.7.tar.gz
tar zxvf redis-3.0.7.tar.gz
cd redis-3.0.7/
make
make install

安装后，在/usr/local/bin下面有如下文件：

redis-server     服务器
redis-cli        命令行客户端
redis-benchmark  性能测试工具
redis-check-aof  AOF文件修复工具
redis-check-dump RDB文件检查工具

启动

不指定配置文件启动，在控制台执行：redis-server

指定配置文件启动，需要加上参数：redis-server /etc/myredis.conf

指定端口启动：redis-server –port 6379

以salve方式启动：redis-server –port 6380 –slaveof 127.0.0.1 6379

可以使用redis自带的redis-cli作为客户端连接服务器

配置

1. Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程

   daemonize no

2. 当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定

   pidfile /var/run/redis.pid

3. 指定Redis监听端口，默认端口为6379，作者在自己的一篇博文中解释了为什么选用6379作为默认端口，因为6379在手机按键上MERZ对应的号码，而MERZ取自意大利歌女Alessia Merz的名字

   port 6379

4. 绑定的主机地址

   bind 127.0.0.1

5. 当客户端闲置多长时间后关闭连接，如果指定为0，表示关闭该功能

   timeout 300

6. 指定日志记录级别，Redis总共支持四个级别：debug、verbose、notice、warning，默认为verbose

   loglevel verbose

7. 日志记录方式，默认为标准输出，如果配置Redis为守护进程方式运行，而这里又配置为日志记录方式为标准输出，则日志将会发送给/dev/null

   logfile stdout

8. 设置数据库的数量，默认数据库为0，可以使用SELECT <dbid>命令在连接上指定数据库id

   databases 16

9. 指定在多长时间内，有多少次更新操作，就将数据同步到数据文件，可以多个条件配合

   save <seconds> <changes>

   Redis默认配置文件中提供了三个条件：

   save 900 1

   save 300 10

   save 60 10000

   分别表示900秒（15分钟）内有1个更改，300秒（5分钟）内有10个更改以及60秒内有10000个更改。

10. 指定存储至本地数据库时是否压缩数据，默认为yes，Redis采用LZF压缩，如果为了节省CPU时间，可以关闭该选项，但会导致数据库文件变的巨大

    rdbcompression yes

11. 指定本地数据库文件名，默认值为dump.rdb

    dbfilename dump.rdb

12. 指定本地数据库存放目录

    dir ./

13. 设置当本机为slav服务时，设置master服务的IP地址及端口，在Redis启动时，它会自动从master进行数据同步

    slaveof <masterip> <masterport>

14. 当master服务设置了密码保护时，slav服务连接master的密码

    masterauth <master-password>

15. 设置Redis连接密码，如果配置了连接密码，客户端在连接Redis时需要通过AUTH <password>命令提供密码，默认关闭

    requirepass foobared

16. 设置同一时间最大客户端连接数，默认无限制，Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数，如果设置 maxclients 0，表示不作限制。当客户端连接数到达限制时，Redis会关闭新的连接并向客户端返回max number of clients reached错误信息

    maxclients 128

17. 指定Redis最大内存限制，Redis在启动时会把数据加载到内存中，达到最大内存后，Redis会先尝试清除已到期或即将到期的Key，当此方法处理 后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可以进行读取操作。Redis新的vm机制，会把Key存放内存，Value会存放在swap区

    maxmemory <bytes>

18. 指定是否在每次更新操作后进行日志记录，Redis在默认情况下是异步的把数据写入磁盘，如果不开启，可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的，所以有的数据会在一段时间内只存在于内存中。默认为no

    appendonly no

19. 指定更新日志文件名，默认为appendonly.aof

    appendfilename appendonly.aof

20. 指定更新日志条件，共有3个可选值： no：表示等操作系统进行数据缓存同步到磁盘（快） always：表示每次更新操作后手动调用fsync()将数据写到磁盘（慢，安全） everysec：表示每秒同步一次（折衷，默认值）

    appendfsync everysec

21. 指定是否启用虚拟内存机制，默认值为no，简单的介绍一下，VM机制将数据分页存放，由Redis将访问量较少的页即冷数据swap到磁盘上，访问多的页面由磁盘自动换出到内存中（在后面的文章我会仔细分析Redis的VM机制）

    vm-enabled no

22. 虚拟内存文件路径，默认值为/tmp/redis.swap，不可多个Redis实例共享

    vm-swap-file /tmp/redis.swap

23. 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据 就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0

    vm-max-memory 0

24. Redis swap文件分成了很多的page，一个对象可以保存在多个page上面，但一个page上不能被多个对象共享，vm-page-size是要根据存储的 数据大小来设定的，作者建议如果存储很多小对象，page大小最好设置为32或者64bytes；如果存储很大大对象，则可以使用更大的page，如果不 确定，就使用默认值

    vm-page-size 32

25. 设置swap文件中的page数量，由于页表（一种表示页面空闲或使用的bitmap）是在放在内存中的，，在磁盘上每8个pages将消耗1byte的内存。

    vm-pages 134217728

26. 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的，可能会造成比较长时间的延迟。默认值为4

    vm-max-threads 4

27. 设置在向客户端应答时，是否把较小的包合并为一个包发送，默认为开启

    glueoutputbuf yes

28. 指定在超过一定的数量或者最大的元素超过某一临界值时，采用一种特殊的哈希算法

    hash-max-zipmap-entries 64

    hash-max-zipmap-value 512

29. 指定是否激活重置哈希，默认为开启（后面在介绍Redis的哈希算法时具体介绍）

    activerehashing yes

30. 指定包含其它的配置文件，可以在同一主机上多个Redis实例之间使用同一份配置文件，而同时各个实例又拥有自己的特定配置文件

    include /path/to/local.conf

redis数据库管理工具

命令行管理工具

redis_cli是redis自带的命令行工具。

用法示例：

root@debian8:redis-3.0.7# redis-cli
127.0.0.1:6379> keys *
(empty list or set)
127.0.0.1:6379>

图形管理工具

redis desktop

https://redisdesktop.com/

需要关闭保护模式才可以连接成功。

redis 关闭保护模式：

redis-server --protected-mode no

基本操作

这里字符串类型为例描述redis的基本操作命令，其它数据类型参考文档。

• SET

如果key不存在，该命令可以完成添加操作；如果key存在，该命令实现更新操作；

SET key value

• GET

获取某个key所对应的值，格式如下:

GET key

• DEL

删除操作，格式如下：

DEL key

• KEYS

获取符合规律的键名列表，格式如下：

KEYS pattern

pattern支持glob风格通配符格式，具体如下：

?       匹配一个字符
*       匹配任意个（包括0个）字符
[]      匹配括号间的任一字符，可以使用"-"符号表示一个
        范围，如a[b-d]可以匹配"ab","ac"和"ad"
\x      匹配字符x，用于转义符号。

• EXISTS

用于判断一个键是否存在，格式：

EXISTS key

• EXPIRE

设置key的超时时间TTL(Time To Live),生存时间到期后键会自动被删除，格式：

EXPIRE key seconds

数据模型

Redis是REmote DIctionary Server（远程字典服务器）的缩写， 它以字典结构存储数据，并允许其他应用通过TCP协议读写字典中的内容。 同大多数脚本语言中的字典一样，Redis字典中的键值除了可以是字符串，还可以是其他数据类型。 到目前为止 Redis 支持的键值数据类型如下：

字符串类型

字符串是redis最基础的数据类型，它能存储任何形式的字符串，包括二进制数据。 一个字符串类型键允许存储的数据的最大容量是512M。 常用命令如下：

• SET

赋值操作

SET key value

示例：

SET a 5 ==> OK

• GET

取值操作

GET key

示例：

GET a  ==> "5"

• INCR

递增操作，键不存在时创建并赋0，否则+1

INCR key

示例：

INCR a ==> 6

• DECR

递减操作

DECR key

示例：

DECR a ==> 5

• INCRBY

与incr一样，不过可以指定增加的数值

INCRBY key num

示例：

INCRBY a 10   ==>  15

• APPEND

追加,返回追加后字符串长度

APPEND key value

示例：

APPEND a 6  ==>  156

• STRLEN

获取字符串长度

STRLEN key

示例：

STRLEN a  ==> 3

• MSET

同时设置多个键值

MSET key value[key2 value2 ...]

示例：

MSET key1 1 key2 2 ==> OK

• MGET

同时获取多个键值

MGET key1 key2 =>
1) "1"
2) "2"

其它string命令参考官方手册 ： http://redis.io/commands#string

散列类型

散列类型（hash）的键值也是一种字典结构，其存储了字段（field）和字段值的映射， 但字段值只能是字符串，不支持其他数据类型，也就是散列类型不能嵌套其他的数据类型。

除了散列类型，Redis 的其他数据类型同样不支持数据类型嵌套。比如集合类型的每个元素都只能是字符串，不能是另一个集合或散列表等。

散列类型适合存储对象：使用对象类别和 ID 构成键名，使用字段表示对象的属性， 而字段值则存储属性值。

常用命令如下：

• HSET

设置或修改字段值

HSET key field value

• HGET

获取字段值

HGET key field

• HMSET

同时设置多个字段

HMSET key field value [field value ...]

• HMGET

同时获取多个字段值

HMGET key field [field ...]

• HGETALL

获取键中所有字段和值

HGETALL key

• HEXISTS

判断字段是否存在，存在返回1，否则返回0（如果键不存在也返回0）

HEXISTS key field

其它hashs命令参考官方手册 ： http://redis.io/commands#hash

列表类型

列表类型（list）可以存储一个有序的字符串列表，常用的操作是向列表两端添加元素，或者获得列表的某一个片段。

列表类型内部是使用双向链表（double linked list）实现的，所以向列表两端添加元素的时间复杂度为O(1)，获取越接近两端的元素速度就越快。 这意味着即使是一个有几千万个元素的列表，获取头部或尾部的10条记录也是极快的（和从只有20个元素的列表中获取头部或尾部的10条记录的速度是一样的）。

这种特性使列表类型能非常快速地完成关系数据库难以应付的场景： 如社交网站的新鲜事，我们关心的只是最新的内容，使用列表类型存储， 即使新鲜事的总数达到几千万个，获取其中最新的100条数据也是极快的。 同样因为在两端插入记录的时间复杂度是O(1)，列表类型也适合用来记录日志，可以保证加入新日志的速度不会受到已有日志数量的影响。

常用命令如下：

• LPUSH

向列表的左边增加元素，返回增加元素后列表的长度

LPUSH key value[ value..]

• RPUSH

向列表的右边增加元素

RPUSH key value[ value..]

• LPOP

从列表左边移除一个元素，并返回该元素值

LPOP key

• RPOP

从列表的右侧移除一个元素，并返回该元素值

RPOP key

• LLEN

返回列表元素个数，键不存在时返回0

LLEN key

• LRANGE

获取列表片段，start和stop支持负数，-1表示右数第一个

LRANGE key start stop

• LREM

删除列表中指定的值，返回删除的元素个数

LREM key count value

• LINDEX

获取指定索引元素值

LINDEX key index

• LSET

设置指定索引的元素值

LSET key index value

• LTRIM

只保留列表指定片段，删除其他元素

LTRIM key start end

其它命令参考官方手册 ： http://redis.io/commands#list

集合类型

集合中的每个元素都不同，且没有顺序。

常用命令如下：

• SADD

增加一个或多个元素

SADD key member[ member..]

• SREM

移除一个或多个元素

SREM key member[ member..]

• SMEMBERS

获取集合中所有的元素

SMEMBERS key

• SISMEMBER

判断元素是否存在集合中

SISMEMBER key member

• SCARD

获取集合的元素个数

SCARD key

• SRANDMEMBER

返回1个或count个随机元素

SRANDMEMBER key[ count]

• SDIFF

集合差运算

SDIFF key[ key..]

• SINTER

集合交集运算

SINTER key[ key..]

 

• SUNION

集合并集运算

SUNION key[ key..]

其它sets命令参考官方手册 : http://redis.io/commands#set

有序集合类型

在集合类型的基础上有序集合类型为每个元素都关联了一个分数，这使我们可以使用集合类型的操作之外，还能做与分数有关的操作。

常用命令如下：

• ZADD

增加一个带分数的元素，如果已存在，则替换分数

ZADD key score member[ score member..]

• ZSCORE

获得元素分数

ZSCORE key member

• ZRANGE

获得排名在某个范围内的元素，返回按score升序排序的元素

ZRANGE key start end[ WITHSCORES]

• ZREVRANGE

与zrange使用一致，返回按score降序的元素

ZREVRANGE key start end[ WITHSCORES]

• ZRANGEBYSCORE

获得指定分数范围内的元素

ZRANGEBYSCORE key min max WITHSCORES

• ZREVRANGEBYSCORE

获得指定分数范围内的元素,降序排序

ZREVRANGEBYSCORE key max min WITHSCORES

• ZINCREBY

增加某个元素的分数

ZINCREBY key increment member

• ZCARD

获取集合中元素个数 

ZCARD key

• ZCOUNT

获得指定分数范围内的元素个数

ZCOUNT KEY min max

• ZREM

删除一个或多个元素

ZREM key member[ member..]

• ZRANK

获取分数从小到大排序的位置

ZRANK key member

其它sorted_set命令参考官方手册 : http://redis.io/commands#sorted_set

redis事务

Redis 事务可以一次执行多个命令，并且带有以下两个重要的保证：

1. 事务是一个单独的隔离操作：

事务中的所有命令都会序列化、按顺序地执行。 事务在执行的过程中，不会被其他客户端发送来的命令请求所打断。

2. 事务是一个原子操作：

事务中的命令要么全部被执行，要么全部都不执行。

一个事务从开始到执行会经历以下三个阶段：

1. 开始事务(multi)
2. 命令入队
3. 执行事务(exec)

示例如下：

127.0.0.1:6379> MULTI
OK
127.0.0.1:6379> set var 1
QUEUED
127.0.0.1:6379> get var
QUEUED
127.0.0.1:6379> exec
1) OK
2) "1"
127.0.0.1:6379>

redis客户端开发库

c客户端

Redis官方推荐的C客户端是hiredis， github地址：https://github.com/redis/hiredis

同步API

• redisConnect

连接redis数据库（同步方式）

redisContext *redisConnect(const char *ip, int port);

用法示例：

redisContext *c = redisConnect("127.0.0.1", 6379);
if (c == NULL || c->err) {
    if (c) {
        printf("Error: %s\n", c->errstr);
        // handle error
    } else {
        printf("Can't allocate redis context\n");
    }
}

• redisCommand

给redis发送命令

void *redisCommand(redisContext *c, const char *format, ...);

用法示例：

reply = redisCommand(context, "SET foo bar");

reply = redisCommand(context, "SET foo %s", value);

reply = redisCommand(context, "SET foo %b", value, (size_t)valuelen);

reply = redisCommand(context, "SET key:%s %s", myid, value);

• freeReplyObject

释放redis资源

void freeReplyObject(void *reply);

其它api参考hiredis.h

异步API

• redisAsyncConnect

连接redis数据库（异步方式）

redisAsyncContext *redisAsyncConnect(const char *ip, int port);

示例代码：

redisAsyncContext *c = redisAsyncConnect("127.0.0.1", 6379);
if (c->err) {
    printf("Error: %s\n", c->errstr);
    // handle error
}

• redisAsyncSetConnectCallback

redis连接回调函数

int redisAsyncSetConnectCallback(redisAsyncContext *ac, redisConnectCallback *fn);

示例代码：

void connectCallback(const redisAsyncContext *c, int status) {
    if (status != REDIS_OK) {
        printf("Error: %s\n", c->errstr);
        return;
    }

    printf("Connected...\n");
}

redisAsyncSetConnectCallback(c,connectCallback);

• redisAsyncSetDisconnectCallback

redis断开连接的回调函数

int redisAsyncSetDisconnectCallback(redisAsyncContext *ac, redisDisconnectCallback *fn);

示例代码：

void disconnectCallback(const redisAsyncContext *c, int status) {
    if (status != REDIS_OK) {
        printf("Error: %s\n", c->errstr);
        return;
    }
    printf("Disconnected...\n");
}

redisAsyncSetDisconnectCallback(c,disconnectCallback);

• redisAsyncCommand

以异步方式给redis发送命令。

int redisvAsyncCommand(redisAsyncContext *ac, redisCallbackFn *fn, void *privdata, const char *format, va_list ap);
int redisAsyncCommand(redisAsyncContext *ac, redisCallbackFn *fn, void *privdata, const char *format, ...);

示例代码：

void getCallback(redisAsyncContext *c, void *r, void *privdata) {
    redisReply *reply = r;
    if (reply == NULL) return;
    printf("argv[%s]: %s\n", (char*)privdata, reply->str);

    /* Disconnect after receiving the reply to GET */
    redisAsyncDisconnect(c);
}

redisAsyncCommand(c, NULL, NULL, "SET key %b", argv[argc-1], strlen(argv[argc-1]));
redisAsyncCommand(c, getCallback, (char*)"end-1", "GET key");

• redisAsyncDisconnect

断开异步连接

void redisAsyncDisconnect(redisAsyncContext *ac);

其它api参考async.h

python客户端

Redis官方推荐的Python客户端是redis-py， github地址： https://github.com/andymccurdy/redis-py

安装方式：

pip install redis

或者

easy_install redis

使用方法

1. 导入redis

import redis

2. 连接到redis

r = redis.StrictRedis() # 默认 127.0.0.1:6379

也可以显式指定需要连接的地址：

r = redis.StrictRedis(host='127.0.0.1',port=6379,db=0)

3.操作redis

以SET和GET命令为例：

r.set('var','1')
print r.get('var')

异步方式redis客户端请参考asyncio_redis： http://asyncio-redis.readthedocs.org/en/latest/

redis作为消息队列

工作队列模式

redis的队列实际在代码逻辑中不需要由我们自己实现， 因此一个所谓的 RedisMQ 对象实际是一个 redis key以及对其操作的一些封装。

可以通过list的lpush和rpop来模拟实现。

127.0.0.1:6379> LPUSH q1 1
(integer) 1
127.0.0.1:6379> LPUSH q1 2
(integer) 2
127.0.0.1:6379> LPUSH q1 3
(integer) 3
127.0.0.1:6379> RPOP q1
"1"
127.0.0.1:6379> RPOP q1
"2"
127.0.0.1:6379> RPOP q1
"3"
127.0.0.1:6379>

如果是优先级队列可以用zset来实现。

订阅发布模式

实现思想很简单，Publisher调用redis的publish方法往特定的channel发送消息，Subscriber在初始化的时候要subscribe到该channel，一旦有消息就会立即接收。

订阅消息（redis-cli终端1）：

SUBSCRIBE first second

发布消息（redis-cli终端2）：

PUBLISH first 1
PUBLISH second 2

其它命令参考： http://redis.io/commands#pubsub

更多关于pubsub的描述详见：http://redis.io/topics/pubsub

Redis作为消息队列与RabbitMQ的性能对比:

http://zqdevres.qiniucdn.com/data/20110714104018/index.html

脚本支持

Redis提供了通过eval命令来执行Lua 5.1脚本。

下面通过几个小例子来讲述如何在Redis服务端执行Lua脚本。

• redis-cli中直接执行lua脚本

  127.0.0.1:6379> eval "return redis.call('set','var','123')" 0
  OK
  127.0.0.1:6379> get var
  "123"
  127.0.0.1:6379>

• bash调用redis-cli执行

  ~$ redis-cli EVAL "return redis.call('set','var','456')" 0
  OK
  ~$ redis-cli GET var
  "456"
  ~$

      如果lua脚本内容比较长，可以将lua脚本写入文件， 然后通过redis-cli执行：

~$ cat test1.lua
local msg = "test1"
print(msg)
redis.call('set','var',msg)
return msg
~$ redis-cli EVAL "$(cat test1.lua)" 0
"test1"
~$ redis-cli get var
"test1"

 

与mysql交互

mysql2redis

https://github.com/dawnbreaks/mysql2redis

https://wp.iirii.com/archives/%E6%80%8E%E6%A0%B7%E5%AE%89%E8%A3%85mysql2redis%E7%AC%94%E8%AE%B0%E6%91%98%E8%A6%81/

 

本文github地址：https://github.com/mike-zhang/redisDoc

欢迎补充