python 操作redis

Redis是一个基于内存的键值对存储系统，常用作数据库、缓存和消息代理。它支持字符串、字典、列表、集合、有序集合、位图、地理位置、HyperLogLog等多种数据结构，所以常常被称作为数据结构服务器。Redis支持事务、切片、主从复制，支持RDB(将内存中的数据保存在文件中)和AOF(类似于MySQL的binlog)两种持久化方式，还支持订阅分发、Lua脚本、集群(Redis3.0加入的功能)等特性。接下来记录一下在Python中操作Redis:

安装Redis

sudo apt-get install redis-server

安装redis模块

sudo pip install redis

配置redis.conf

redis.conf目录:/etc/redis/redis.conf

将
bind 127.0.0.1
改为:
bind 0.0.0.0

使用如下命令使配置生效:

redis-server /etc/redis/redis.conf

操作模式

redis-py提供提供两个类Redis和StrictRedis用于实现Redis的命令，StrictRedis用于实现大部分官方的命令,并使用官方的语法和命令，Redis是StrictRedis的子类，用于向后兼容旧版本的redis-py

import redis
# "192.168.10.10"为远程Redis地址，port为Redis默认端口号
client = redis.Redis(host="192.168.10.10",port=6379)
# 存储键值对
client.set("name","python")
# 取出key为"name"的键对应的值
client.get("name")

连接池

redis-py使用connection pool来管理对一个redis server的所有连接，避免每次建立、释放连接的开销。默认每个Redis实例都会维护一个自己的连接池。可以直接建立一个连接池，然后作为参数Redis，这样就可以实现多个Redis实例共享一个连接池

import redis
pool = redis.ConnectionPool(host="192.168.10.10",port=6379)
r = redis.Redis(connection_pool=pool)
result = r.get("info")

常见操作

字符串相关操作

• set(name,value,ex=None,px=None,nx=False,xx=False)：设置键值

  • name：键
  • value：值
  • ex：过期时间(秒)
  • px：过期时间(毫秒)
  • nx：True时，name不存在才会执行set操作
  • xx：True时，name存在才会执行set操作

• get(name)：获取键值

  • name：键

• setnx(name,value)：设置键值(name不存在则设置，否则不做操作)

  • name：键
  • value：值

• setex(name,value,time)：设置键值(name存在会覆盖)

  • name：键
  • value：值
  • time：过期时间(秒)

• psetex(name,time_ms,value)：设置键值(name存在会覆盖)

  • name：键
  • time_ms：过期时间(毫秒)
  • value：值

• mset(args,kwargs)*：批量设置键值

• mget(keys,args)*：批量获取键值

  • keys：键列表
  • args：键元组

• getset(name,value)：获取旧值并设置新值

  • name：键
  • value：新值

• setrange(name,offset,value)：修改键值

  • name：键
  • offset：起始位置(从此位置开始修改)，若name不存在,且offset>0，则在前面补上offset个0x00，再加上value，为name的新值
  • value：值

• getrange(name,start,end)：获取值并截取

  • name：键
  • start：起始位置(字节),包含起始位置
  • end：结束位置(字节),包含结束位置

• setbit(name,offset,value)：对name对应的值的二进制位进行操作

• getbit(name,offset)：对name对应的值的二进制位进行操作

• strlen(name)：获取name对应值的长度

  • name：键

• incr(name,amount)：name不存在,则name=amount，name存在，则name对应的值+amount

  • name：键
  • amount：自增值

• decr(name,amount)：name不存在，则name=amount，name存在，则name对应的值-amount

  • name：键
  • amount：自减值

• append(key,value)：在key对应的值后面追加value

  • name：键
  • value：追加的值

• hset(name,key,value)：存储字典

  • name：键
  • key：字典的key
  • value：字典的值

• hget(name,key)：获取name对应的字典中对应key的值

  • name：键
  • key：字典的key

• hmset(name,mapping)：存储字典

  • name：键
  • mapping：字典，如：{“info”:”shenzhen”,”age”:18}

• hmget(name,keys,args)*：获取字典的值

  • name：键
  • keys：字典键,如：hmget(“name”,[“info”,”age”])
  • args：字典键，如：hmget(“name”,”info”,”age”)

• hgetall(name)：获取字典(dict格式)

  • name：键

• hlen(name)：获取字典的长度

  • name：键

• hkeys(name)：获取字典的所有key

  • name：键

• hvals(name)：获取字典的所有value

  • name：键

• hexists(name,key)：name对应的字典中是否存在键key

  • name：键
  • key：字典的key

• hdel(name,args)*：删除name对应的字典中的键值对

  • name：键
  • args：字典的key元组

• hincrby(name,key,amount)：name对应的字典中，若key存在，则key对应的值+amount，否则key=amount

  • name：键
  • key：字典中key
  • amount：自增值(整数)

• hincrbyfloat(name,key,amount)：name对应的字典中，若key存在，则key对应的值+amount，否则key=amount

  • name：键
  • key：字典中key
  • amount：自增值(浮点数)

• hscan(name,cursor=0,match=None,count=None)：迭代式获取,对于数据大的数据非常有用,hscan可以实现分片式获取，避免一次性获取完毕，将内存称爆

  • name：键
  • cursor：游标
  • match：匹配的key，默认None，表示所有的key
  • count：每次分片最少获取个数，默认None表示采用Redis默认分片个数

# 第一次
cursor1,data = r.hscan("province",cursor=0)
# 第二次
cursor2,data = r.hscan("province",cursor=cursor1)
...
依次迭代，当返回的游标值为0时表示全部获取完毕，值得注意的是只有当"province"对应的字典中含有大量数据时，redis才会有采取分片操作(大概在513条数据左右)

• hscan_iter(name,match,count)：利用yield封装hscan创建生成器，实现分批去redis中获取数据

  • name：键
  • match：匹配的key，默认None，表示所有的key
  • count：每次分片最少获取个数，默认None表示采用Redis默认分片个数

列表相关操作

• lpush(name,value)*：存储列表(往前(左)插入)

  • name：键
  • value：值，格式：11，22，33。值越后，在列表中存储的位置越前

• rpush(name,value)*：存储列表(往后(右)插入)

  • name：键
  • value：值，格式：11，22，33。值越后，在列表中存储的位置越后

• lpushx(name,value)：在name对应的list中添加元素，name不存在不操作

  • name：键
  • value：值。值添加到列表的最前面

• llen(name)：获取name对应的list的长度

  • name：键

• linsert(name,where,refvalue,value)：在name对应的list中refvalue的前后插入value

  • name：键
  • where：before或after
  • refvalue：list中的某个值，与where配合确定位置后插入value
  • value：插入的值

• lset(name,index,value)：修改name对应的list中指定位置的值

  • name：键
  • index：索引位置
  • value：值

• lrem(name, count, value)：删除name对应的list中的指定值

  • name：键
  • count：0:删除所有配到的指定值;count为正数时:从匹配到该值的位置时，删除count个;count为负数时:从后往前匹配，从匹配到该值的位置时，删除count个
  • value：删除的指定值

• lpop(name)：删除name对应的list中的第一个值

  • name：键

• lindex(name,index)：获取name对应的list中指定位置的值

  • index：索引位置

• lrange(name,start,end)：获取name对应的list中切片后的值

  • name：键
  • start：起始位置(包括)
  • end：结束位置(包括)

• ltrim(name,start,end)：移除name对应的list中，不在start-end之间的值

  • name：键
  • start：起始位置(包括)
  • end：结束位置(包括)

• rpoplpush(src,dst)：移除src对应的list中最右边(即最后)的元素，并将其加到dst中对应list的最左边(即最前)

  • src：键
  • dst：键

• brpoplpush(src,dst,timeout=0)：移除src对应的list中最右边(即最后的元素),并将其加到dst中对应list的最左边(即最前)

  • src：键
  • dst：键
  • timeout：当src没有值，阻塞！阻塞时间

集合相关操作

• sadd(name,value)：添加集合

  • name：键
  • value：值

• scard(name)：获取集合元素的个数

  • name：键

• sdiff(keys,args)*：获取多个集合的差集

  • kyes：键
  • args：键

• sdiffstore(dest,keys,args)*：获取keys对应集合，与args中多个集合的差集，并将其设置为dest对应的集合

  • dest：键
  • keys：键
  • args：键,若args为空，dest对应的集合则为keys对应的集合

• sinter(keys,args)*：获取多个集合的交集

  • keys：键
  • args：键

• sinterstore(dest,keys,args)：获取keys对应集合，与args中多个集合的交集，并将其设置为dest对应的集合

  • dest：键
  • keys：键
  • args：键,若args为空，dest对应的集合则为keys对应的集合

• sismember(name,value)：判断value是否name对应集合中的成员

  • name：键
  • value：值

• smembers(name)：获取name对应的集合

  • name：键

• smove(src,dst,value)：将src中对应集合中的value移动到dst对应的集合的最左边(即最前面)

  • src：键
  • dst：键
  • value：值

• spop(name)：移除name对应集合中最右边(即最后面)的元素

  • name：键

• srandmember(name,number=None)：获取name对应集合中随机元素

  • name：键
  • number：获取number个元素，默认取一个元素

• srem(name,values)*：删除name对应集合中的某些元素

  • name：键
  • values：值

• sunion(keys,args)*：获取多个集合的并集

  • keys：键
  • args：键

有序集合相关操作

• zadd(name,args,kwargs)*：在name对应的有序集合中添加元素，分数越小，越靠前

  • name：键
  • args：键值对,例如:’n1’,1,’n2’,2
  • kwargs：键值对，例如:’n1’=1,’n2’=2

• zcard(name)：获取name对应的有序集合的元素个数

  • name：键

• zcount(name,min,max)：获取name对应的有序集合中，min<=分数<=max中的元素个数

  • name：键
  • min：小值(分数)
  • max：大值(分数)

• zincrby(name,value,amount)：自增name对应的有序集合中,value对应的分数+amount，若value不存在，则插入value=amount

  • name：键
  • value：值
  • amount：分数自增值

• zrange(name,start,end,desc=False,withscores=False,score_with_func=float)：获取name对应的有序集合中,start<=下标<=end的所有数据。

  • name：键
  • start：起始位置
  • end：结束位置
  • desc：是否是倒序，默认False
  • withscores：是否获取分数,默认False
  • score_with_func：分数类型

• zrank(name,value)：获取value在name对应的有序集合中的下标

  • name：键
  • value：值

• zrem(name,values)*：删除在name对应的有序集合中value对应的分数

  • name：键
  • values：值，如：values=”n1”,”n2”

• zremrangebyrank(name,min,max)：删除在name对应的有序集合中,min<=下标<=max的数据

  • name：键
  • min：小(下标)
  • max：大(下标)

• zremrangebyscore(name,min,max)：删除在name对应的有序集合中,min<=分数<=max的数据

  • name：键
  • min：小(分数)
  • max：大(分数)

• zscore(name,value)：获取name对应的有序集合中value对应的分数

  • name：键
  • value：值

• zinterstore(name,keys,aggregate=None)：获取name对应的有序集合的交集，并使name指向这个交集

  • name：键
  • keys：多个有序集合的键的元组,例:keys=(“zlist1”,”zlist2”)
  • aggregate：聚合操作，值可以是：”MAX”,”MIN”,”SUM”,当遇到值相同，分数不同时，可以对分数做操作：取大值、取小值或取和值

• zunionstore(name,keys,aggregate=None)：获取name对应的有序集合的并集，并使name指向这个并集

  • name：键
  • keys：多个有序集合的键的元组,例:keys=(“zlist1”,”zlist2”)
  • aggregate：聚合操作，值可以是：”MAX”,”MIN”,”SUM”,当遇到值相同，分数不同时，可以对分数做操作：取大值、取小值或取和值

其他常用操作

• delete(names)*：删除Redis中的任意数据类型

  • names：键

• exists(name)：判断键是否存在

  • name：键

• keys(pattern=””)*：获取符合规则的所有键

  • pattern：通配符,默认获取所有。常见:”h”：h结尾的键；”h”：h开头的键；”hx”：h开头,x结尾的键；”h[ae]x”：获取名为hax或hex的键

• expaire(name,time)：设置超时时间

  • name：键

• rename(src,dst)：修改键名

  • src：旧键名
  • dst：新键名

• move(name,db)：将键移动至其他db

  • name：键
  • db：db序号

• randomkey()：随机获取key

• type(name)：获取键对应的数据类型

  • name：键

管道

redis-py默认在执行每次请求都会创建（连接池申请链接）和断开（归还连接池）一次链接操作。如果想要在一次请求中指定多个命令，则可以使用pipeline实现一次请求指定多个命令

import redis

pool = redis.ConnectionPool(host="192.168.10.10",port=6379)
r = redis.Redis(connection_pool=pool)

pipe = r.pipeline(transaction=True)

pipe.set(name,value)
pipe.set(name2,value2)

pipe.execute()

设置密码

修改Redis的配置文件/etc/redis/redis.conf

requirepass 123456

需重启Redis生效

注意：redis的查询速度是非常快的，外部用户一秒内可以尝试多大150K个密码；所以密码要尽量长（对于DBA 没有必要必须记住密码）；

Redis的优点

• Web应用中常需要将一些重要数据持久化到磁盘，避免宕机等原因导致数据丢失。Redis会周期性把更新的数据写入磁盘或者追加到命令日志中，并且在此基础上实现了主从同步。而Memcached在进程关闭之后数据就会丢失。
• 一些业务为了简化工作，需要使用列表、集合这样只有Redis才支持的数据结构。相对于Memcached,Redis有更多的应用场景
• Redis提供了丰富的命令。比如，可以通过通配符查看线上已经存在的键、判断一个键是否存在(Memcached这点很不方便，没有设置缓存和设置的缓存为Nong不好区分)，方便的获取服务器信息和统计数值等。