Python-Redis操作

Redis是一个基于内存的键值对存储系统，常用作数据库、缓存和消息代理。它支持字符串、字典、列表、集合、有序集合、位图、地理位置、HyperLogLog等多种数据结构，所以常常被称作为数据结构服务器。Redis支持事务、切片、主从复制，支持RDB(将内存中的数据保存在文件中)和AOF(类似于MySQL的binlog)两种持久化方式，还支持订阅分发、Lua脚本、集群(Redis3.0加入的功能)等特性。

Redis的优点

• Web应用中常需要将一些重要数据持久化到磁盘，避免宕机等原因导致数据丢失。Redis会周期性把更新的数据写入磁盘或者追加到命令日志中，并且在此基础上实现了主从同步。而Memcached在进程关闭之后数据就会丢失。
• 一些业务为了简化工作，需要使用列表、集合这样只有Redis才支持的数据结构。相对于Memcached,Redis有更多的应用场景
• Redis提供了丰富的命令。比如，可以通过通配符查看线上已经存在的键、判断一个键是否存在(Memcached这点很不方便，没有设置缓存和设置的缓存为Nong不好区分)，方便的获取服务器信息和统计数值等。

接下来记录一下在Python中操作Redis:

安装Redis

sudo apt-get install redis-server

安装redis模块

sudo pip install redis

配置redis.conf

redis.conf目录:/etc/redis/redis.conf

将
bind 127.0.0.1
改为:
bind 0.0.0.0

使用如下命令使配置生效:

redis-server /etc/redis/redis.conf

操作模式

redis-py提供提供两个类Redis和StrictRedis用于实现Redis的命令，StrictRedis用于实现大部分官方的命令,并使用官方的语法和命令，Redis是StrictRedis的子类，用于向后兼容旧版本的redis-py

import redis
# "192.168.10.10"为远程Redis地址，port为Redis默认端口号
client = redis.Redis(host="192.168.10.10",port=6379)
# 存储键值对
client.set("name","python")
# 取出key为"name"的键对应的值
client.get("name")

连接池

redis-py使用connection pool来管理对一个redis server的所有连接，避免每次建立、释放连接的开销。默认每个Redis实例都会维护一个自己的连接池。可以直接建立一个连接池，然后作为参数Redis，这样就可以实现多个Redis实例共享一个连接池

import redis
pool = redis.ConnectionPool(host="192.168.10.10",port=6379)
r = redis.Redis(connection_pool=pool)
result = r.get("info")

常见操作

字符串相关操作

• set(name,value,ex=None,px=None,nx=False,xx=False)：设置键值
  • name：键
  • value：值
  • ex：过期时间(秒)
  • px：过期时间(毫秒)
  • nx：True时，name不存在才会执行set操作
  • xx：True时，name存在才会执行set操作
• get(name)：获取键值
  • name：键
• setnx(name,value)：设置键值(name不存在则设置，否则不做操作)
  • name：键
  • value：值
• setex(name,value,time)：设置键值(name存在会覆盖)
  • name：键
  • value：值
  • time：过期时间(秒)
• psetex(name,time_ms,value)：设置键值(name存在会覆盖)
  • name：键
  • time_ms：过期时间(毫秒)
  • value：值
• mset(*args,**kwargs)：批量设置键值
• mget(keys,*args)：批量获取键值
  • keys：键列表
  • args：键元组
• getset(name,value)：获取旧值并设置新值
  • name：键
  • value：新值
• setrange(name,offset,value)：修改键值，覆盖的位置从偏移量offset开始
  • name：键
  • offset：起始位置，若name不存在,且offset>0，则在前面补上offset个0x00，再加上value，为name的新值
  • value：值
• getrange(name,start,end)：获取值并截取
  • name：键
  • start：起始位置(字节),包含起始位置
  • end：结束位置(字节),包含结束位置
• setbit(name,offset,value)：对name对应的值的二进制位进行操作
• getbit(name,offset)：对name对应的值的二进制位进行操作
• strlen(name)：获取name对应值的长度
  • name：键
• incr(name,amount)：name不存在,则name=amount，name存在，则name对应的值+amount
  • name：键
  • amount：自增值
• decr(name,amount)：name不存在，则name=amount，name存在，则name对应的值-amount
  • name：键
  • amount：自减值
• append(key,value)：在key对应的值后面追加value
  • name：键
  • value：追加的值
• hset(name,key,value)：存储字典
  • name：键
  • key：字典的key
  • value：字典的值
• hget(name,key)：获取name对应的字典中对应key的值
  • name：键
  • key：字典的key
• hmset(name,mapping)：存储字典
  • name：键
  • mapping：字典，如：{“info”:“shenzhen”,“age”:18}
• hmget(name,keys,*args)：获取字典的值
  • name：键
  • keys：字典键,如：hmget(“name”,[“info”,“age”])
  • args：字典键，如：hmget(“name”,“info”,“age”)
• hgetall(name)：获取字典(dict格式)
  • name：键
• hlen(name)：获取字典的长度
  • name：键
• hkeys(name)：获取字典的所有key
  • name：键
• hvals(name)：获取字典的所有value
  • name：键
• hexists(name,key)：name对应的字典中是否存在键key
  • name：键
  • key：字典的key
• hdel(name,*args)：删除name对应的字典中的键值对
  • name：键
  • args：字典的key元组
• hincrby(name,key,amount)：name对应的字典中，若key存在，则key对应的值+amount，否则key=amount
  • name：键
  • key：字典中key
  • amount：自增值(整数)
• hincrbyfloat(name,key,amount)：name对应的字典中，若key存在，则key对应的值+amount，否则key=amount
  • name：键
  • key：字典中key
  • amount：自增值(浮点数)
• hscan(name,cursor=0,match=None,count=None)：迭代式获取,对于数据大的数据非常有用,hscan可以实现分片式获取，避免一次性获取完毕，将内存称爆
  • name：键
  • cursor：游标
  • match：匹配的key，默认None，表示所有的key
  • count：每次分片最少获取个数，默认None表示采用Redis默认分片个数

# 第一次
cursor1,data = r.hscan("province",cursor=0)
# 第二次
cursor2,data = r.hscan("province",cursor=cursor1)
...
依次迭代，当返回的游标值为0时表示全部获取完毕，值得注意的是只有当"province"对应的字典中含有大量数据时，redis才会有采取分片操作(大概在513条数据左右)

• hscan_iter(name,match,count)：利用yield封装hscan创建生成器，实现分批去redis中获取数据
  • name：键
  • match：匹配的key，默认None，表示所有的key
  • count：每次分片最少获取个数，默认None表示采用Redis默认分片个数

列表相关操作

• lpush(name,*value)：存储列表(往前(左)插入)
  • name：键
  • value：值，格式：11，22，33。值越后，在列表中存储的位置越前
• rpush(name,*value)：存储列表(往后(右)插入)
  • name：键
  • value：值，格式：11，22，33。值越后，在列表中存储的位置越后
• lpushx(name,value)：在name对应的list中添加元素，name不存在不操作
  • name：键
  • value：值。值添加到列表的最前面
• llen(name)：获取name对应的list的长度
  • name：键
• linsert(name,where,refvalue,value)：在name对应的list中refvalue的前后插入value
  • name：键
  • where：before或after
  • refvalue：list中的某个值，与where配合确定位置后插入value
  • value：插入的值
• lset(name,index,value)：修改name对应的list中指定位置的值
  • name：键
  • index：索引位置
  • value：值
• lrem(name, count, value)：删除name对应的list中的指定值
  • name：键
  • count：0:删除所有配到的指定值;count为正数时:从匹配到该值的位置时，删除count个;count为负数时:从后往前匹配，从匹配到该值的位置时，删除count个
  • value：删除的指定值
• lpop(name)：删除name对应的list中的第一个值
  • name：键
• lindex(name,index)：获取name对应的list中指定位置的值
  • index：索引位置
• lrange(name,start,end)：获取name对应的list中切片后的值
  • name：键
  • start：起始位置(包括)
  • end：结束位置(包括)
• ltrim(name,start,end)：移除name对应的list中，不在start-end之间的值
  • name：键
  • start：起始位置(包括)
  • end：结束位置(包括)
• rpoplpush(src,dst)：移除src对应的list中最右边(即最后)的元素，并将其加到dst中对应list的最左边(即最前)
  • src：键
  • dst：键
• brpoplpush(src,dst,timeout=0)：移除src对应的list中最右边(即最后的元素),并将其加到dst中对应list的最左边(即最前)
  • src：键
  • dst：键
  • timeout：当src没有值，阻塞！阻塞时间

集合相关操作

• sadd(name,value)：添加集合
  • name：键
  • value：值
• scard(name)：获取集合元素的个数
  • name：键
• sdiff(keys,*args)：获取多个集合的差集
  • kyes：键
  • args：键
• sdiffstore(dest,keys,*args)：获取keys对应集合，与args中多个集合的差集，并将其设置为dest对应的集合
  • dest：键
  • keys：键
  • args：键,若args为空，dest对应的集合则为keys对应的集合
• sinter(keys,*args)：获取多个集合的交集
  • keys：键
  • args：键
• sinterstore(dest,keys,args)：获取keys对应集合，与args中多个集合的交集，并将其设置为dest对应的集合
  • dest：键
  • keys：键
  • args：键,若args为空，dest对应的集合则为keys对应的集合
• sismember(name,value)：判断value是否name对应集合中的成员
  • name：键
  • value：值
• smembers(name)：获取name对应的集合
  • name：键
• smove(src,dst,value)：将src中对应集合中的value移动到dst对应的集合的最左边(即最前面)
  • src：键
  • dst：键
  • value：值
• spop(name)：移除name对应集合中最右边(即最后面)的元素
  • name：键
• srandmember(name,number=None)：获取name对应集合中随机元素
  • name：键
  • number：获取number个元素，默认取一个元素
• srem(name,*values)：删除name对应集合中的某些元素
  • name：键
  • values：值
• sunion(keys,*args)：获取多个集合的并集
  • keys：键
  • args：键

有序集合相关操作

• zadd(name,*args,**kwargs)：在name对应的有序集合中添加元素，分数越小，越靠前
  • name：键
  • args：键值对,例如:‘n1’,1,‘n2’,2
  • kwargs：键值对，例如:‘n1’=1,‘n2’=2
• zcard(name)：获取name对应的有序集合的元素个数
  • name：键
• zcount(name,min,max)：获取name对应的有序集合中，min<=分数<=max中的元素个数
  • name：键
  • min：小值(分数)
  • max：大值(分数)
• zincrby(name,value,amount)：自增name对应的有序集合中,value对应的分数+amount，若value不存在，则插入value=amount
  • name：键
  • value：值
  • amount：分数自增值
• zrange(name,start,end,desc=False,withscores=False,score_with_func=float)：获取name对应的有序集合中,start<=下标<=end的所有数据。
  • name：键
  • start：起始位置
  • end：结束位置
  • desc：是否是倒序，默认False
  • withscores：是否获取分数,默认False
  • score_with_func：分数类型
• zrank(name,value)：获取value在name对应的有序集合中的下标
  • name：键
  • value：值
• zrem(name,*values)：删除在name对应的有序集合中value对应的分数
  • name：键
  • values：值，如：values=“n1”,“n2”
• zremrangebyrank(name,min,max)：删除在name对应的有序集合中,min<=下标<=max的数据
  • name：键
  • min：小(下标)
  • max：大(下标)
• zremrangebyscore(name,min,max)：删除在name对应的有序集合中,min<=分数<=max的数据
  • name：键
  • min：小(分数)
  • max：大(分数)
• zscore(name,value)：获取name对应的有序集合中value对应的分数
  • name：键
  • value：值
• zinterstore(name,keys,aggregate=None)：获取name对应的有序集合的交集，并使name指向这个交集
  • name：键
  • keys：多个有序集合的键的元组,例:keys=(“zlist1”,“zlist2”)
  • aggregate：聚合操作，值可以是：“MAX”,“MIN”,“SUM”,当遇到值相同，分数不同时，可以对分数做操作：取大值、取小值或取和值
• zunionstore(name,keys,aggregate=None)：获取name对应的有序集合的并集，并使name指向这个并集
  • name：键
  • keys：多个有序集合的键的元组,例:keys=(“zlist1”,“zlist2”)
  • aggregate：聚合操作，值可以是：“MAX”,“MIN”,“SUM”,当遇到值相同，分数不同时，可以对分数做操作：取大值、取小值或取和值

其他常用操作

• delete(*names)：删除Redis中的任意数据类型
  • names：键
• exists(name)：判断键是否存在
  • name：键
• keys(pattern="*")：获取符合规则的所有键
  • pattern：通配符,默认*获取所有。常见:"*h"：h结尾的键；“h*”：h开头的键；“h*x”：h开头,x结尾的键；“h[ae]x”：获取名为hax或hex的键
• expaire(name,time)：设置超时时间
  • name：键
• rename(src,dst)：修改键名
  • src：旧键名
  • dst：新键名
• move(name,db)：将键移动至其他db
  • name：键
  • db：db序号
• randomkey()：随机获取key
• type(name)：获取键对应的数据类型
  • name：键

管道

redis-py默认在执行每次请求都会创建（连接池申请链接）和断开（归还连接池）一次链接操作。如果想要在一次请求中指定多个命令，则可以使用pipeline实现一次请求指定多个命令

import redis

pool = redis.ConnectionPool(host="192.168.10.10",port=6379)
r = redis.Redis(connection_pool=pool)

pipe = r.pipeline(transaction=True)

pipe.set(name,value)
pipe.set(name2,value2)

pipe.execute()

批量删除Key

"""
-h 远程redis地址
-p redis端口
-n 数据库
-a 密码

将s开头的key全部删除
"""
redis-cli -h ${host} -p 6379 -n 3 -a 123456 keys "s*" | xargs redis-cli -h ${host} -p 6379 -n 3 -a 123456 del

设置密码

修改Redis的配置文件/etc/redis/redis.conf

requirepass 123456

需重启Redis生效

注意：redis的查询速度是非常快的，外部用户一秒内可以尝试多大150K个密码；所以密码要尽量长（对于DBA 没有必要必须记住密码）；