redis( Remote Dictionary Service – 远程字典服务),它是一款开源、高性能的键值存储数据库。它支持各种数据结构,包括**字符串(String)、哈希(Hash)、列表(List)、集合(Set)、有序集合(ZSet)**等,并提供了丰富的操作命令,可以对这些数据结构进行灵活的读写操作。
redis以内存为主要存储介质,这使得它具有非常快速的读写性能。同时,Redis也支持将数据持久化到磁盘,以便在重启或崩溃恢复后保留数据。它采用了单线程的事件循环模型,通过异步IO和多路复用技术实现了高并发处理能力。
总结来说,redis是内存数据库、Key-Value数据库、数据结构数据库
1)远程字典服务:节点通过tcp,与redis建立连接交互。并且是请求回应模型,即节点发送请求命令到redis --> redis回复请求结果
2)内存数据库:指的是redis以内存为主要存储介质,数据都在内存中,不可能出现数据不在内存中,而磁盘有这个数据。
2)Key-Value数据库:redis是以KV方式存储的,其中key是string类型,而value多种数据结构。操作方式是redis通过key操作或者查询value。
详细的命令可以查阅redis命令中心
1)安装redis-server
sudo apt-get install redis-server
2)查看redis服务的状态
ps -ef|grep redis
whereis redis
# 结果是redis: /etc/redis
4)修改配置文件
先备份
# 以管理员身份登录
sudo -i
cd /etc/redis/
# 备份
cp redis.conf redis.conf.copy
修改配置文件
sudo vim /etc/redis/redis.conf
修改内容为
# 守护进程,修改为yes后即可后台运行
daemonize yes
# 监听的地址,默认是127.0.0.1,会导致只能在本地访问。修改为0.0.0.0则可以在任意IP访问
bind 0.0.0.0
# 其他修改(可选)
# 密码,设置后访问 redis 必须输入密码
requirepass 123456
# 监听端口号,默认为 6379
port 6379
5)重启redis
sudo service redis restart
6)客户端连接
redis-cli [options] [commonds]
-h 指定要连接的redis节点的IP地址,默认是127.0.0.1
-p 指定要连接的redis节点的端口,默认是6379
-a 指定redis的访问密码
比如
redis-cli -h 127.0.0.1 -a 123456
string字符数组,该字符串是动态字符串 raw,字符串长度小于1M时,加倍扩容;超过 1M 每次只多扩 1M;字符串最大长度为512M;
注意:redis 字符串是二进制安全字符串;可以存储图片,二进制协议等二进制数据;
# 设置 key 的 value 值
SET key val
# 获取 key 的 value
GET key
# 一次为多个字符串键设置值
MSET key value
# 一次获取多个字符串键的值
MGET key [key...]
# 将key设置值为value,如果key不存在,这种情况下等同SET命令。 当key存在时,什么也不做。SETNX是”SET if Not eXists”的简写。
SETNX key value
MSETNC key value [key value ...]
# 返回key对应的字符串value的子串,这个子串是由start和end位移决定的(两者都在string内)
GETRANGE key start end
# 覆盖key对应的string的一部分,从指定的offset处开始,覆盖value的长度。
SETRANGE key start end
# 追加新内容到值的末尾
APPEND key suffix
# 执行原子+1的操作
INCR key
# 执行原子加一个整数的操作
INCRBY key increment
# 执行原子加一个浮点数的操作
INCRBYFLOAT key increment
# 执行原子-1的操作
DECR key
# 执行原子减一个整数的操作
DECR key decrement
# 删除字符串键值对
DEL key
# 设置或者清空key的value(字符串)在offset处的bit值。
SETBIT key offset value
# 返回key对应的string在offset处的bit值
GETBIT key offset
# 统计字符串设置为1的bit数.
BITCOUNT key
# 清除所有键值对
FLUSHALL
embstr :是一种字符串编码方式,用于表示较短且不包含二进制数据的字符串。它是 Redis 用于优化内存使用的一种编码方式。使用 embstr 编码可以减少字符串对象在内存中的空间占用。对于符合条件的短字符串,Redis 会直接将字符串值存储在字符串对象的结构体中,而不是额外分配内存来保存字符串数据。
raw:是一种字符串编码方式,用于表示较长或包含二进制数据的字符串。使用 raw 编码方式存储字符串时,Redis 会分配额外的内存来保存字符串数据。这意味着 raw 编码的字符串对象在内存中占用更多的空间,但同时具有更大的灵活性,可以处理更长的字符串和包含二进制数据的字符串。
1)对象存储。存储的数据不能改变,如果是需要改变的数据,使用hash来存储
127.0.0.1:6379> set role:1001 'name:jack sex:man age:30'
OK
127.0.0.1:6379> get role:1001
"name:jack sex:man age:30"
2)累加器
127.0.0.1:6379> set read 100
OK
127.0.0.1:6379> incr read
(integer) 101
127.0.0.1:6379> incrby read 50
(integer) 151
3)分布式锁,redis 实现的是非公平锁
# 加锁(不存在才能设置),EX 设置过期时间为 30 秒
set lock uuid nx ex 30
# 解锁
if (get(lock) == uuid)
del(lock);
4)位运算。比如实现签到功能。
127.0.0.1:6379> setbit sign:1001:202307 1 1 # 2023年7月1日 签到
(integer) 0
127.0.0.1:6379> setbit sign:1001:202307 2 1 # 2023年7月2日 签到
(integer) 0
127.0.0.1:6379> setbit sign:1001:202307 3 0 # 2023年7月1日 未来签到
(integer) 0
127.0.0.1:6379> bitcount sign:1001:202307 # 获取该用户2023年7月签到次数
(integer) 2
127.0.0.1:6379> getbit sign:1001:202307 2 # 获取该用户2023年7月2日签到情况
(integer) 1
双向链表实现,列表首尾操作(删除和增加)时间复杂度O(1);查找中间元素时间复杂度为O(n);
列表中数据是否压缩的依据:
1)元素长度小于 48,不压缩;
2)元素压缩前后长度差不超过 8,不压缩;
# 从队列的左侧入队一个或多个元素
LPUSH key value [value ...]
# 从队列的左侧弹出一个元素
LPOP key
# 从队列的右侧入队一个或多个元素
RPUSH key value [value ...]
# 从队列的右侧弹出一个元素
RPOP key
# 获取队列的长度
LLEN key
# 获取队列指定索引上的元素
LINDEX key index
# 返回从队列的 start 和 end 之间的元素
LRANGE key start end
# 设置队列里面一个元素的值
LSET key index value
# 把 value 插入存于 key 的列表中在基准值 pivot 的前面或后面。
LINSERT key BEFORE|AFTER pivot value
# 修剪一个已存在的 list,这样 list 就会只包含指定范围的指定元素。
LTRIM key start stop
# 从存于 key 的列表里移除前 count 次出现的值为 value 的元素。
LREM key count value
# 它是 RPOP 的阻塞版本,因为这个命令会在给定list无法弹出任何元素的时候阻塞连接
BRPOP list timeout # 超时时间 + 延时队列
BLPOP list timeout # 超时时间 + 延时队列
1)实现数据结构
栈(先进后出 FILO)
LPUSH + LPOP
# 或者
RPUSH + RPOP
队列(先进先出 FIFO)
LPUSH + RPOP
# 或者
RPUSH + LPOP
阻塞队列(blocking queue)
LPUSH + BRPOP
# 或者
RPUSH + BLPOP
2)获取固定窗口记录
在某些业务场景下,需要获取固定数量的记录;比如游戏里显示最近50条战绩;这些记录需要按照插入的先后顺序返回。
127.0.0.1:6379> lpush scores game1 game2 game3 game4 game5 game6 game7 game8
(integer) 8
127.0.0.1:6379> ltrim scores 0 5
OK
127.0.0.1:6379> lrange scores 0 -1
1) "game8"
2) "game7"
3) "game6"
4) "game5"
5) "game4"
6) "game3"
实际项目中需要保证命令的原子性,所以一般用 lua 脚本 或者使用 pipeline 命令。
# redis lua脚本
# 将传入的记录值保存在 record 变量中
local record = KEYS[1]
# 使用 LPUSH 命令将 record 的值插入到名为 "scores" 的列表的左侧,即将记录值添加到列表的开头。
redis.call("LPUSH", "scores", record)
# 使用 LTRIM 命令对 "scores" 列表进行修剪(trim),指定保留列表的起始索引为 0,结束索引为 4,即保留列表的前 5 个元素。
redis.call("LTRIM", "scores", 0, 4)
散列表,查询修改 O(1)
# 获取 key 对应 hash 中的 field 对应的值
HGET key field
# 设置 key 对应 hash 中的 field 对应的值
HSET key field value
# 设置多个hash键值对
HMSET key field value [field value ...]
# 获取多个field的值
HMGET key field [field ...]
# 给 key 对应 hash 中的 field 对应的值加一个整数值
HINCRBY key field increment
# 给 key 对应 hash 中的 field 对应的值加一个float类型的值
HINCRBYFLOAT key field increment
# 获取 key 对应的 hash 有多少个键值对
HLEN key
# 返回hash里面field是否存在
HEXISTS key field
# 删除 key 对应的 hash 的键值对,该键为field
HDEL key field
节点数量大于 512(hash-max-ziplist-entries) 或所有字符串长度大于 64(hash-max-ziplist-value),则使用 dict 实现;
节点数量小于等于 512 且有一个字符串长度小于 64,则使用ziplist 实现;
1)存储对象
hash 可以存储需要频繁修改的对象。若为 string 类型首先把获得的字符串 json 反序列化,修改后,再用 json 序列化,操作繁琐。
127.0.0.1:6379> hmset role:1001 name jack sex man age 30
OK
127.0.0.1:6379> hmget role:1001 age
1) "30"
127.0.0.1:6379> hset role:1001 age 40
(integer) 0
127.0.0.1:6379> hmget role:1001 age
1) "40"
而如果是string,一般使用的是json格式
set hash:10001 '{["name"]:"jack",["sex"]:"man",["age"]:30}'
# 假设现在修改 jack的年龄为40岁
# string:
get role:10001
# 将得到的字符串调用json解密,取出字段,修改 age 值
# 再调用json加密
set role:10001 '{["name"]:"jack",["sex"]:"man",["age"]:40}'
2)购物车:hash + list
hash:管理购物车中商品的具体信息
list:管理购物车中的商品,按照添加顺序来显示的
# 将用户id作为 key
# 商品id作为 field,商品数量作为 value
# 商品结构cost作为 field,具体金额作为 value
# 注意:这些物品是按照我们添加顺序来显示的;
# 添加商品:
hset MyCart:10001 40001 1 cost 6000 # 用户id:10001 商品id:40001 数量:1 价格cost:6000
lpush MyItem:10001 40001
# 增加数量:
hincrby MyCart:10001 40001 1
hincrby MyCart:10001 40001 -1 // 减少数量1
# 显示所有物品数量:
hlen MyCart:10001
# 删除商品:
hdel MyCart:10001 40001
lrem MyItem:10001 1 40001
# 获取所有物品:
lrange MyItem:10001
# 40001 40002 40003
hget MyCart:10001 40001
hget MyCart:10001 40002
hget MyCart:10001 40003
集合,用来存储唯一性字段,不要求有序。
# 添加一个或多个指定的member元素到集合的 key中
SADD key member [member ...]
# 计算集合元素个数
SCARD key
# 列出所有的数据
SMEMBERS key
# 返回成员 member 是否是存储的集合 key的成员
SISMEMBER key member
# 随机返回key集合中的一个或者多个元素,不删除这些元素
SRANDMEMBER key [count]
# 从存储在key的集合中移除并返回一个或多个随机元素
SPOP key [count]
# 返回一个集合与给定集合的差集的元素
SDIFF key [key ...]
# 返回指定所有的集合的成员的交集
SINTER key [key ...]
# 返回给定的多个集合的并集中的所有成员
SUNION key [key ...]
元素都为整数且节点数量小于等于 512(set-max-intset-entries),则使用整数数组存储;
元素当中有一个不是整数或者节点数量大于 512,则使用字典存储;
# 添加抽奖用户
127.0.0.1:6379> sadd Award:1 101 102 103 104 105 106 107 108 109 110
(integer) 10
# 查看抽奖用户
127.0.0.1:6379> smembers Award:1
1) "101"
2) "102"
3) "103"
4) "104"
5) "105"
6) "106"
7) "107"
8) "108"
9) "109"
10) "110"
# 抽取多名获奖用户
127.0.0.1:6379> srandmember Award:1 2
1) "109"
2) "105"
# 抽取一等奖1名,二等奖2名,三等奖3名
127.0.0.1:6379> spop Award:1 1
1) "109"
127.0.0.1:6379> spop Award:1 2
1) "102"
2) "106"
127.0.0.1:6379> spop Award:1 3
1) "107"
2) "104"
3) "105"
2)共同关注,推荐好友
127.0.0.1:6379> sadd user:A jack mark rose taylor
(integer) 4
127.0.0.1:6379> sadd user:B tom jack taylor alex
(integer) 4
# 获取共同关注
127.0.0.1:6379> sinter user:A user:B
1) "jack"
2) "taylor"
# 向 B 推荐 A 的好友
127.0.0.1:6379> sdiff user:A user:B
1) "rose"
2) "mark"
# 向 A 推荐 B 的好友
127.0.0.1:6379> sdiff user:B user:A
1) "tom"
2) "alex"
有序集合;它是有序且唯一。zset是实时有序的,zset内部是使用调表实现的。可以用来实现排行榜
# 添加到键为key有序集合(sorted set)里面
# XX: 仅仅更新存在的成员,不添加新成员。
# NX: 不更新存在的成员。只添加新成员。
# CH: 修改返回值为发生变化的成员总数
# INCR: 当ZADD指定这个选项时,成员的操作就等同ZINCRBY命令
ZADD key [NX|XX] [CH] [INCR] score member [score member ...]
# 从键为key有序集合中删除 member 的键值对
ZREM key member [member ...]
# 返回有序集key中,成员member的score值
ZSCORE key member
# 为有序集key的成员member的score值加上增量increment
ZINCRBY key increment member
# 返回key的有序集元素个数
ZCARD key
# 返回有序集key中成员member的排名。按score值从小到大排列
ZRANK key member
# 返回有序集key中成员member的排名。按score值从大到小排列
ZREVRANK key member
# 返回存储在有序集合key中的指定范围的元素(升序)
ZRANGE key start stop [WITHSCORES]
# 返回存储在有序集合key中的指定范围的元素(逆序)
ZREVRANGE key start stop [WITHSCORES]
# 返回有序集key中,score值在min和max之间(默认包括score值等于min或max)的成员。
ZCOUNT key min max
# 移除有序集key中,指定排名(rank)区间内的所有成员。
ZREMRANGEBYRANK key start stop
# 移除有序集key中,所有score值介于min和max之间(包括等于min或max)的成员。
ZREMRANGEBYSCORE key min max
节点数量大于 128 或者有一个字符串长度大于 64,则使用跳表(skiplist);
节点数量小于等于 128(zset-max-ziplist-entries)且所有字符串长度小于等于 64(zset-max-ziplist-value),则使用ziplist 存储;
1)热搜排行榜
# 点击量 + 热搜id
127.0.0.1:6379> zadd hot:20230719 0 1001 0 1002 0 1003 0 1004 0 1005
(integer) 5
# 点击热搜
127.0.0.1:6379> zincrby hot:20230719 1 1001
"1"
127.0.0.1:6379> zincrby hot:20230719 1 1002
"1"
127.0.0.1:6379> zincrby hot:20230719 1 1003
"1"
127.0.0.1:6379> zincrby hot:20230719 1 1004
"1"
127.0.0.1:6379> zincrby hot:20230719 1 1005
"1"
# 获取热搜排行榜
127.0.0.1:6379> zrevrange hot:20230719 0 -1 withscores
1) "1005"
2) "1"
3) "1004"
4) "1"
5) "1003"
6) "1"
7) "1002"
8) "1"
9) "1001"
10) "1"
2)延时队列
将消息序列化成一个字符串作为 zset 的 member;这个消息的到期处理时间作为 score,然后用多个线程轮询 zset 获取到期的任务进行处理。
// 添加延时消息
def delay(msg):
msg.id = str(uuid.uuid4()) // 保证 member 唯一
value = json.dumps(msg)
retry_ts = time.time() + 5 // 当前时间 + 5s后重试
redis.zadd("delay-queue", retry_ts, value)
def loop():
while True:
// 获取到期的消息
values = redis.zrangebyscore("delay-queue", 0, time.time(), start=0, num=1)
if not values:
time.sleep(1)
continue
value = values[0]
// 从延时队列中移除过期消息,并执行
success = redis.zrem("delay-queue", value)
if success:
msg = json.loads(value)
handle_msg(msg)
/*
缺点:loop 是多线程竞争,每个线程都从zrangebyscore获取到数据,只有一个能 zrem 成功。
优化:为了避免多余的操作,可以使用lua脚本原子执行这两个命令。
*/
3)分布式定时器
生产者将定时任务 hash 到不同的 redis 实体中,为每一个redis 实体分配一个 dispatcher 进程,用来定时获取 redis 中超时事件并发布到不同的消费者中
4)时间窗口限流
在 Redis 中,可以使用 EXPIRE 命令为指定的键设置过期时间。一旦过期时间到达,Redis 将自动删除该键。
EXPIRE key seconds
假设我们有一个键名为 “mykey” 的键,现在我们想要给它设置一个过期时间为 60 秒
> SET mykey "Hello, world!"
OK
> EXPIRE mykey 60
(integer) 1
系统限定用户的某个行为在指定的时间范围内(动态)只能发生 N 次。通过时间窗口限流实现
// 指定用户 user_id 的某个行为 action 在特定时间内period 允许发生 max_count 次
// 维护一次时间窗口,将窗口外的记录全部清理掉,只保留窗口内的记录
local function is_action_allowed(red, userid,action, eriod, max_count)
local key = tab_concat({"hist", userid,action}, ":")
local now = zv.time()
red:init_pipeline()
// 记录行为
red:zadd(key, now, now)
// 移除时间窗口之前的行为记录,剩下的都是时间窗口内的记录
red:zremrangebyscore(key, 0, now - period*100)
// 获取时间窗口内的行为数量
red:zcard(key)
// 设置过期时间,避免冷用户持续占用内存 时间窗口的长度+1秒
red:expire(key, period + 1)
// 提交
local res = red:commit_pipeline()
// 不超过次数返回 ture,超过返回 false
return res[3] <= max_count
end
维护一次时间窗口,将窗口外的记录全部清理掉,只保留窗口内的记录;
缺点:记录了所有时间窗口内的数据,如果这个量很大,不适合做这样的限流;漏斗限流。
注意:如果用 key + expire 操作也能实现,但是实现的是熔断限流,这里是时间窗口限流的功能;
漏斗限流算法基于一个类似漏斗的数据结构,来控制请求的流量。
熔断限流是一种机制,用于在系统达到一定阈值时快速停止对其的请求。