5.Redis-事务和删除策略及服务器配置

事务和删除策略及服务器配置

  • 事务
    • 事务简介
      • 什么是事务
        • Redis执行指令过程中,多条连续执行的指令被干扰,打断,插队
    • 事务基本操作
      • 事务的工作流程
      • 事务的注意事项
      • 手动进行事务回滚
      • 基于特定条件的事务执行
        • 业务场景(补货问题)
        • 业务分析
      • 基于特定条件的事务执行——锁
        • 解决方案
        • 业务场景(抢购超卖问题)
          • 业务分析
      • 基于特定条件的事务执行——分布式锁
        • 解决方案
        • 业务场景(宕机未解锁)
          • 业务分析
      • 基于特定条件的事务执行——分布式锁改良
        • 解决方案
  • Redis 删除策略
    • 过期数据
      • Redis中的数据特征
    • 数据删除策略
      • 时效性数据的存储结构
      • 数据删除策略的目标
      • 定时删除
      • 惰性删除
      • 定期删除
      • 删除策略比对
    • 逐出算法
      • 新数据进入检测
      • 影响数据逐出的相关配置
      • 影响数据逐出的相关配置
      • 数据逐出策略配置依据
  • Redis 核心配置
    • 服务器基础配置
      • 服务器端设定
      • 日志配置
      • 客户端配置
      • 多服务器快捷配置
      • 配置

事务

事务简介

什么是事务

Redis执行指令过程中,多条连续执行的指令被干扰,打断,插队


  redis事务就是一个命令执行的队列,将一系列预定义命令包装成一个整体(一个队列)。当执行时,一次性按照添加顺序依次执行,中间不会被打断或者干扰。

  一个队列中,一次性、顺序性、排他性的执行一系列命令

事务基本操作

开启事务

multi

作用

  • 设定事务的开启位置,此指令执行后,后续的所有指令均加入到事务中

执行事务

exec

作用

  • 设定事务的结束位置,同时执行事务。与multi成对出现,成对使用

  注意:加入事务的命令暂时进入到任务队列中,并没有立即执行,只有执行exec命令才开始执行

事务定义过程中发现出了问题,怎么办?
取消事务

discard

作用

  • 终止当前事务的定义,发生在multi之后,exec之前

事务的工作流程

5.Redis-事务和删除策略及服务器配置_第1张图片

事务的注意事项

定义事务的过程中,命令格式输入错误怎么办?

语法错误

  • 指命令书写格式有误

处理结果

  • 如果定义的事务中所包含的命令存在语法错误,整体事务中所有命令均不会执行。包括那些语法正确的命令。

定义事务的过程中,命令执行出现错误怎么办?

运行错误

  • 指命令格式正确,但是无法正确的执行。例如对list进行incr操作

处理结果

  • 能够正确运行的命令会执行,运行错误的命令不会被执行

  注意:已经执行完毕的命令对应的数据不会自动回滚,需要程序员自己在代码中实现回滚。

手动进行事务回滚

记录操作过程中被影响的数据之前的状态

  • 单数据:string
  • 多数据:hash、list、set、zset

设置指令恢复所有的被修改的项

  • 单数据:直接set(注意周边属性,例如时效)
  • 多数据:修改对应值或整体克隆复制

基于特定条件的事务执行

业务场景(补货问题)

  天猫双11热卖过程中,对已经售罄的货物追加补货,4个业务员都有权限进行补货。补货的操作可能是一系列的操作,牵扯到多个连续操作,如何保障不会重复操作?

业务分析

  • 多个客户端有可能同时操作同一组数据,并且该数据一旦被操作修改后,将不适用于继续操作
  • 在操作之前锁定要操作的数据,一旦发生变化,终止当前操作

基于特定条件的事务执行——锁

解决方案

对 key 添加监视锁,在执行exec前如果key发生了变化,终止事务执行

watch key1 [key2……]

取消对所有 key 的监视

unwatch

Tips 18:

  • redis 应用基于状态控制的批量任务执行

业务场景(抢购超卖问题)

  天猫双11热卖过程中,对已经售罄的货物追加补货,且补货完成。客户购买热情高涨,3秒内将所有商品购买完毕。本次补货已经将库存全部清空,如何避免最后一件商品不被多人同时购买?【超卖问题

业务分析
  • 使用watch监控一个key有没有改变已经不能解决问题,此处要监控的是具体数据(如果有多的商品一个人买到,其他人同时抢购富足的商品也会被拒绝操作
  • 虽然redis是单线程的,但是多个客户端对同一数据同时进行操作时,如何避免不被同时修改?

基于特定条件的事务执行——分布式锁

解决方案

使用 setnx 设置一个公共锁

setnx lock-(key value)
例:
set num 10
setnx lock-num 1

利用setnx命令的返回值特征,有值则返回设置失败,无值则返回设置成功

  • 对于返回设置成功的,拥有控制权,进行下一步的具体业务操作
  • 对于返回设置失败的,不具有控制权,排队或等待

操作完毕通过del操作释放锁

del lock-key

注意:上述解决方案是一种设计概念,依赖规范保障,具有风险性

Tips 19:

  • redis 应用基于分布式锁对应的场景控制

业务场景(宕机未解锁)

  依赖分布式锁的机制,某个用户操作时对应客户端宕机,且此时已经获取到锁。如何解决?

业务分析
  • 由于锁操作由用户控制加锁解锁,必定会存在加锁后未解锁的风险
  • 需要解锁操作不能仅依赖用户控制,系统级别要给出对应的保底处理方案

基于特定条件的事务执行——分布式锁改良

解决方案

使用 expire 为锁key添加时间限定,到时不释放,放弃锁

expire lock-key second
pexpire lock-key milliseconds

  由于操作通常都是微秒或毫秒级,因此该锁定时间不宜设置过大。具体时间需要业务测试后确认。

  • 例如:持有锁的操作最长执行时间127ms,最短执行时间7ms。
  • 测试百万次最长执行时间对应命令的最大耗时,测试百万次网络延迟平均耗时
  • 锁时间设定推荐:最大耗时120%+平均网络延迟110%
  • 如果业务最大耗时<<网络平均延迟,通常为2个数量级,取其中单个耗时较长即可

Redis 删除策略

过期数据

Redis中的数据特征

Redis是一种内存级数据库,所有数据均存放在内存中,内存中的数据可以通过TTL指令获取其状态

  • XX :具有时效性的数据
  • -1 :永久有效的数据
  • -2 :已经过期的数据 或 被删除的数据 或 未定义的数据

过期的数据真的删除了吗?
5.Redis-事务和删除策略及服务器配置_第2张图片
  内存并不紧张时不会删除过期数据。

数据删除策略

  1. 定时删除
  2. 惰性删除
  3. 定期删除

时效性数据的存储结构

5.Redis-事务和删除策略及服务器配置_第3张图片

数据删除策略的目标

  在内存占用与CPU占用之间寻找一种平衡,顾此失彼都会造成整体redis性能的下降,甚至引发服务器宕机或内存泄露

定时删除

  创建一个定时器,当key设置有过期时间,且过期时间到达时,由定时器任务立即执行对键的删除操作
5.Redis-事务和删除策略及服务器配置_第4张图片
  优点:节约内存,到时就删除,快速释放掉不必要的内存占用

  缺点:CPU压力很大,无论CPU此时负载量多高,均占用CPU,会影响redis服务器响应时间和指令吞吐量

  总结:用处理器性能换取存储空间 (拿时间换空间)

惰性删除

数据到达过期时间,不做处理。等下次访问该数据时

  • 如果未过期,返回数据
  • 发现已过期,删除,返回不存在

5.Redis-事务和删除策略及服务器配置_第5张图片
  优点:节约CPU性能,发现必须删除的时候才删除
  缺点:内存压力很大,出现长期占用内存的数据

  总结:用存储空间换取处理器性能(拿空间换时间)

定期删除

两种方案都走极端,有没有折中方案?

5.Redis-事务和删除策略及服务器配置_第6张图片
  周期性轮询redis库中的时效性数据,采用随机抽取的策略,利用过期数据占比的方式控制删除频度

  特点1:CPU性能占用设置有峰值,检测频度可自定义设置
  特点2:内存压力不是很大,长期占用内存的冷数据会被持续清理

  总结:周期性抽查存储空间(随机抽查,重点抽查)

删除策略比对

逐出算法

新数据进入检测

加粗样式当新数据进入redis时,如果内存不足怎么办?

  Redis使用内存存储数据,在执行每一个命令前,会调用freeMemoryIfNeeded()(空余空间是否徐满足需求)检测内存是否充足。如果内存不满足新加入数据的最低存储要求,redis 要临时删除一些数据为当前指令清理存储空间。清理数据的策略称为逐出算法(淘汰算法)。

  注意:逐出数据的过程不是100%能够清理出足够的可使用的内存空间,如果不成功则反复执行。当对所有数据尝试完毕后,如果不能达到内存清理的要求,将出现错误信息。

影响数据逐出的相关配置

最大可使用内存

maxmemory

  占用物理内存的比例,默认值为0,表示不限制。生产环境中根据需求设定,通常设置在50%以上

每次选取待删除数据的个数

maxmemory-samples

  选取数据时并不会全库扫描,导致严重的性能消耗,降低读写性能。因此采用随机获取数据的方式作为待检测删除数据

删除策略

maxmemory-policy

  达到最大内存后的,对被挑选出来的数据进行删除的策略

影响数据逐出的相关配置

检测易失数据(可能会过期的数据集server.db[i].expires )

  • ① volatile-lru:挑选最近最少使用的数据淘汰(Least Recently Used)
  • ② volatile-lfu:挑选最近使用次数最少的数据淘汰(Least Frequently Used)
  • ③ volatile-ttl:挑选将要过期的数据淘汰
  • ④ volatile-random:任意选择数据淘汰

检测全库数据(所有数据集server.db[i].dict )

  • ⑤ allkeys-lru:挑选最近最少使用的数据淘汰
  • ⑥ allkeys-lfu:挑选最近使用次数最少的数据淘汰
  • ⑦ allkeys-random:任意选择数据淘汰

放弃数据驱逐

  • ⑧ no-enviction(驱逐):禁止驱逐数据(redis4.0中默认策略),会引发错误OOM(Out Of Memory)
maxmemory-policy volatile-lru//一般配置(常用)

数据逐出策略配置依据

  使用INFO命令输出监控信息,查询缓存 hit 和 miss 的次数,根据业务需求调优Redis配置

Redis 核心配置

服务器基础配置

服务器端设定

//设置服务器以守护进程的方式运行
daemonize yes|no
//绑定主机地址
bind 127.0.0.1
// 设置服务器端口号
port 6379
//设置数据库数量
databases 16

日志配置

设置服务器以指定日志记录级别

loglevel debug|verbose|notice|warning

日志记录文件名

logfile 端口号.log

  注意:日志级别开发期设置为 verbose 或 debug即可,生产环境中配置为notice,简化日志输出量,降低写日志IO的频度

客户端配置

  设置同一时间最大客户端连接数,默认无限制。当客户端连接到达上限,Redis会关闭新的连接

maxclients 0

客户端闲置等待最大时长,达到最大值后关闭连接。如需关闭该功能,设置为 0

timeout 300

多服务器快捷配置

  导入并加载指定配置文件信息,用于快速创建redis公共配置较多的redis实例配置文件,便于维护

include /path/server-端口号.conf

配置

port 6379 #端口号
daemonize yes #启用守护线程
logfile "6379.log" #日志文件的名称
dir /home/zyj/redis/redis-5.0.5/date #设置持久化数据保存的位置
dbfilename dump-6379.rdb #设置RDB的文件名
save 10 2 #当 10 秒内,2个数据发生哪个变化就进行保存
appendonly yes #开启AOF
appendfsync everysec #每秒将缓冲区中的指令同步到AOF文件中(默认配置)
appendfilename appendonly-6379.aof #aof文件名 建议 appendonly-端口号.aof
port 6379
daemonize yes
logfile "6379.log"
dir /home/zyj/redis/redis-5.0.5/date
dbfilename dump-6379.rdb
save 10 2
appendonly yes
appendfsync everysec
appendfilename appendonly-6379.aof

你可能感兴趣的:(Redis)