一、什么是幂等?
看一下维基百科怎么说的:
幂等性:多次调用方法或者接口不会改变业务状态,可以保证重复调用的结果和单次调用的结果一致。
二、使用幂等的场景
1、前端重复提交
用户注册,用户创建商品等操作,前端都会提交一些数据给后台服务,后台需要根据用户提交的数据在数据库中创建记录。如果用户不小心多点了几次,后端收到了好几次提交,这时就会在数据库中重复创建了多条记录。这就是接口没有幂等性带来的 bug。
2、接口超时重试
对于给第三方调用的接口,有可能会因为网络原因而调用失败,这时,一般在设计的时候会对接口调用加上失败重试的机制。如果第一次调用已经执行了一半时,发生了网络异常。这时再次调用时就会因为脏数据的存在而出现调用异常。
3、消息重复消费
在使用消息中间件来处理消息队列,且手动 ack 确认消息被正常消费时。如果消费者突然断开连接,那么已经执行了一半的消息会重新放回队列。
当消息被其他消费者重新消费时,如果没有幂等性,就会导致消息重复消费时结果异常,如数据库重复数据,数据库数据冲突,资源重复等。
三、解决方案
1、token 机制实现
通过token 机制实现接口的幂等性,这是一种比较通用性的实现方法。
示意图如下:
具体流程步骤:
- 客户端会先发送一个请求去获取 token,服务端会生成一个全局唯一的 ID 作为 token 保存在 redis 中,同时把这个 ID 返回给客户端
- 客户端第二次调用业务请求的时候必须携带这个 token
- 服务端会校验这个 token,如果校验成功,则执行业务,并删除 redis 中的 token
- 如果校验失败,说明 redis 中已经没有对应的 token,则表示重复操作,直接返回指定的结果给客户端
注意:
- 对 redis 中是否存在 token 以及删除的代码逻辑建议用 Lua 脚本实现,保证原子性
- 全局唯一 ID 可以用百度的 uid-generator、美团的 Leaf 去生成
2、基于 mysql 实现
这种实现方式是利用 mysql 唯一索引的特性。
示意图如下:
具体流程步骤:
- 建立一张去重表,其中某个字段需要建立唯一索引
- 客户端去请求服务端,服务端会将这次请求的一些信息插入这张去重表中
- 因为表中某个字段带有唯一索引,如果插入成功,证明表中没有这次请求的信息,则执行后续的业务逻辑
- 如果插入失败,则代表已经执行过当前请求,直接返回
3、基于 redis 实现
这种实现方式是基于 SETNX 命令实现的
SETNX key value:将 key 的值设为 value ,当且仅当 key 不存在。若给定的 key 已经存在,则 SETNX 不做任何动作。
该命令在设置成功时返回 1,设置失败时返回 0。
示意图如下:
具体流程步骤:
- 客户端先请求服务端,会拿到一个能代表这次请求业务的唯一字段
- 将该字段以 SETNX 的方式存入 redis 中,并根据业务设置相应的超时时间
- 如果设置成功,证明这是第一次请求,则执行后续的业务逻辑
- 如果设置失败,则代表已经执行过当前请求,直接返回
开源实现
idempotent 幂等处理方案
1.原理
1.请求开始前,根据key查询 查到结果:报错 未查到结果:存入key-value-expireTime key=ip+url+args
2.请求结束后,直接删除key 不管key是否存在,直接删除 是否删除,可配置
3.expireTime过期时间,防止一个请求卡死,会一直阻塞,超过过期时间,自动删除 过期时间要大于业务执行时间,需要大概评估下;
4.此方案直接切的是接口请求层面。
5.过期时间需要大于业务执行时间,否则业务请求1进来还在执行中,前端未做遮罩,或者用户跳转页面后再回来做重复请求2,在业务层面上看,结果依旧是不符合预期的。
6.建议delKey = false。即使业务执行完,也不删除key,强制锁expireTime的时间。预防5的情况发生。
7.实现思路:同一个请求ip和接口,相同参数的请求,在expireTime内多次请求,只允许成功一次。
8.页面做遮罩,数据库层面的唯一索引,先查询再添加,等处理方式应该都处理下。
9.此注解只用于幂等,不用于锁,100个并发这种压测,会出现问题,在这种场景下也没有意义,实际中用户也不会出现1s或者3s内手动发送了50个或者100个重复请求,或者弱网下有100个重复请求;
2.使用
-
- 引入依赖
com.pig4cloud.plugin
idempotent-spring-boot-starter
0.0.3
-
- 配置 redis 链接相关信息
spring:
redis:
host: 127.0.0.1
port: 6379
理论是支持 redisson-spring-boot-starter 全部配置
-
- 接口设置注解
@Idempotent(key = "#demo.username", expireTime = 3, info = "请勿重复查询")
@GetMapping("/test")
public String test(Demo demo) {
return "success";
}
注解 配置详细说明
-
- 幂等操作的唯一标识,使用spring el表达式 用#来引用方法参数 。 可为空则取 当前 url + args 做表示
String key();
-
- 有效期 默认:1 有效期要大于程序执行时间,否则请求还是可能会进来
int expireTime() default 1;
-
- 时间单位 默认:s (秒)
TimeUnit timeUnit() default TimeUnit.SECONDS;
-
- 幂等失败提示信息,可自定义
String info() default "重复请求,请稍后重试";
-
- 是否在业务完成后删除key true:删除 false:不删除
boolean delKey() default false;
总结
这几种实现幂等的方式其实都是大同小异的,类似的还有使用状态机、悲观锁、乐观锁的方式来实现,都是比较简单的。