MQ消息丢失和消息重复的解决方案和实战

场景

假设支付宝转账1000元到余额宝, 通过RabbitMQ对转账过程进行解耦,

支付宝将转账的消息投递到RabbitMQ, 余额宝通过监听RibbitMQ的消息队列获得消息, 然后通过应答队列告诉支付宝消息已经消费

遇到的问题

1. 当余额宝获取到消息之后, 可能转账失败, 消息队列不会关心余额宝是否操作成功, 这就是消息丢失的问题

2. 如果余额宝成功转账, 但响应队列迟迟没有将消费成功的消息告诉支付宝, 导致支付宝重复发送消息, 这就是消息重复发送的问题.

解决方案

1. 第一种是引入ZK, 顺序消费

2. 本地消息表

在支付宝端和余额宝端同时建立消息表

1. 当在支付宝端扣款成功的同时, 在消息表中建立一条记录, 状态标识为unconfirm, 将消息投递到消息队列

2. 余额宝从消息队列中获取消息后, 在余额宝中扣款成功后, 同时在消息表中建立一条消息, 状态标识为confirmed.

3. 余额宝将响应消息投递到响应队列, 支付宝获得响应后, 查询余额宝的消息表, 如果其中没有消费记录, 则插入新的消息。如果查询有消费的消息, 就停止插入, 并返回已经消费的消息。这样可以避免消息重复消费的问题。

4. 支付宝端会有一个定时任务, 相隔一段时间就从消息表中将unconfirm的消息拉取并重新发送, 这样可以避免消息丢失的问题

代码

数据库脚本

DROP DATABASE IF EXISTS `rabbit_taobao_consumer`;
CREATE DATABASE IF NOT EXISTS `rabbit_taobao_consumer` /*!40100 DEFAULT CHARACTER SET utf8mb4 */;
USE `rabbit_taobao_consumer`;



DROP TABLE IF EXISTS `tb_account`;
CREATE TABLE IF NOT EXISTS `tb_account` (
  `user_id` varchar(10) NOT NULL,
  `amount` int(11) NOT NULL,
  `update_time` datetime NOT NULL,
  PRIMARY KEY (`user_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;


INSERT INTO `tb_account` (`user_id`, `amount`, `update_time`) VALUES
	('SAM0000001', 0, '2019-09-22 14:30:49'),
	('SAM0000002', 0, '2019-09-22 14:02:59'),
	('SAM0000003', 0, '2019-09-22 14:03:09');

DROP TABLE IF EXISTS `tb_message`;
CREATE TABLE IF NOT EXISTS `tb_message` (
  `message_id` varchar(100) NOT NULL,
  `user_id` varchar(10) NOT NULL,
  `amount` int(11) NOT NULL,
  `state` varchar(10) NOT NULL,
  `update_time` datetime NOT NULL,
  PRIMARY KEY (`message_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;


DROP DATABASE IF EXISTS `rabbit_taobao_provider`;
CREATE DATABASE IF NOT EXISTS `rabbit_taobao_provider` /*!40100 DEFAULT CHARACTER SET utf8mb4 */;
USE `rabbit_taobao_provider`;


DROP TABLE IF EXISTS `tb_account`;
CREATE TABLE IF NOT EXISTS `tb_account` (
  `user_id` varchar(10) NOT NULL,
  `amount` int(11) NOT NULL,
  `update_time` datetime NOT NULL,
  PRIMARY KEY (`user_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;


INSERT INTO `tb_account` (`user_id`, `amount`, `update_time`) VALUES
	('SAM0000001', 64000, '2019-09-22 14:30:48'),
	('SAM0000002', 80000, '2019-09-21 18:10:44'),
	('SAM0000003', 70000, '2019-09-21 18:10:57');


DROP TABLE IF EXISTS `tb_message`;
CREATE TABLE IF NOT EXISTS `tb_message` (
  `message_id` varchar(100) NOT NULL,
  `user_id` varchar(10) NOT NULL,
  `amount` int(11) NOT NULL,
  `state` varchar(10) NOT NULL,
  `update_time` datetime NOT NULL,
  PRIMARY KEY (`message_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

建立alipay-server工程, 下面是pom.xml

   4.0.0
   
      org.springframework.boot
      spring-boot-starter-parent
      2.1.8.RELEASE
       
   
   com.teddy
   alipay-server
   0.0.1-SNAPSHOT
   alipay-server
   Demo project for Spring Boot

   
      1.8
   

   
      
         org.springframework.boot
         spring-boot-starter-amqp
      

      
         org.springframework.boot
         spring-boot-starter-web
         
      

      
         com.alibaba
         druid-spring-boot-starter
         1.1.10
      
      
         tk.mybatis
         mapper-spring-boot-starter
         2.0.2
      
      
         mysql
         mysql-connector-java
         runtime
      

      
         org.springframework.boot
         spring-boot-starter-test
         test
      
      
         org.springframework.amqp
         spring-rabbit-test
         test
      

        
            com.alibaba
            fastjson
            1.2.28
        
        
            org.springframework.boot
            spring-boot-starter-web
        
    

   
      
         
            org.springframework.boot
            spring-boot-maven-plugin
         
      
   

支付宝端的Dao文件

package com.teddy.alipayserver.dao;

import com.teddy.alipayserver.bean.Account;
import org.apache.ibatis.annotations.Insert;
import org.apache.ibatis.annotations.Update;

public interface AccountMapper {
    @Update("update tb_account set amount=amount-#{amount}, update_time=now() where user_id=#{userId}")
    int updateAccount(Account account);
    @Insert("insert tb_account(user_id, amount, update_time) values(#{userId}, #{amount}, now())")
    int addAccount(Account account);
}

package com.teddy.alipayserver.dao;

import com.teddy.alipayserver.bean.Message;
import org.apache.ibatis.annotations.Select;
import org.apache.ibatis.annotations.Update;
import org.apache.ibatis.annotations.Insert;

import java.util.List;

public interface MessageMapper {
    @Update("update tb_message set state=#{state} where message_id=#{message_id}")
    int updateMessage(Message message);

    @Insert("insert into tb_message(user_id, message_id, amount, state, update_time) values (#{user_id}, #{message_id}, #{amount}, 'unconfirm', now())")
    int addMessage(Message message);

    @Select("select * from tb_message where state=#{state}")
    List queryMessageByState(String state);
}

service接口

package com.teddy.alipayserver.service;

public interface AlipayService {
    //修改支付宝账户余额的接口
    public void updateAmount(int amount, String userId);
    //回调接口 修改本地消息表消息的状态
    public void updateMessage(String param);
}

service接口实现

package com.teddy.alipayserver.service.impl;

import com.alibaba.fastjson.JSONObject;
import com.teddy.alipayserver.bean.Account;
import com.teddy.alipayserver.bean.Message;
import com.teddy.alipayserver.config.RabbitmqSender;
import com.teddy.alipayserver.dao.AccountMapper;
import com.teddy.alipayserver.dao.MessageMapper;
import com.teddy.alipayserver.service.AlipayService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import org.springframework.transaction.TransactionStatus;
import org.springframework.transaction.support.TransactionCallback;
import org.springframework.transaction.support.TransactionTemplate;

import java.util.Random;
@Service
public class AlipayServiceImpl implements AlipayService{
    @Autowired
    TransactionTemplate transactionTemplate;
    @Autowired
    AccountMapper accountMapper;
    @Autowired
    MessageMapper messageMapper;
    @Autowired
    RabbitmqSender rabbitmqSender;

    private static String SUCCESS="OK";

    /**
     * 1. 修改支付宝账户余额信息
     * 2. 插入本地消息表
     * 3. 往mq中插入消息, 供余额宝业务消息
     * @param amount
     * @param userId
     */
    @Override
    public void updateAmount(int amount, String userId) {
        String messageId=(String)transactionTemplate.execute(new TransactionCallback