分布式事务讲解 -消息队列+本地事件表

要实现分布式事务，除了之前讲过的两种LCN和Seata框架，还有通过自己实现的分布式事务方案，这一篇讲的【消息队列+本地事件表】方案，适用于数据量不大的情况，遇到那种【业务逻辑比较简单，数据量较小的情况】就可以使用，当然LCN和Seata框架还是首选的，毕竟的确简化了开发。

分布式事务系列博客：

【分布式事务讲解 - 2PC、3PC】
【分布式事务讲解 - TX-LNC分布式事务框架（含LCN、TCC、TXC三种模式）】
【分布式事务讲解 - Seata分布式事务框架（AT、TCC两种模式）】

方案原理

见名知意，【消息队列+本地事件表】方案就是消息队列搭配上本地事件表实现的分布式事务，这个方案中有三部分：

1. 消息队列
2. 生产者（提供接口的系统）
3. 消费者（调用生产者接口的系统）

工作流程

流程我就不用文字赘述了，上图也有序号，大家按照顺序理解就好。

有两点需要注意的：

1. 在2-1，2-2，2-3，这个顺序大家要注意，这个在开发中是一个小技巧，在本地操作和访问其他系统操作都有的方法中，先执行本地操作，再执行对其他系统的访问工作，这样会解决发送成功，但是发送成功后的操作失败的情况。比如，上述流程先执行2-1，再执行2-3，再执行2-2，那如果2-3执行成功（消息发送成功），但是2-2操作更新数据库失败，2-2可以回滚，但是2-3呢？消息已经发出去了，收不回来了，所以，才会使用截图上的执行顺序。
2. 截图的序号1，可以在插入本地事件表的同时直接发送数据至消息队列，这样能减轻定时任务的压力，这个时候插入本地事务表的状态就直接是【已发送】了。

前置知识

死信队列

当消息队列的消息默认消费失败后如果再被消费6次，都没有给消息队列返回成功信息的话，就会被扔到死信队列，可以监听死信队列，发送告警消息，最后通过人工做消息处理失败的补偿操作。

实战讲解

数据库表创建

CREATE DATABASE service-order;
CREATE DATABASE service-pay;

CREATE TABLE `tbl_order_event` (
  `id` int(16) NOT NULL AUTO_INCREMENT,
  `order_type` varchar(200) DEFAULT NULL,
  `process` varchar(200) DEFAULT NULL,
  `content` varchar(200) DEFAULT NULL,
  `create_time` datetime DEFAULT NULL,
  `update_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE `tbl_pay_event` (
  `id` int(16) NOT NULL AUTO_INCREMENT,
  `order_type` varchar(200) DEFAULT NULL,
  `process` varchar(200) DEFAULT NULL,
  `content` varchar(200) DEFAULT NULL,
  `create_time` datetime DEFAULT NULL,
  `update_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

配置activeMQ

下面的源码中我会提供给大家activeMQ，接下来配置死信队列。

打开路径：

修改activemq.xml内容，配置死信队列DLQ

启动activeMQ

打开登录管理器

访问网址

http://localhost:8161/

输入账号密码：admin/admin
进入网页：


可以看到两个队列，一个是【普通队列】，一个是【死信队列】。

点击将其删除即可。

创建生产者工程（service-order）

引入依赖

<dependency>
    <groupId>org.projectlombokgroupId>
    <artifactId>lombokartifactId>
    <optional>trueoptional>
dependency>


<dependency>
    <groupId>org.springframework.bootgroupId>
    <artifactId>spring-boot-starter-activemqartifactId>
dependency>


<dependency>
    <groupId>org.apache.activemqgroupId>
    <artifactId>activemq-poolartifactId>
dependency>

<dependency>
    <groupId>org.springframework.bootgroupId>
    <artifactId>spring-boot-starter-webartifactId>
dependency>


<dependency>
    <groupId>org.mybatis.spring.bootgroupId>
    <artifactId>mybatis-spring-boot-starterartifactId>
    <version>2.0.0version>
dependency>


<dependency>
    <groupId>mysqlgroupId>
    <artifactId>mysql-connector-javaartifactId>
dependency>


<dependency>
    <groupId>com.alibabagroupId>
    <artifactId>druidartifactId>
    <version>1.1.12version>
dependency>


<dependency>
    <groupId>net.sf.json-libgroupId>
    <artifactId>json-libartifactId>
    <version>2.4version>
    <classifier>jdk15classifier>
dependency>

修改配置文件application.yml信息

server:
  port: 5001
#应用名称及验证账号
spring:
  application:
    name: service-order
  activemq:
    broker-url: tcp://127.0.0.1:61616
    user: admin
    password: admin
    pool:
      enabled: true
      max-connections: 100

  datasource:
    type: com.alibaba.druid.pool.DruidDataSource
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://localhost:3306/service-order?characterEncoding=UTF-8&serverTimezone=Asia/Shanghai
    username: root
    password: wk3515134
    dbcp2:
      initial-size: 5
      min-idle: 5
      max-total: 5
      max-wait-millis: 200
      validation-query: SELECT 1
      test-while-idle: true
      test-on-borrow: false
      test-on-return: false

mybatis:
  mapper-locations:
  - classpath:mapper/*.xml

对于上述配置的activeMQ端口，是来源于第一步配置死信队列的文件：

我们只需要通信即可，第一个链接中的端口61616就是通信端口，在yml中配置。

添加activeMQ配置类（ActiveMQConfig）

// 配置消息发送端
@Configuration
public class ActiveMQConfig {
    @Value("${spring.activemq.broker-url}")
    private String brokerUrl;
    // 创建队列，用于使用JMS发送消息
    @Bean
    public Queue queue() {
        return new ActiveMQQueue("ActiveMQQueue");
    }
    // 作为消息的发起方，创建一个消息队列连接工厂，供消费者连接和监听
    @Bean
    public ActiveMQConnectionFactory connectionFactory(){
        return new ActiveMQConnectionFactory(brokerUrl);
    }
}

添加定时任务类

@Component
public class ProduceTask {
    @Autowired
    private TblOrderEventDao tblOrderEventDao;
    @Autowired
    private Queue queue;
    @Autowired
    JmsMessagingTemplate jmsMessagingTemplate;
	// 创建每5秒执行的定时任务
    @Scheduled(cron="0/5 * * * * ?")
    @Transactional(rollbackFor = Exception.class)
    public void task(){
    	// 取到数据库本地事务表状态为【新建】的数据
        List<TblOrderEvent> tblOrderEventList = tblOrderEventDao.selectByOrderType("0");
        for (int i = 0; i < tblOrderEventList.size(); i++) {
            TblOrderEvent event = tblOrderEventList.get(i);
            // 更改这条数据的状态为【已发送】
            tblOrderEventDao.updateEvent(event.getOrderType());
            System.out.println("修改数据库完成");
			// 使用jmsMessagingTemplate发送信息至消息队列
            jmsMessagingTemplate.convertAndSend(	
            	queue,
            	JSONObject.fromObject(event).toString()
            );
        }
    }
}

启动类添加注解

@SpringBootApplication
@EnableJms // 支持消息传递的注解
@EnableScheduling   // 支持定时任务的注解
public class ServiceOrderApplication {
    public static void main(String[] args) {
        SpringApplication.run(ServiceOrderApplication.class, args);
    }
}

创建消费者工程（service-pay）

引入依赖

与service-order工程相同。

修改配置文件application.yml信息

除去端口号和连接数据库的连接串不同，其他与service-order信息相同。

添加activeMQ配置类（ActiveMQConfig ）

// 配置消息消费端
@Configuration
public class ActiveMQConfig {
    @Value("${spring.activemq.broker-url}")
    private String brokerUrl;
    @Value("${spring.activemq.user}")
    private String user;
    @Value("${spring.activemq.password}")
    private String password;

    /**
     * 作为消费方，根据activeMQ地址连接MQ工厂并设置重发机制
     * @param redeliveryPolicy
     * @return
     */
    @Bean
    public ActiveMQConnectionFactory connectionFactory
    (RedeliveryPolicy redeliveryPolicy){
        ActiveMQConnectionFactory activeMQConnectionFactory = 
        new ActiveMQConnectionFactory(user,password,brokerUrl);
        activeMQConnectionFactory.setRedeliveryPolicy(redeliveryPolicy);
        return activeMQConnectionFactory;
    }
    /**
     * 如果一个消息消费失败了，MQ工厂重发消息供消费者消费
     * @return
     */
    @Bean
    public RedeliveryPolicy redeliveryPolicy(){
        RedeliveryPolicy redeliveryPolicy = new RedeliveryPolicy();
        return redeliveryPolicy;
    }
    /**
     * 设置消息队列 确认机制
     * 设置手动确认，消费者确认之后才表明消费成功
     * @param activeMQConnectionFactory
     * @return
     */
    @Bean
    public JmsListenerContainerFactory jmsListenerContainerFactory
    (ActiveMQConnectionFactory activeMQConnectionFactory){
        DefaultJmsListenerContainerFactory bean = 
        new DefaultJmsListenerContainerFactory();
        bean.setConnectionFactory(activeMQConnectionFactory);
        // 1: 自动确认，2： 客户端手动确认，3：自动批量确认，4 事务提交并确认。
        bean.setSessionAcknowledgeMode(2);
        return bean;
    }
}

添加消费队列类（ConsumerQueue）

@Component
public class ConsumerQueue {
    @Autowired
    private TblPayEventDao tblPayEventDao;
    // destination属性值意为监听的目标，来源于消息发起者创建消息队列的nama属性值。
    // containerFactory属性值意为容器工厂，来源于消息消费者配置的监听消息的容器工厂。
    @JmsListener(destination = "ActiveMQQueue",
    	containerFactory = "jmsListenerContainerFactory")
    public void receive(TextMessage textMessage, Session session) 
    	throws JMSException {
        try {
            System.out.println("收到的消息："+textMessage.getText());
            String content = textMessage.getText();
			// 将传来信息转成对象并操作数据库
            TblPayEvent tblPayEvent = 
            	(TblPayEvent) JSONObject.toBean(
            		JSONObject.fromObject(content), TblPayEvent.class);
            tblPayEventDao.insert(tblPayEvent);
            // 业务完成，确认消息 消费成功
            // 因为设置了手动确认，所以，需要调用消息的acknowledge方法
            textMessage.acknowledge();
        }catch (Exception e){
            // 回滚消息
            e.printStackTrace();
            System.out.println("异常了");
            // 消息消费失败，恢复回消息队列，等待重发再次消费。
            session.recover();
        }

    }
    /**
     * 监听死信队列，按需写方法内的业务逻辑
     * 补偿 处理（人工，脚本）。自己根据自己情况。
     * @param text
     */
    @JmsListener(destination = "DLQ.ActiveMQQueue")
    public void receive2(String text){
        System.out.println("死信队列:"+text);
    }
}

运行测试

启动两个项目，在order表添加状态为0的数据，正常运行

自行修改数据库，造成service-pay主键冲突

源码地址

https://gitee.com/hepai123/mq-localtable-tx-demo.git