对分布式事务的个人理解以及rocketMQ事务消息的使用

1 分布式事务

    

 1.1   由于分布式系统的演进我们经常会碰到两个或多个业务操作需要在不同传统数据库事务中操作的场景，比如常见实例 支付宝给余额宝转账；主要概括为以下

1. 单台服务器需要操作多个数据库

2. 多个服务器操作多个数据库

 

 1.2为了解决以上场景就引入了 两阶段提交协议

 

即分布式事务两阶段提交，对应技术上的XA、JTA/JTS。

算法思路：参与者将操作成败通知协调者，再由协调者根据所有参与者的反馈情报决定各参与者是否要提交操作还是中止操作。

 两阶段提交协议（Two-phase Commit，2PC）经常被用来实现分布式事务。一般分为协调器TC和若干事务执行者两种角色，这里的事务执行者就是具体的数据库，协调器可以和事务执行器在一台机器上。

 

 

主要流程

1） 我们的应用程序（client）发起一个开始请求到TC（transaction）；

2） TC先将prepare消息写到本地日志，之后向所有的Si发起prepare消息。以支付宝转账到余额宝为例，TC给A的prepare消息是通知支付宝数据库相应账目扣款1万，TC给B的prepare消息是通知余额宝数据库相应账目增加1w。为什么在执行任务前需要先写本地日志，主要是为了故障后恢复用，本地日志起到现实生活中凭证的效果，如果没有本地日志（凭证），出问题容易死无对证；

3） Si收到prepare消息后，执行具体本机事务，但不会进行commit，如果成功返回yes，不成功返回no。同理，返回前都应把要返回的消息写到日志里，当作凭证。

4） TC收集所有执行器返回的消息，如果所有执行器都返回yes，那么给所有执行器发生送commit消息，执行器收到commit后执行本地事务的commit操作；如果有任一个执行器返回no，那么给所有执行器发送abort消息，执行器收到abort消息后执行事务abort操作。

注：TC或Si把发送或接收到的消息先写到日志里，主要是为了故障后恢复用。如某一Si从故障中恢复后，先检查本机的日志，如果已收到commit，则提交，如果abort则回滚。如果是yes，则再向TC询问一下，确定下一步。如果什么都没有，则很可能在prepare阶段Si就崩溃了，因此需要回滚。

 

1.3 

   总结来说 两阶段提交分为准备阶段和提交阶段

1.3.1 准备阶段

1. 协调者节点向所有参与者节点询问是否可以执行提交操作，并开始等待各参与者节点的响应。

2. 参与者节点执行询问发起为止的所有事务操作，并将undo信息和redo信息写入日志。（若成功，其实当前每个参与者已经执行了事务操作)

3. 各参与者节点响应协调者节点发起的询问。如果参与者节点的事务操作实际执行成功，则它返回一个“同意”消息；如果参与者节点的事务实际执行失败，则它返回一个“中止”消息。

    

1.3.2 提交阶段

        如果协调者收到了参与者的失败消息或者超时，直接给每个参与者发送回滚消息；否则，发送提交消息；

参与者根据协调者的指令执行提交或者回滚操作，释放所有事务处理过程中使用的锁资源。（必须在最后阶段释放锁资源）

       1.3.2.1提交

1. 协调者节点向所有参与者节点发出提交请求。

2. 参与者节点正式完成操作，并释放在整个事务期间内占用的资源。

3. 参与者几点向协调者节点发送提交完成消息。

4. 协调者节点受到参与者节点反馈的提交完成消息后，完成事务。

       1.3.2.2 回滚

1. 协调者节点向所有参与者节点发出回滚请求。

2. 参与者节点利用之前写入的undo信息执行回滚，并释放在整个事务期间内占用的资源。

3. 参与者节点向协调者发送回滚完成消息。

4. 协调者节点收到所有参与者节点反馈的回滚完成消息后，取消事务。

 

  缺陷:

• 同步阻塞问题：执行过程中，所有参与节点都是事务阻塞型的。当参与者占有公共资源时，其他第三方节点访问公共资源不得不处于阻塞状态。两阶段提交涉及多次节点间的网络通信，通信时间太长.

• 单点故障：由于协调者的重要性，一旦协调者发生故障，参与者会一直阻塞下去。尤其在第二阶段，协调者发生故障，那么所有的参与者还都处于锁定事务资源的状态中，而无法继续完成事务操作。（如果是协调者挂掉，可以重新选举一个协调者，但是无法解决因为协调者宕机导致的参与者处于阻塞状态的问题）

• 数据不一致：在二阶段提交的阶段二中，当协调者向参与者发送提交请求之后，发生了局部网络异常或者在发送提交请求过程中协调者发生了故障，这会导致只有一部分参与者接受到了提交请求。而在这部分参与者接到提交请求之后就会执行提交操作。但是其他部分未接到提交请求的机器则无法执行事务提交。于是整个分布式系统便出现了数据不一致性的现象。

• 协调者在发出提交消息之后宕机，而唯一接收到这条消息的参与者同时也宕机了。那么即使协调者通过选举协议产生了新的协调者，这条事务的状态也是不确定的，没人知道事务是否已经提交。

    正是由于分布式事务存在很严重的性能问题，大部分高并发服务都在避免使用，往往通过其他途径来解决数据一致性问题。

    

 1.4  使用消息队列来避免分布式事务

        注意是避免分布式事务 不是解决分布式事务 解决的是数据最终一致性问题（base理论）

        https://www.jianshu.com/p/d70df89665b9

        基于base的最终一致性可以将大事务拆分成多个小事务异步执行 大事务 = 小事务 + 异步

    比如  假设订单下单支付流程 由 业务系统 订单支付中心构成 。支付中心用户支付完成之后 生成支付流水号 并将用户流水号及支付凭证发送给业务系统该凭证表示支付环节已经处理完毕    需要业务系统进行后续处理  业务系统受到该凭证之后进行支付完成的逻辑 如果失败就重试  如果重试也不能成功(比如库存不足了) 那就进行逆向流程 发起退款  简单来说就是支付系统只保证自己的事务能够完成 完成之后通知业务系统 业务系统保证自身业务完整 如果不能完成 就走补偿机制  不过需要双方都有处理重复消息的能力

        但是在单个业务系统中处理逻辑和发送消息的时候会有个很难解决的问题

如果自己做发送普通消息和执行本地逻辑的话 伪代码可能是这样

1.处理本地事务 

2.发送消息 sendMsg()

但是发送消息的结果你并不知道他会发生什么 

假如发送消息sendMsg() 实实在在返回true 那没什么问题

但是一旦sendMsg()返回不正常 那就很难处理了 因为要根据这个返回的结果来决定第一步是不是需要回滚要写更多的业务代码 例如 如果sendMsg()返回false 或者网络不好抛出来个异常 你这个时候就很尴尬 因为你不知道这个sendMsg背后到底发生了什么你不知道这个消息是真的发送阶段根本就没有发出去 还是因为网络不好虽然超时 但是已经发出去了 消费着会成功消费掉 如果认为这种情况都是不成功从而回滚了步骤1 那就会导致一种结果 就是本地事务回滚了 但是消费者仍然收到了一条消息 可能 为了解决这个问题 你仍需要再消费者端继续写业务 来剔除这种情况 那业务代码会越写越多 那可能就换一种顺序

1.发送消息sendMsg

2.执行本地事务

这样一来 流程就稍微清楚一些 判断消息sendMsg的结果 来决定是不是执行本地事务

但是如果只是发送普通消息的话 就有个问题 就是普通消息没有撤回的功能 如果本地事务处理失败了 但是消息已经发出去了 可能已经都被消费者消费了不能撤回了 

所以 需要需要一个能够撤回 并且最好能够回查一下本地事务时候执行成功的消息 那就能解决这个问题 所以这也就是事务消息和普通消息的区别 功能不同使用场景不同 纯粹个人理解 表达可能不完善也比较片面

 RocketMQ支持事务消息所以我们可以使用rocketmq来解决这个问题

2 rocketmq事务消息简介

http://rocketmq.apache.org/rocketmq/the-design-of-transactional-message/

未完待续

 

参考 https://www.jianshu.com/p/cc5c10221aa1