go-zero学习 第六章 分布式事务dtm
go-zero学习 第六章 分布式事务dtm
- 1 参考文档
- 2 官方示例
- 3 go-zero使用dtm参考代码
-
- 3.1 go-zero支持dtm 代码操作步骤
- ※3.2 gozerodtm 代码操作步骤
- 4 注意事项
-
- 4.1 grpc接口地址
- ※4.2 动态调用过程
- 4.3 dtm的回滚补偿
- 4.4 `barrier`的空补偿、悬挂等
- 4.5 `barrier`在`rpc`中本地事务
1 参考文档
- Go开源说第十七期 分布式事务DTM
- DTM开源项目文档：官方文档
- 分布式事务解决方案：7种常见解决方案汇总
msg：二阶段消息，适合不需要回滚的全局事务。saga：适合需要支持回滚的全局事务。tcc：适合一致性要求较高的全局事务。xa：适合性能要求不高，没有行锁争抢的全局事务。
2 官方示例
参考：https://github.com/dtm-labs/dtm/blob/main/helper/README-cn.md
以下步骤均是按参考实操的。
- 运行
dtm服务器（可以观察事务执行情况）
运行示例前，必须首先运行dtm服务器。
git clone https://github.com/dtm-labs/dtm && cd dtm
go mod tidy
go run main.go
- 启动并运行一个
saga示例
下面运行一个类似跨行转账的示例，包括两个事务分支：资金转出（TransOut)、资金转入（TransIn)。DTM保证TransIn和TransOut要么全部成功，要么全部回滚，保证最终金额的正确性。
git clone https://github.com/dtm-labs/dtmcli-go-sample && cd dtmcli-go-sample
go run main.go
dtmcli-go-sample中的具体代码
package main
import (
"fmt"
"log"
"time"
"github.com/dtm-labs/dtmcli"
"github.com/gin-gonic/gin"
)
// 事务参与者的服务地址
const qsBusiAPI = "/api/busi_start"
const qsBusiPort = 8082
var qsBusi = fmt.Sprintf("http://localhost:%d%s", qsBusiPort, qsBusiAPI)
func main() {
QsStartSvr()
_ = QsFireRequest()
select {}
}
// QsStartSvr quick start: start server
func QsStartSvr() {
app := gin.New()
qsAddRoute(app)
log.Printf("quick start examples listening at %d", qsBusiPort)
go func() {
_ = app.Run(fmt.Sprintf(":%d", qsBusiPort))
}()
time.Sleep(100 * time.Millisecond)
}
func qsAddRoute(app *gin.Engine) {
app.POST(qsBusiAPI+"/TransIn", func(c *gin.Context) {
log.Printf("TransIn")
c.JSON(200, "")
// c.JSON(409, "") // Status 409 for Failure. Won't be retried
})
app.POST(qsBusiAPI+"/TransInCompensate", func(c *gin.Context) {
log.Printf("TransInCompensate")
c.JSON(200, "")
})
app.POST(qsBusiAPI+"/TransOut", func(c *gin.Context) {
log.Printf("TransOut")
c.JSON(200, "")
})
app.POST(qsBusiAPI+"/TransOutCompensate", func(c *gin.Context) {
log.Printf("TransOutCompensate")
c.JSON(200, "")
})
}
const dtmServer = "http://localhost:36789/api/dtmsvr"
// QsFireRequest quick start: fire request
func QsFireRequest() string {
req := &gin.H{"amount": 30} // 微服务的载荷
// DtmServer为DTM服务的地址
saga := dtmcli.NewSaga(dtmServer, dtmcli.MustGenGid(dtmServer)).
// 添加一个TransOut的子事务，正向操作为url: qsBusi+"/TransOut"， 逆向操作为url: qsBusi+"/TransOutCompensate"
Add(qsBusi+"/TransOut", qsBusi+"/TransOutCompensate", req).
// 添加一个TransIn的子事务，正向操作为url: qsBusi+"/TransOut"， 逆向操作为url: qsBusi+"/TransInCompensate"
Add(qsBusi+"/TransIn", qsBusi+"/TransInCompensate", req)
// 提交saga事务，dtm会完成所有的子事务/回滚所有的子事务
err := saga.Submit()
if err != nil {
panic(err)
}
log.Printf("transaction: %s submitted", saga.Gid)
return saga.Gid
}
- 失败情况
在实际的业务中，子事务可能出现失败，例如转入的子账号被冻结导致转账失败。我们对业务代码进行修改，让TransIn的正向操作失败，然后看看结果：
app.POST(qsBusiAPI+"/TransIn", func(c *gin.Context) {
logger.Infof("TransIn")
c.JSON(409, "") // Status 409 表示失败，不再重试，直接回滚
})
在转入操作失败的情况下，TransIn和TransOut的补偿操作被执行，保证了最终的余额和转账前是一样的。
3 go-zero使用dtm参考代码
3.1 go-zero支持dtm 代码操作步骤
参考：go-zero支持dtm：官方讲解+代码
注意：这里只是从调用方角度展示了如何使用dtm的代码，而关于被调用方的代码缺失，需要结合3.2 gozerodtm 代码操作步骤。
- 启动
Etcd，查看所有key命令：etcdctl.exe get --prefix "" - 把dtm
clone下来 - 找到
dtm项目根文件夹下的conf.sample.yml，复制一份名称改为conf.yml - 把
conf.yml中的下面这段注释放开：
MicroService: # gRPC/HTTP based microservice config
Driver: 'dtm-driver-gozero' # name of the driver to handle register/discover
Target: 'etcd://localhost:2379/dtmservice' # register dtm server to this url
EndPoint: 'localhost:36790'
MicroService：这个不要动，这个代表要对把dtm注册到那个微服务服务集群里面去，使微服务集群内部服务可以通过grpc直接跟dtm交互Driver：'dtm-driver-gozero'， 使用go-zero的注册服务发现驱动，支持go-zero。Target:'etcd://localhost:2379/dtmservice'将当前dtm的server直接注册到微服务所在的etcd集群中，如果go-zero作为微服务使用的话，就可以直接通过etcd拿到dtm的server grpc链接，直接就可以跟dtm server交互了。EndPoint:'localhost:36790'， 代表的是dtm的server的连接地址+端口 ， 集群中的微服务可以直接通过etcd获得此地址跟dtm交互了，如果你自己去改了dtm源码grpc端口，记得这里要改下端口。
- 启动
dtm
# 前提：配置好conf.yml
go run main.go -c conf.yml
如果是用Goland启动，则需要将 -c conf.yml作为参数填写到Program arguments中。
- 运行一个
go-zero的服务
git clone https://github.com/dtm-labs/dtmdriver-clients && cd dtmdriver-clients
cd gozero/trans && go run trans.go
- 发起一个
go-zero使用dtm的事务
# 在dtmdriver-clients的目录下
cd gozero/app && go run main.go
- 在
trans的日志中看到记录信息，就是事务正常完成了
2023/07/24 21:45:47 transfer out 30 cents from 1
2023/07/24 21:45:47 transfer in 30 cents to 2
2023/07/24 21:45:47 transfer out 30 cents from 1
2023/07/24 21:45:47 transfer out 30 cents from 1
※3.2 gozerodtm 代码操作步骤
参考：gozerodtm：Mikaelemmmm代码
项目介绍：
order-api是http服务入口。order-srv是订单的rpc服务，与dtm-gozero-order数据库中order表交互。stock-srv是库存的rpc服务，与dtm-gozero-stock数据库中stock表交互。
整体流程：
http调用order-api中立即下单接口，然后order-api立即下单接口会去调用order-srv创建订单并且调用stock-srv扣减库存，因为order-srv与stock-srv是2个独立grpc服务，所以使用dtm来做分布式事务协调。
前5步与3.1完全一致。
- 创建数据库表
在项目的datasql目录下分别有：order-srv服务的dtm-gozero-order.sql、stock-srv服务的dtm-gozero-stock.sql，在数据库按照创建两个数据库并执行相关sql。 - 修改数据库连接配置
分别修改order-srv、stock-srv服务的yaml中的数据库连接配置。 - 修改启动类读取配置文件的路径
分别修改order-api、order-srv、stock-srv中读取yaml配置的路径。 - 启动服务
依次启动order-srv、stock-srv、order-api服务 - 请求测试
使用POSTMAN测试：
请求地址：http://localhost:8889/order/quickCreate
请求方式：POST
数据格式：JSON
请求数据：{"userId":2,"goodsId":1,"num":20} - 测试结果
HTTP请求响应成功，状态是200，但是查看DTM服务发现，操作失败，且数据库中数据未改变。
原因排查：
依次查看order-api、order-srv、stock-srv服务后，发现在order-srv服务有报错，主要报错信息：
{"level":"error","ts":"2023-07-25T14:08:24.891+0800","caller":"dtmimp/utils.go:207","msg":"used: 0 ms exec error: Error 1146: Table 'dtm_barrier.barrier' doesn't exist for insert i
gnore into dtm_barrier.barrier(trans_type, gid, branch_id, op, barrier_id, reason) values(?,?,?,?,?,?)
推断是缺少dtm_barrier数据库以及barrier数据表。
- 创建
dtm_barrier数据库以及barrier数据表
/*
Navicat Premium Data Transfer
Source Server : 本机
Source Server Type : MySQL
Source Server Version : 50737
Source Host : 127.0.0.1:3357
Source Schema : dtm_barrier
Target Server Type : MySQL
Target Server Version : 50737
File Encoding : 65001
Date: 25/07/2023 14:06:43
*/
SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;
-- ----------------------------
-- Table structure for barrier
-- ----------------------------
DROP TABLE IF EXISTS `barrier`;
CREATE TABLE `barrier` (
`id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'ID',
`trans_type` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
`gid` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
`branch_id` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
`op` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
`barrier_id` bigint(20) NULL DEFAULT NULL,
`reason` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
`create_time` datetime(0) NULL DEFAULT CURRENT_TIMESTAMP(0) ON UPDATE CURRENT_TIMESTAMP(0),
PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 1 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci COMMENT = 'dtm子屏障数据表' ROW_FORMAT = DYNAMIC;
SET FOREIGN_KEY_CHECKS = 1;
- 重新请求测试
HTTP请求响应成功，状态是200，DTM服务中状态显示操作成功，且数据库中数据改变。
4 注意事项
在3.1 go-zero支持dtm 代码操作步骤和※3.2 gozerodtm 代码操作步骤有一些操作注意事项。
重点是子事务如何处理 回滚、补偿等操作，这一块需要特别留意。
4.1 grpc接口地址
在找grpc访问的方法路径时候，是在***.pb.go的文件中找该方法invoke的路径。
原因：当proto文件方法名字都是大写，这2者都一样如果proto中方法名字小写的，invoke中跟他的方法名就不一样了
仔细观察发现两个路径有大小写之分！
※4.2 动态调用过程
在go-zero使用dtm的分布式事务时，许多的调用是从dtm服务器发起的，例如TCC的Confirm/Cancel，SAGA/MSG的所有调用。
dtm无需知道组成分布式事务的相关业务api的强类型，它是动态的调用这些api。
grpc的调用，可以类比于HTTP的POST，其中：
- c.BuildTarget() 产生的target类似于URL中的Host
- “/trans.TransSvc/TransOut” 相当于URL中的Path
- &busi.BusiReq{Amount: 30, UserId: 1} 相当于Post中Body
- pb.Response 相当于HTTP请求的响应
通过下面这部分代码，dtm就拿到了完整信息，就能够发起完整的调用了
Add(busiServer+"/trans.TransSvc/TransOut", &busi.BusiReq{Amount: 30, UserId: 1})
4.3 dtm的回滚补偿
在使用dtm的grpc时候，当我们使用saga、tcc等如果第一步尝试或者执行失败了，是希望它能执行后面的rollback的，在grpc中的服务如果发生错误了，必须返回 ： status.Error(codes.Aborted, dtmcli.ResultFailure) ， 返回其他错误，不会执行你的rollback操作，dtm会一直重试，如下图：
4.4 barrier的空补偿、悬挂等
这一步需要创建dtm_barrier数据库以及barrier数据表。这个其实就是为我们的业务服务做了一个检查，防止空补偿，具体可以看barrier.Call中源码，没几行代码可以看懂的。
每个与db交互的服务只要用到了barrier，都需要这个。
4.5 barrier在rpc中本地事务
在rpc的业务中，如果使用了barrier的话，那么在model中与db交互时候必须要用事务，并且一定要跟barrier用同一个事务。
logic：
model：
