滴哩滴哩

go mysql transfer_MySQL Binlog 增量同步工具go-mysql-transfer实现详解

#一、概述

工作需要研究了下阿里开源的MySQL Binlog增量订阅消费组件canal，其功能强大、运行稳定，但是有些方面不是太符合需求，主要有如下三点：

1、需要自己编写客户端来消费canal解析到的数据

2、server-client模式，需要同时部署server和client两个组件，我们的项目中有6个业务数据库要实时同步到redis，意味着要多部署12个组件，硬件和运维成本都会增加。

3、从server端到client端需要经过一次网络传输和序列化反序列化操作，然后再同步到接收端，感觉没有直接怼到接收端更高效。

go-mysql-transfer功能对标canal，使用go语言编写，规避了上述三点。旨在实现一个简洁高效、稳定可靠的Binlog增量同步工具, 具有如下特点：

1、不依赖其它组件，一键部署

2、集成多种接收端，如：Redis、MongoDB、Elasticsearch、RocketMQ、Kafka、RabbitMQ，不需要再编写客户端，开箱即用

3、内置丰富的数据解析、消息生成规则；支持Lua脚本，以处理更复杂的数据逻辑

4、支持监控告警，集成Prometheus客户端

5、高可用集群部署

6、数据同步失败重试

7、全量数据初始化

#二、与同类工具比较

| 特色 | Canal | mysql_stream | go-mysql-transfer | | ———- | ———- | ———— | ———————————————————— | | 开发语言 | Java | Python | Golang | | HA | 支持 | 支持 | 支持 | | 接收端 | 编码定制| Kafka等 | Redis、MongoDB、Elasticsearch、

RabbitMQ、Kafka、RocketMQ、

Lua脚本 (定制)

#三、设计实现

1、实现原理

go-mysql-transfer将自己伪装成MySQL的Slave，向Master发送dump协议获取binlog，解析binlog并生成消息，实时发送给接收端。

2、数据转换规则

将从binlog解析出来的数据，经过简单的处理转换发送到接收端。使用内置丰富数数据转换规则，可完成大部分同步工作。

例如将表t_user同步到reids，配置如下规则：

rule:

schema: eseap #数据库名称

table: t_user #表名称

column_underscore_to_camel: true #列名称下划线转驼峰,默认为false

datetime_formatter: yyyy-MM-dd HH:mm:ss #datetime、timestamp类型格式化，不填写默认yyyy-MM-dd HH:mm:ss

value_encoder: json #值编码类型，支持json、kv-commas、v-commas

redis_structure: string # redis数据类型。支持string、hash、list、set类型(与redis的数据类型一致)

redis_key_prefix: USER_ #key前缀

redis_key_column: USER_NAME #使用哪个列的值作为key，不填写默认使用主键

t_user表，数据如下：

同步到Redis后，数据如下：

更多规则配置和同步案例请见后续的”使用说明”章节。

3、数据转换脚本

Lua 是一种轻量小巧的脚本语言，其设计目的是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和定制功能。开发者只需要花费少量时间就能大致掌握Lua的语法，照虎画猫写出可用的脚本。

基于Lua的高扩展性，可以实现更为复杂的数据解析、消息生成逻辑，定制需要的数据格式。

使用方式：

rule:

schema: eseap

table: t_user

lua_file_path: lua/t_user_string.lua #lua脚本文件

示例脚本：

local json = require("json") -- 加载json模块

local ops = require("redisOps") -- 加载redis操作模块

local row = ops.rawRow() --当前变动的一行数据,table类型，key为列名称

local action = ops.rawAction() --当前数据库的操作事件,包括：insert、updare、delete

local id = row["ID"] --获取ID列的值

local userName = row["USER_NAME"] --获取USER_NAME列的值

local key = "user_"..id -- 定义key

if action == "delete" -- 删除事件

then

ops.DEL(key) -- 删除KEY

else

local password = row["PASSWORD"] --获取USER_NAME列的值

local createTime = row["CREATE_TIME"] --获取CREATE_TIME列的值

local result= {} -- 定义结果

result["id"] = id

result["userName"] = userName

result["password"] = password

result["createTime"] = createTime

result["source"] = "binlog" -- 数据来源

local val = json.encode(result) -- 将result转为json

ops.SET(key,val) -- 对应Redis的SET命令，第一个参数为key(string类型)，第二个参数为value

end

t_user表，数据如下：

同步到Redis后，数据如下：

更多Lua脚本使用说明和同步案例请见后续的”使用说明”章节。

4、监控告警

Prometheus是流行开源监控报警系统和TSDB，其指标采集组件被称作exporter。go-mysql-transfer本身就是一个exporter。向Prometheus提供应用状态、接收端状态、insert数量、update数量、delete数量、delay延时等指标。

go-mysql-transfer内置Prometheus exporter可以监控系统的运行状况，并进行健康告警。

go mysql transfer_MySQL Binlog 增量同步工具go-mysql-transfer实现详解

你可能感兴趣的:(go,mysql,transfer)